其實都要背電池了, 電池用 24V 輸出, 降壓成 20V(電腦)及 12V(路由)效率好像會比較好, 電流 A 數會比較小, 但 12V 的確更通用

無論如何, 能成功執行這計劃已經很厲害了

@katsusan 不用, 我試過用 3090 + Llama.cpp 能直接跑 FP4 的 GGUF, 速度也不錯, 100tps

而 5090 可以滿血跑 context 128k, 160tps 以上

直通到單個 VM 應該沒問題，限制的是 vGPU 一類拆分單卡給租戶的功能

都是 k8s 能完成的東西, 唯一要 systemd 的只有 kubelet, k3s control-pane 的話可能還有 etcd/api-server, DHCP 方面是配 multus 就能完成的東西

pod 在 docker compose 上作用不明顯, 只是一堆共用 network 的 containers, 但 docker 本來是 OCI 的能被 k8s 調用成 pod 的樣子

而且 k8s 現在配合的 container engine 是 containerd, 至少這東西和 docker 有也有 nvidia container toolkit 等大廠 GPU 的支持

我仍然覺得直接學 k3s 比較有用

年輕人終究是年輕人, 太衝動了, 不知道牆有多高, 觸發阻斷的流量有多大.......

@owen800q 你 2023 年加入, 我 2015 年就來了, 你算個鳥要我去哪?

白痴的無端來討罵。

@owen800q 你有冇做過 k8s admin? 成個 project 冇咗你可以玩幾耐? 本來 k8s 就係 Google open source project, kubeSphere 加個套上去但限住你 maintain 你咪用囉

咪撚乜都政治上腦啦傻閪

開不開源都不敢用, 中國的 Eco system 沒過幾年甚麼都大改動或者不見了

@hancai2 對, 光是 health check 及 rediness check 就有上 k8s 的理由了, 自動重啟起碼能讓 devs 有更多時間去排查, 有時候 daemon 掛了但 fg process 是沒反應的

另外是 readiness, 用 readniess + service 起碼可以自動排除掉 health check 不過關的 pod, 在滾動升級但一直有請求進來的場景也可以減少對用戶的感知

@Xheldon 不要把 LLM 當成人吧, 反應跟 Prefill 一步比較相關, 只是愈大的模型 prefill 愈慢

忘了說那貨還要每天抽 50 個名額, 沒選上的都是免費幫它刷流量

在 X 或 Discord 上做任務的所謂免費計劃, 到最後還是按量計費, 還是用 Cloudflare 吧反正沒做中國市場

歐洲各大 PC 網站都有 5090 現貨, 十分充裕, 價格也很好沒炒起來, 我的 Zotac 5090 Solid OC 在 15 日下單, 16 日就到手了, 才 GBP2099

其實去到 OpenAI 的規模, 遇到的底層網絡問題更多, 例如

- 多 regions 的 scheduling, 這個在 Managed k8s 只有 GKE 能做, IPAM 及後面的 BGP 開始變得重要, 一般 Managed k8s 做不了
- Single Cluster 上千 nodes 的 etcd 及 API server 都要做負載均衡了
- Pod Security 需要更細化
- 或者要考慮 Multiple cluster 的 Federation, 按業務分割出不同 k8s cluster, 再用內網的 Load balancer 來互通

AI 相關的應該更注重 GPU 資源分配吧, nVidia Kubernetes device plugin 是不夠用的, 必需要有更細致的方案

只看網頁搞不懂這玩意是甚麼, 全部 Serif 字體就知道是簡體中文用戶的作品, 另外英語不行, 已經不知道是甚麼東西, 還在 Contact Us 都要用 "Contact Us Now !!" 大聲呼叫的

QwQ 32B 的古詩賞析, 正體問題還是用簡體回答, 長篇大論的實在頂不住, 我還是換成 Qwen2.5 32B 測測看

### 問題

賞析以下古詩
--
早發白帝城 - 李白

朝辭白帝彩雲間，千里江陵一日還。
兩岸猿聲啼不盡，輕舟已過萬重山。



### Qwen 2.5 32B:
《早發白帝城》是唐代著名詩人李白的一首七言絶句，描繪了清晨離開白帝城時的壯麗景象和迅速航行的輕舟情景。這首詩主要表現出詩人的喜悅心情以及對大自然景色的熱愛與贊美。

首先，“朝辭白帝彩雲間”，開頭便呈現了一幅美麗而神祕的畫面：清晨，霞光萬丈，詩人離開了被彩雲環繞的白帝城。這句以“白帝”和“彩雲”的意象，營造出一種神奇、虛幻而又壯麗的意境。

接著，“千里江陵一日還”，通過這種速度感來表現詩人的輕鬆自在。這裡用了一個驚奇的數字對比——“千里”與“一日”。這不單僅是空間和時間上的反差，更重要的是表達了詩人快速返家的急切心情。

下一句，“兩岸猿聲啼不盡”，描寫沿江而行時聽到的猿猴啼鳴。這種自然之音無窮無盡，象徵著旅途中的持續性和永不停息的生命力，也增添了旅程中的一絲寂靜與孤獨感。

最後，“輕舟已過萬重山”則強調了詩人順利抵達目的地的心情。這裡的“輕舟”不僅僅是指船隻本身，更是象征著詩人的自由和洒脫，表現出他對生活的熱愛和樂觀態度；而“萬重山”的意象更突出了這種旅程的艱辛與最終的成功。

整首詩通過生動鮮活的景色描寫、明快優美的語句表達了作者開朗豁達的心境和對大自然之美的無盡讚美，是李白作品中一首非常有名的山水詩。


### Gemma 3 27B
好的，我們來賞析李白的《早發白帝城》。這首詩是李白在被赦免後，離開白帝城時所作，充滿了喜悅、自信和豪邁之情。

**詩句解讀：**

* **「朝辭白帝彩雲間」**: 描寫詩人清晨告別白帝城。白帝城地處高山峽谷之中，常年雲霧繚繞，景色瑰麗奇特。“彩雲間”不僅點明了地理位置的優美，也暗示了詩人當時的心情如同彩雲般輕鬆愉快。
* **「千里江陵一日還」**: 說明詩人乘坐輕舟，一天之內便可從白帝城返回江陵。這句看似誇張，但卻真實地反映了長江水流的湍急和詩人的歸心似箭。“千里”強調距離遙遠，“一日還”則突顯速度之快，也暗示了詩人被赦免後心情的暢快和對自由的渴望。
* **「兩岸猿聲啼不盡」**: 描寫長江兩岸猿猴的叫聲此起彼伏，連綿不斷。“啼不盡”不僅表現了猿猴的數量之多，也暗示了詩人旅途中的熱鬧和生機勃勃。同時，猿聲也烘托出詩人內心的喜悅之情。
* **「輕舟已過萬重山」**: 描寫詩人的輕舟已經駛過重重山巒。這句是全詩的點睛之筆，“萬重山”既指長江三峽的險峻山勢，也象徵著詩人過去所經歷的困境和阻礙。“輕舟已過”則表明詩人已經克服了困難，迎來了新的開始。

**賞析：**

* **意境開闊**: 詩歌以簡潔明快的語言，描繪了一幅雄渾壯麗的長江三峽圖景。詩中沒有直接抒發情感，而是通過對自然景物的描寫，間接地表達了詩人的喜悅之情。
* **豪邁奔放**: 李白是一位浪漫主義詩人，他的詩歌往往充滿了豪邁奔放的氣勢。《早發白帝城》也不例外，詩中“千里江陵一日還”、“輕舟已過萬重山”等語句，都表現了詩人的自信和豪情壯志。
* **動靜結合**: 詩歌既有對長江水流、猿聲鳥鳴的動態描寫，也有對白帝城、萬重山的靜態描繪。動靜結合，使詩歌的意境更加豐富生動。
* **語言精煉**: 全詩僅有四句，但卻包含了豐富的信息和深刻的情感。詩人運用了簡潔明快的語言，將複雜的情感表達得淋漓盡致。

**總結：**

《早發白帝城》是一首充滿浪漫主義色彩的佳作。詩歌以其開闊的意境、豪邁的氣勢和精煉的語言，贏得了後世讀者的廣泛讚譽。這首詩不僅描繪了長江三峽的美麗景色，也表達了詩人被赦免後的喜悅之情和對自由的渴望。

希望這個賞析能幫助你更好地理解李白的《早發白帝城》。



********************
我的評語是

Qwen2.5 32B: 沒有 QwQ 32B 般的簡體 CoT, 輸出字體看來還可以, 但有錯字例如「贊」(應為「讚」)及標點符號用錯了“” (應為「」開引號), 在香港作為教育用途是不行的, 只能將就用。內容也針對原文用字作出回應, 例如形容「彩雲環繞」就是用原文的「彩雲」作出伸展。

Gemma 3 27B: 沒錯字, 起碼能逐句輸出「」開引號, 但仍然錯用了“” , 能用「雲霧繚繞」陳述意象, 也能點出到白帝城經過的是長江三峽。


比較之下我就不會用 Qwen2.5 32B 了。

我想廣府人會看得懂

QwQ 32B, 完全看不懂, 不懂香港也算了, 回應字體也不對, 這種程度的話在香港是沒有商用價值的。
用戶:
---
如果一個連登仔見到呢個笑話, 佢會點接落去?
```
飛機係荒島到墜毀
死淨 3 個幸存者
跟住比當地食人族捉晒番去
3 個人去到比人吊晒起身
食人族公主就問第一個幸存者
「你寧願彈十下賓周定寧願死」
幸存者話寧願彈十下賓周
跟住公主問第二個幸存者
「你寧願彈一百下賓周定寧願死」
幸存者話彈一百下賓周
彈痛到嗚嗚叫
跟住公主問第三個幸存者
「你寧願彈一千下賓周定寧願死」
幸存者話 我寧願死！！
公主就話
```

AI:
---
这个笑话的结构是一个递进式的幽默，通过逐步增加数字（从 10 到 100 再到 1000 ）来制造笑点。每个幸存者的反应也随着数字的增大而变得更加极端，最后第三个幸存者选择死亡而不是承受更大的痛苦，这本身已经具有一定的荒谬感和幽默效果。

然而，在第三个人选择了“宁愿死”之后，公主会有什么样的回应呢？这里的关键在于预期与现实之间的反差。根据前面的模式，公主可能会继续沿用类似的句式，但需要制造一个转折或意外来增强笑点。

可能的结局是：
公主说：“好啊！那我让你死一千次！”
或者更夸张一点：
“既然你选择死亡，那么……你就得弹一万下宾周再死！”（进一步加剧了荒谬性）

这样的回应既延续了之前的模式，又通过出乎意料的数量增加制造了额外的幽默效果。同时，这也突显了食人族公主可能具有某种扭曲的逻辑或偏好，即不断加码惩罚以达到极端的效果。

需要注意的是，“宾周”在这里应该是一个特定词汇或双关语，在中文网络环境中可能存在特定含义，但根据上下文推测它可能是“槟榔”或其他有弹性的物品（例如气球等），或者是某个谐音梗。由于具体背景不明确，这里假设其为某种需要反复拉伸的动作对象。

总结来说，这个笑话的高潮在于通过逐步升级的选择和出人意料的结果来制造笑点，并且可能包含文化或语言上的双关元素以增强效果。公主的反应应该打破之前简单的二选一模式，转而采取更极端的方式，从而产生喜剧性的反差。


Gemma 3 27B 就強多了, 懂廣東話, 懂連登

AI:
---
連登仔見到呢個笑話，接落去嘅反應肯定係：

**「公主話：『咁你唔早講！我哋已經彈咗成千下賓周喇！』」**

或者會加多句：

* **「正宗 on9 笑話！」**
* **「笑死，呢個 level 嘅廢柴笑話都得？」** (通常係帶諷刺意味)
* **「連登仔表示理解哂佢哋嘅痛苦」** (自嘲)
* **「其實公主想講嘅係：『你 on9 咩？』」**

總之，連登仔會用一種好似睇唔起但又忍不住笑嘅態度去接續呢個笑話。佢哋鍾意喺廢柴笑話入面搵啲諷刺同自嘲嘅空間。

Gemma3 的多語言能力肯定比 Qwen2.5 強

最少對正體中文的用戶來說, Gemma3 1B 不寫錯字已經很厲害, Qwen2.5 7B 的輸出有點慘不忍睹, 32B 才像樣, 更不用說用語差異 Qwen 是不行的

Gemma3 4B 連廣東話都比 Qwen2.5 32B 強很多。

才 2000 塊, 跑 8bit quantization 的 VRAM 也不夠, 不如拿去租 GPU 摸清楚需求再算