在香港代理 GitLab.cn ，只是為了方便在香港設立公司吧。

在香港能用 Gitlab.com 又何必過牆用 Gitlab.cn 自找麻煩呢。

說漏了，基本上 worker 節點距離問題不大，最重要的是 etcd 節點距離不能太遠，200ms 以上可能會有問題，要小心設定 heartbeat 時間。

我用 Kubespray 自建，選用 kube router 的 CNI 是可以的，但底層網絡必需可靠，但我沒有國內伺服器問題不大。

網絡是自己用 VPN + FRR 搭

@mingqing 嗯. 如果你是重頭自建 k8s cluster 還涉及自家的 CI/CD 那用自己的 Ansible playbook 是無可厚非的, 但其他使用者要理解你的 playbook 要有 K8s the hard way 的能力, 如果是公司級分工的話, 我還是會選擇 Kubespray, 除非 team members 都是 CKA 一類專家級的

k8s 的話就是 PodSecurityPolicy 能解決的問題，自建 docker 結構就自己造輪子吧

@mingqing 我不明白你口中的二進制部署有何必要......看了你的安裝方法，還不是直接在 yum 裝 etcd 。

正式一點的 playbook 都可以自訂 repo，比起自己在 local files/git repo 管理 binaries 有用得多，生產環境就不要這樣玩吧。

看看人家 production grade 的 playbook，還有考慮 disaster recovery，不是單單一步安裝好就完事的。
https://github.com/kubernetes-sigs/kubespray/blob/master/docs/recover-control-plane.md

證明你公司的東西太簡單.....有時候用簡單的 docker-compose 做 deployment，health-check 麻煩點太多而且不好 scale，果斷換回 k8s 。

雖然 k8s master 節點也是資源，但三台 4GB RAM+的機器面對業務來說不是錢吧。要不就上 EKS 一類的 managed k8s 。

@xin053 kubesprary 的 contrib/offline/真的不錯

kubesprary as a submodule 的方法讓我安心的是，只要緊跟上游的 release(e.g. 2.16)，就可以享用上游的維護一段時間，升級的時候也有據可依

@lework1234 kubespray 或 kubeasz 就全套 playbook 了，還帶 scaling 例如安裝後的 add/remove master/slave nodes 。

自己學習寫一套自動化沒有問題，但投入生產環境的工夫還是很多的。

Ansible 方案需要做的事是建立 inventory file 及 variables，和源碼 playbooks 完全分離，完全是一個 git + kubesprary/kubeasz 做 submodule 就可以管好的事。

我想 kubespray 應該可以配一個 cn mirror urls 的 variables file 就應該能在國內用了吧。

我發現大部分的回答都不審題，都說私有雲半自動的了，竟然大部分答案都是公有雲託管，還有一堆手動小作的 kubeadm 的方案......

起碼是要 CNCF 的方案吧，不然就走 K8s the hardway 的學習路線。

Rancher 是 CNCF 的，但 CNI 有限，半自動化上比 Ansible 方案還是太傻瓜了一點，Rancher 公司也活躍了一段時間。

Kubeasz 也剛剛過了 CNCF，CNI 選擇也多，全中文的教程及國內優化鏡像是有用的，但是畢竟是義務工作不知道項目能活多久，我是不會用的因為沒有國內伺服器。

kubespray 是 kubernetes-sigs 下的官方項目，比 Kubeasz 有保證，但是國內網絡就麻煩了。

我覺得起碼要有 OpenStack 一類的東西才算私有雲吧，不然就只是 bare metals 。

@lework1234 又一個輪子......簡單的方法是先用 playbook 安裝好 python3，就可以愉快使用 Ansible 了吧

@coolcoffee

你所要的 LB, PV, Scaling 在 OpenStack 都能包辦，拆開的話也不用自己開發吧，現成方案還是有不少的。

自有了 Docker 後，選 distro 只看 kernel version，我還是很滿意 Ubuntu HWE 系列的畢竟有人打理。

雖然說 kubespray 可以自動搭好環境及分發配置，但是不會 kubeadm 的話，不可能敢自己搭的

我的建議是，你有 CKA 資格才玩自建 k8s 吧，起碼掛了也會 troubleshoot，CKA 不考雲託管的。

Kubesprary 或者全套 OpenStack 都有

問題不是在 docker, 而是 sshd 下的 shell 沒有引用 container 的 enviroment

上面一堆教 Dockerfile 等等的都被樓主帶錯了方向

用 Google 的話秒查到答案了吧
https://stackoverflow.com/questions/34630571/docker-env-variables-not-set-while-log-via-shell

@qqqfreeboycn 我回的是以為 10086.cn 在香港有業務所以有差的估計, 不是你要的答案

@titan2006 在香港沒人知道 10086，這電話在香港也打不通，CMHK 用域名的是 hk.chinamobile.com

v2ray websocket 模式可以了解一下