@atom234
@keith1126

和中文搜索有相似的地方，比如罗马字类似中文的拼音。也有特殊的地方，比如动词变形，一词多拼

你需要的是一个类似 k8s 这样的编排工具进行 RollingUpdate

我的 blog https://avnpc.com/ 基本实现了 lz 的大部分想法

后端 （ https://github.com/AlloVince/avnpc.js ）支持将 Github repo 作为数据存储，支持 RESTFul 和 GraphQL 两种格式的 API

前端 （ https://github.com/AlloVince/avnpc.front ） 基于 next.js ，使用 SSR 渲染后端 API。 使用了 markdown-it 系列，因此可以支持 markdown、语法高亮、数学公式，mermaid 图表 （ https://avnpc.com/pages/markdown-render-demo ）

评论使用 gitalk，直接用 github issue 作为评论组件

当然现在只是我个人自用的，不过应该可以作为参考

@cooljs 不用 x-pack 连最基本的权限管理都做不了，等于无法上线

x-pack 是付费的，报价是$5000/节点 /年，3 nodes 起卖，个人用户老老实实用云服务吧

@mritd Gitlab CI 结合 Gitlab 才比较好用，集成 github 是付费功能，免费版缺失的功能也有点多，而付费又是按 per user per month 来付的，感觉不是很友好

https://about.gitlab.com/pricing/self-managed/feature-comparison/

如果偏保守的话，还是 Jenkins 吧

@Lpl 如果是挂载的方式不需要 privileged，因为主机的 daemon 已经有足够权限， 但如果使用我说的在容器内启动 docker daemon 是需要 privileged 的

关于 4000W url 如何调用 scrapy 爬取的问题，简单说可以将已知的 url 构建为`Request`, 然后`Spider.parse_start_url()` 中 `yield Request` 即可，所有待处理的 Request 会存入 Scheduler，Scheduler 的数据都存在内存，可以提前评估一下内存是否够存放所有的 url。

scrapy-redis 实现的是将 Scheduler 的数据从内存改为 Redis， 一方面 redis 在进程崩溃后数据不会丢失，另一方面可以突破单机的限制，理论上有足够多的机器的话，再多的 URL 也可以同时请求。此时的瓶颈在 url -> Scheduler 生产者的生产速度

Scrapy 底层是 Twisted，Twisted 通过事件循环+线程池来实现异步 IO 的效果，LZ 所说的“并发数”，在 Scrapy 中是 CONCURRENT_REQUESTS， 其实只是传给 Twisted 的 Deferred 对象数量。由于 Twisted 只适用于单机环境，如果要增大 LZ 所说的“并发”数，可以调大 CONCURRENT_REQUESTS， 但显然“并发”数不可能无限增大，因为 Twisted 本身也存在限制

一方面 Twisted 本身有 Queue 和线程池，在 Scrapy 中可以通过设置 Twisted 的 REACTOR_THREADPOOL_MAXSIZE 增大线程池线程数。

另外 Twisted 主线程是单线程的，主线程达到瓶颈的话，再扩大线程池也没有意义。

因此你可以认为单机环境下 Scrapy 的瓶颈 == Twisted 主线程处理上限。

可以用 HTTP Head 检查 document 是否存在

https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-get.html#docs-get

如果你是担心写入压力的问题，也可以在客户端发起请求前加去重的逻辑

@banshan registry mirror 的原理是从远程拉取后缓存一份在本地，因此如果是 registry mirror 没有缓存过的镜像，第一次可能会慢。可以用 docker pull 对比一下其他热门镜像的速度，以及第一次 pull 和第二次 pull 的差别

另外 drone 文档很多插件还停留 0.8，需要注意一下，1.0 的插件配置统一是在 setting 项下的

@thonatos 其实主要目的也是想拖更多人入坑 Drone -_,-

可以参考 https://avnpc.com/pages/kubernetes-for-single-vps

QuickConnect 开始会通过群晖服务器中转，同时尝试直链

我的使用经验，供参考
https://avnpc.com/pages/use-synology-nas-build-private-cloud

```
class A {static test() {console.log(1)}}

class B extends A {static test() {console.log(1)}}

let ins = new B();
ins.test(); //class A or class B
```

js 没有 java 的强制类型转换，那么如果父类和子类同时定义同名静态方法，实例调用的时候无法区分到底是调用父类还是子类的