寻找技术顾问： Elasticsearch、Android 底层、Kafka、Minio、分布式爬虫、Ansible
sunchuo · 2021-01-07 02:48:30 +08:00 · 4330 次点击这是一个创建于 1415 天前的主题，其中的信息可能已经有所发展或是发生改变。
Hi
不好意思打扰大家了。
是这样的：因为公司业务发展还算挺快，我们已达到能力天花板又智商不行。学习新的东西很慢，从不知道怎么搞，到大概知道怎么搞但是又没搞过，搞出来了又遇到各种各样的小问题去各种解决。
整个过程充满选择纠结、认知不全面的不安、各种小问题一个接着一个的烦躁。精力都花在架构上而不是业务。 所以希望能在我们需要的一些领域里，找到 1 ～ n 个技术顾问。能够指导我们针对业务场景提供方案，指导快速上手，遇到问题给个思路。
这些领域包括：
Android 偏底层，反编译看同类的技术实现思路、保活、提升推送到达率、反反编译等。
Elasticsearch，部署、配置、参数调优，中文支持，拼音搜索、首字母搜索、同义词搜索、纠错等。
Kafka，部署、配置、参数调优。
Minio，分布式部署、多域名、多用户，每个用户存储空间、请求数、流量、带宽统计。
分布式爬虫，如何设计分布式爬虫支持多种语言的 worker 。
Ansible，服务器初始化（升级、防火墙、sshd 修改），部署代码。
PHP Swoole，如何用 swoole 写出虽然不快但是比也不太慢的代码。
Q&A：
问：你们大部分问题云服务都完美解决了，还免运维，为啥要自己折腾？
答：成本，我们在机房租用一台机器相同硬件性能（配置不准云会超售）、带宽的情况下，云服务成本大概是 20 倍。
问：怎么个合作方式？
答：1. 加好友。2. 说一下自己非常擅长哪方面。3.遇到问题就问您，并且说明想要什么样的结果。4. 您如果足够胜任，评估一下要多久，想要多少钱。5. 同意。6. 您给解决问题的文档。7. 付钱。8. 文档不理解的地方可能麻烦您解释一下。9. 问题解决。 如果中间有各种各样的原因导致没成功走到 9，希望买卖不成仁义在，继续做好友，下次遇到问题从 3 继续开始走。
问：合作会持续多久？
答：取决于 我们业务，您，谁扛得久。取小值。
问：不好意思谈钱怎么办？
答：您一天工资是多少，正常上班，去掉摸鱼时间，去掉和产品经理扯皮的时间。每天有效工作时间也就 2 ～ 3 小时。您解决我们的问题需要多少个 2 ～ 3 小时，就当多少天。
问：你们有钱么？
答：紧巴巴的，不然就招全职了。
问：这种人不屑于赚你这种小钱。
答：我相信乐于助人是主因，认识几个新朋友为辅。零花钱只是.....。让知识有尊严。
问：找不到顾问怎么办？
答：一边自己继续慢慢扣脑袋学。一边继续找。
问：你微信多少？
答：sunchuo
 |
1
asuraa 2021-01-07 04:18:50 +08:00  3
你这就是 又不想给云厂商钱搞定基础设施
又不想自己花钱招人搞定基础设施 |
 |
2
mepwang 2021-01-07 07:16:45 +08:00 via iPhone
即使放在十几年以前，一个能从解决方案到底层都精通的顾问，一天也得一万块。算下来还是云服务更便宜呢
|
 |
3
JosephHan 2021-01-07 08:49:13 +08:00 via Android
我在公司就是干这些的，年薪合人民币 20 万外加公司给包全家移民。所以你觉得给多少时薪才好意思招这个职能的顾问？我劝你们还不如直接上公共云。
|
 |
4
cloudhuang 2021-01-07 08:57:49 +08:00
> 云服务成本大概是 20 倍
|
|
5
cloudhuang 2021-01-07 09:01:51 +08:00
> 云服务成本大概是 20 倍
V 的这个编辑器。 其实建议还是上云服务器，因为这个成本是确定的，比如就是 20 倍。但是兼职的问题不提，其隐形成本是不固定的，比如时间，方案的准确性，可靠性等等，这就不单单是钱的问题了。(如果有靠谱的朋友，推荐靠谱的人，则相对来说会好一些。但是这个靠谱，无法准确定义和准确评估) |
 |
7
lancelee01 2021-01-07 09:21:26 +08:00
需要 ClickHoues 顾问吗[doge]
|
 |
8
rrfeng 2021-01-07 09:54:54 +08:00 via Android
es kafka ansible 可接
|
 |
9
huruwo 2021-01-07 10:56:39 +08:00
楼上的看清楚 虽然云服务可以解决一部分但是这个
Android 偏底层怎么云服务 分布式爬虫架构搭建怎么云服务 云服务不是万能药 关键还是要上真人 |
 |
10
sunchuo OP @luodaoyi
@Yano 我没有任何想省钱、捡便宜的想法。请仔细看 Q&A 部分。 我们只需要指导、让我们少走弯路、快速学会。不是找人帮我们干活。 @mepwang 坦诚地说，我们在机房的机器硬件免费，只需要付带宽钱。10G 在各大云要多少一个月知道不？ @JosephHan 我给顾问付钱的算法在 Q&A 里讲的很清楚了：2 ～ 3 小时当成一个工作日付日薪。这个价格我挺好意思的。 羡慕你年薪 20 万，祝你越涨越多。 -------- @cloudhuang 以我的经验来看，怼机器是最好的办法。作为一群老人我们有丰富的落后技术的经验。只是学习能力变弱了。👀 所以想找个人帮我们少走弯路。 @lancelee01 不太了解 ClickHoues，我们是 10 亿级数据，每行大概 600k 。需要全文索引。需要更新操作。 @rrfeng 能麻烦您加一下我微信嘛？感谢！ @huruwo 感谢。 |
|
11
lancelee01 2021-01-07 15:15:15 +08:00 1
ClickHouse 是一个 MPP 架构的列式数据库管理系统，适用于数据不可变，聚合分析操作的场景。一般用于 BI，以及基于 BI 衍生出来的数据分析场景，比如风控、游戏数据分析等。
|
 |
12
vus520 2021-01-07 16:13:25 +08:00
大规模数据，自建 IDC 的成本远低于上云的成本。
|
 |
13
mumubin 2021-01-07 20:04:20 +08:00
我司疫情期间自建数据中心不够用了，买了 aws 的服务，一个月 100w 刀。服务是真的贵，不过各方面做的是真的好
|
 |
14
hantsy 2021-01-07 20:08:20 +08:00
这个基础设施搞好，不容易。加油啦。
话说回来，国内的云不如自己搞。 |
 |
15
westoy 2021-01-07 20:23:03 +08:00 1
没戏， 真的
大家都知道， 其实一天能集中精力干活儿的也就几个小时， 兼职顾问不可能持续性的投入精力跟进你们项目 而且双方避嫌， 肯定要业务脱敏的啊， 这种偏底层偏架构的一旦脱离业务和规模， 很难针对性解决问题 单一两个方面， 双方克服一下困难也就算了， 你这边是全面开花了 |
 |
16
firefox12 2021-01-07 20:40:20 +08:00
他的需求不是用云可以解决的， 云完成的是基础架构。 他的需求不是搭建个 es 这么简单，需要在这个领域有很多经验可以迅速解决问题的。里面任何一个点都是一道面试题。而且 他的问题是很实际的，没有实际解决过类似问题的人多半是搞不定的。
|
|
17
firefox12 2021-01-07 20:43:42 +08:00
从问题上 可以看出他们的需求都是可扩展性的点，简单的说 是要这个项目的 cto, 高速 指导大家绕过所有的坑，快速的上线整个项目，保证这个项目可持续的发展。 因为他说了 他们是一群有技术的人， 准确的说 他们有一些经验，但是这些经验要支持他们从现在的量级 向 2 个量级以后扩展可能不够。 他们目前是 10 亿，他们可能要的是直接上 1000 亿的 这条路。
|
 |
18
undeflife 2021-01-07 23:06:07 +08:00
minio 那条 你这不就是要在 minio 上实现 S3 吗？
|
 |
19
hotsymbol 2021-01-07 23:13:29 +08:00
这不是典型的白嫖心理吗。就是不用云服务。就是要用本地服务器。因为便宜。招个人来。给多少钱都行。一般是一开始给一点钱。后面就是维护。不给钱了。再要钱就会告诉你。你现在遇到的问题不就是你前面没有解决的吗？目测这个老板是做销售的出身。想要花最少的钱。做最多的事
|
 |
20
RangerWolf 2021-01-07 23:16:45 +08:00
很有诚意的帖子，赞一个楼主！
祝你们越走越远，原来越顺利！ |
|
21
RangerWolf 2021-01-07 23:17:11 +08:00
啊啊啊 打错字， 越来越顺利。。。
|
 |
22
YouLMAO 2021-01-08 00:36:04 +08:00 via Android
楼主我都会，但最少你表示最低价格吧，否则万一差 50 倍就白聊了
|
 |
23
AkideLiu 2021-01-08 02:21:38 +08:00 via iPhone
隐约觉得不是缺钱，而是存在法律风险。
10g 带宽，10 亿数据，爬虫+反编译。 瞎说的，勿喷 /doge |
 |
24
jwangkun 2021-01-08 09:01:38 +08:00
@lancelee01 我们可以交流一下，我们公司目前正在大规模的使用
|
 |
26
buliugu 2021-01-08 10:59:42 +08:00
Minio 分布式部署的需求基本上可以用 k8s 部署来解决，不过自带的 Prometheus metrics 只有实例数据，每个租户给独立 minio 集群嘛？
|
 |
27
lyc1116 2021-01-08 17:34:28 +08:00
Elasticsearch 的需求这个不是上云对机器能解决的，中文支持->中文分词(机械，字典等)，实时索引，首字母搜索->doc 量大需要优化 wildcard query，纠错->speelcheck 索引，后面可能还需要优化召回和排序。
|
 |
29
calmzhu 2021-01-09 01:01:37 +08:00
其他不评论。
不过 20 倍成本这个认真的吗，不带这么尬黑的。 阿里云 2vCpu 8G 内存 5M 固定带宽的月租是 387. 所以你们一个月同样服务器成本是 19 块？ 服务器功率全部按接近待机的功率算 200W 。一个月大概 0.2Kw * 720h = 144 kwh 。每度电两毛。电厂现在已经这么丧心病狂了么。 |
|
30
sunchuo OP |
|
31
calmzhu 2021-01-10 14:28:00 +08:00
|
|
32
calmzhu 2021-01-10 14:37:47 +08:00
|
|
34
calmzhu 2021-01-10 15:22:12 +08:00
@sunchuo
有一点确实看错了。也不是自建数据中心。而是整租机柜或者单个机位。所以不考虑电费。 按照我们之前租的电信机房整机柜。销售谈过的价格是 6w/年。每组机柜 13 台 2U 48 核 256G 服务器插满。每台每个月成本大概是 384.6 元.差不多也就是机房电费了。 阿里云上 256G 内存没有 48vCPU,按通用型 ecs.g5.16xlarge 32vCPU 单月购买价格的 20 分之一大概是 400.这大概就算你算的大概 20 倍成本的数据来源吧。但是请注意这是只购买一个月一台直接下款的价格。有量有长期谈一下轻松减半（官方直售超三年都是直接半价） |
|
35
lancelee01 2021-01-11 09:15:15 +08:00
@jwangkun 可以呀，WX：bGFuY2VsZWVkZXY=
|
Select Language