1
claymore94 2018-12-28 13:22:40 +08:00 1
帮顶~
|
2
boom7 OP @claymore94 感谢😁
|
3
bzzhou 2018-12-28 13:34:56 +08:00 1
年轻可以去尝试,转之前,先花个 3 个月把西瓜书啃了
要是啃不下来,还是继续做工程吧 |
4
boom7 OP @bzzhou 多谢指点,西瓜书之前有想看,但是急于求成,还是放下来去看了些速成教程。接下来会好好啃一啃这本书,再次感谢😁
|
5
thursday 2018-12-28 13:54:04 +08:00 1
顺路问下 做爬虫工作 做过 xposed hook 功能吗
|
7
ARhen 2018-12-28 14:08:08 +08:00 1
果然没有对比就没有伤害
同样 17 年毕业工作,不同的是我 java 干了爬虫 涨薪幅度和环境都让我羡慕..... 当然有差距是我自身原因啦~ 不过,老哥已经很棒了~ ps:原来不止我觉得干爬虫有时候太摸鱼(小声 bb~ |
9
lz850610 2018-12-28 14:12:06 +08:00 1
个人建议,选定一个目标。
|
10
jiangnanyanyu 2018-12-28 14:13:28 +08:00 via Android 1
到手 14k 羡慕,一年
|
11
boom7 OP @lz850610 我的问题就是,不知道选哪个目标😭其实更想搞机器学习,但是对自己信心不足,加上跳出舒适区的胆怯。
|
12
boom7 OP @jiangnanyanyu 也是最近才到 14,但每个月也不知道怎么就花没了😐
|
13
cyhulk 2018-12-28 14:16:18 +08:00 1
硕士毕业吗?
|
15
cyhulk 2018-12-28 14:22:29 +08:00 1
本科毕业的话,机器学习那么好转的吗?推荐转 go
|
17
HongJay 2018-12-28 14:25:35 +08:00 1
到手 14 还是牛皮啊。。
|
18
boom7 OP @HongJay #17 公积金社保蛮低的。工资现在看还可以,但是爬虫这个职位的话,之后工资似乎也不会有什么大的提升了 orz。。
|
19
yang2yang 2018-12-28 14:34:44 +08:00
怎么才能涨薪?(真诚脸)
|
20
luckybo 2018-12-28 14:34:46 +08:00 1
想跟你了解了解爬虫的图片验证码和滑动验证码
|
22
dengtongcai 2018-12-28 14:41:35 +08:00 1
情况和你差不多。。不过我们这好像没什么好转的,哎。。很烦就
|
23
yang2yang 2018-12-28 14:43:17 +08:00 1
想跟大佬学习爬虫技术
|
24
boom7 OP @luckybo #20 baidu or google or github 搜一下,教程还是蛮多的。图像验证码简单的就二值化去噪切割然后
tesseract 识别,麻烦点的直接上 tensorflow 训练模型就好。滑动的比较麻烦一点,贴个以前看过很有帮助的链接: https://www.zhihu.com/question/32209043/answer/228776686 |
25
boom7 OP @dengtongcai #22 我们做爬虫就是很烦 hhh,入门简单,但是后来就要很纠结后续发展
|
27
holajamc 2018-12-28 15:29:55 +08:00 1
羡慕大佬~也在做爬虫,不过还要兼职数据处理+部分 NLP 工作,在西安工资是大佬的 1/2,想溜)
|
28
xiao38245 2018-12-28 15:33:13 +08:00 1
我也有这个困扰, 同 17 年毕业,我倒是想直接转机器学习,但是最近看 tf 和傅里叶,实在 捉急,楼主什么打算,一起交流一下?
|
29
glacer 2018-12-28 16:40:45 +08:00 3
楼主你和我两年前几乎一模一样。
我也是毕业后进入某厂做爬虫,做了一年多后跳槽做了后端。做爬虫期间也做了不少破解工作,像验证码,js 加密破解,APP 的逆向等。 当时做久了觉得这份工作很无聊,平时的工作基本都是在做爬虫的修修补补,应对对方的反爬虫策略。业绩上我们基本都是背锅侠,一旦数据出了问题我们要第一时间顶上,数据没问题的时候就是理所应当。不过现在回想起来其实并不是那么无聊。很多人觉得写爬虫没有一点技术含量,没错,写一个爬虫确实很简单,但写一个「优雅」的爬虫却并不简单。一个靠浏览器模拟爬取的爬虫怎么能喝一个通过破解加密直接请求 API 的爬虫比呢?我在那一年的爬虫工作中最大的收获并不是写爬虫这个技能,而是在爬数据的过程中额外接触到的多个层面的知识。像 HTTP 协议,JavaScript,图像处理,机器学习,逆向等等,以及一些爬虫架构和服务,像去重、调度分发、断点续爬、分布式、缓存、数据库等,还有与其他数据上下游的合作中熟悉的整个数据处理流程和一些大数据的知识。这些基本都是在那一年的爬虫工作中获取到的知识,也是我现在能转型后端的一个原因。这份工作给我带来的不是某个专精的技能,而是拓宽的知识面。 在目前的大环境下,我还是不建议主业做爬虫,前景不是很明朗(合法性)。楼主可以多利用业余时间学一些感兴趣的方向转型,多去试试总会成功的。 |
30
qianc1990 2018-12-28 17:24:33 +08:00 1
评分卡 并不需要太深的算法。。。,理解逻辑回归就行了
|
33
boom7 OP @glacer #29 感谢前辈回复,爬虫确实接触的技术很广,但是深度确实一般,也有转后端的想法 hhh,趁现在还清闲好好学习
|
34
boom7 OP @qianc1990 #30 聊天的时候数据组的同事也说不需要太多数学知识,反正都是调包侠。但是总要考虑以后的发展嘛。。肯定不能一直做评分卡,之后再深入学习的话,不确定自己的数学知识够不够用。准备先像 3 楼说的那样啃一啃西瓜书。
|
35
fyxtc 2018-12-28 17:53:34 +08:00
哈哈,我最近也在学习 tf,google 出的官方教程就挺不错的了
|
36
FakeLeung 2018-12-28 18:02:34 +08:00 1
一年,到手 14k (羡慕脸)
|
38
Leigg 2018-12-28 20:03:43 +08:00 via iPhone 1
go- blockC
|
39
tingyunsay 2018-12-29 00:44:58 +08:00 1
和你情况差不多,写了一年的爬虫,基本啥都搞过( but 逆向没人带搞不太定,涉及到 native 那层的代码就不知道怎么调了),然后其他业务需要人,转去做 c++了
现在看看感觉立法要是更严格点,爬虫以后都没法做,还是早点转行,后端比较稳定,go 也是趋势,建议选 2,要是特别想去做 3,还是花点时间打好基础,光用框架,前途不太明朗 楼主加油 |
40
boom7 OP @tingyunsay 感谢。native 层用 ida 调试确实费事。准备趁现在清闲,go 和 机器学习一起学吧,三个月后如果机器学习没有进度,就直接全心全意转后端。争取 2019 能跳个新岗位
|
41
yanzixuan 2018-12-29 09:38:27 +08:00 1
用 python 搞爬虫搞了 1 年多点。爬虫搞深了还是很有技术含量的,尤其是各种验证码,都要上人工神经网络了。
如果往这个方向深挖下去,AI 工程师就是你的目标 我目前转了大数据方向,学习 scala 和 spark 中。。。 |
43
SpiderXiantang 2018-12-29 10:51:08 +08:00
我转后端了
|
44
asus10tu 2019-02-15 13:55:39 +08:00
楼主请问现在怎么样了,我跟你情况一样,也打算跳出爬虫了。但是我纠结的是往大数据方面发展,还是往数据科学发展。
对数据科学感兴趣一些,数学方面属于不上不下的水平,怕硬啃到最后要放弃。 大数据方面貌似挺多方向的,分采集清洗、分析挖掘、可视化、平台架构开发什么的,一时半会不知道如何入门。 想看看楼主现况如何。 |