V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Lateautumn
V2EX  ›  Python

最近想开个 github 的 Organizations https://github.com/AntiCrawlerSolution 是关于各种反爬的解决方案

  •  
  •   Lateautumn · 2018-11-28 11:00:42 +08:00 · 3723 次点击
    这是一个创建于 2186 天前的主题,其中的信息可能已经有所发展或是发生改变。

    同题,之所以想开这个 organizations 是因为 1.因为有很多网站的反爬手段都很类似,把这些反爬手段收集起来能够给做爬虫的兄弟们一些借鉴。 2.爬虫本身有时候是很繁琐的一件事情,在 api,网页,源码中寻找数据,所以希望开源一些实际生产环境的解决方案让大家使用 3.爬虫这个岗位确实很有挑战性,大家也可以谈谈自己爬过的艰难的网站。

    来吧,留下你的 github 名,加入我们!

    38 条回复    2018-12-06 19:57:46 +08:00
    CharlieBrown
        1
    CharlieBrown  
       2018-11-28 11:57:09 +08:00
    37Y37
        2
    37Y37  
       2018-11-28 13:24:51 +08:00
    乱爬数据不是违法的么^-^
    Lateautumn
        3
    Lateautumn  
    OP
       2018-11-28 14:57:02 +08:00
    @37Y37 这个应该这么说,我们只是交流想法,具体爬的话不是得对应到具体人,具体公司吗,这个我们就不管了,大家都是为了技术嘛
    Lateautumn
        4
    Lateautumn  
    OP
       2018-11-28 14:57:10 +08:00
    @CharlieBrown 好的,
    Lateautumn
        5
    Lateautumn  
    OP
       2018-11-28 15:01:15 +08:00
    @CharlieBrown 老哥,已经邀请了,点击这个网址接受就好了 https://github.com/AntiCrawlerSolution
    Les1ie
        6
    Les1ie  
       2018-11-28 15:51:06 +08:00
    est
        7
    est  
       2018-11-28 15:56:25 +08:00
    反扒还需要手段?谁爬就报警。
    dezhou9
        8
    dezhou9  
       2018-11-28 15:58:19 +08:00 via Android
    爬虫组干过俩月的路过
    Lateautumn
        9
    Lateautumn  
    OP
       2018-11-28 17:22:03 +08:00
    这个 github 之前也关注过,确实很优秀,不过我觉得还是内容比较少,一些方法也是比较旧了,所以希望有个 organizations 来让大家更加能够及时获取这些前沿的反爬手段以及对应的解决方案
    Lateautumn
        10
    Lateautumn  
    OP
       2018-11-28 17:22:13 +08:00
    @est 老哥牛比阿
    Lateautumn
        11
    Lateautumn  
    OP
       2018-11-28 17:22:28 +08:00
    @dezhou9 兄弟什么方向的
    ooh
        12
    ooh  
       2018-11-28 18:24:00 +08:00
    内容图片输出即可
    andylsr
        13
    andylsr  
       2018-11-28 18:36:50 +08:00 via Android
    andylsr~常年爬数据~
    Lateautumn
        14
    Lateautumn  
    OP
       2018-11-28 20:52:45 +08:00
    @andylsr 老哥,已发
    Lateautumn
        15
    Lateautumn  
    OP
       2018-11-28 20:53:04 +08:00
    @ooh ???
    Nick2VIPUser
        16
    Nick2VIPUser  
       2018-11-28 20:59:48 +08:00
    nickliqian
    freakxx
        17
    freakxx  
       2018-11-28 21:50:28 +08:00
    chrisguox
    Sparetire
        18
    Sparetire  
       2018-11-28 22:00:34 +08:00
    https://github.com/ta7sudan
    我贡献一个自己写的前端反调试的库, 也许和反爬有那么点关系...
    https://github.com/ta7sudan/secan
    zsl199512101234
        19
    zsl199512101234  
       2018-11-28 22:50:12 +08:00
    https://github.com/PinoZhou 在公司写爬虫,主要是 java 爬虫,python 也会点,希望加入一起学习
    stardiviner
        20
    stardiviner  
       2018-11-29 09:09:09 +08:00
    519718366
        21
    519718366  
       2018-11-29 09:50:37 +08:00
    工作上也爬~~被反扒了,就 sleep 时间长一点,楼主这个反扒方案很给力啊

    相见恨晚,学习了
    dongya
        22
    dongya  
       2018-11-29 13:52:10 +08:00
    相煎何急
    yongSir
        23
    yongSir  
       2018-11-29 15:02:26 +08:00
    哈哈
    楼上的相煎何急笑死我了

    我也凑个热闹
    https://github.com/13hoop
    Lateautumn
        24
    Lateautumn  
    OP
       2018-11-29 16:46:13 +08:00
    @Nick2VIPUser 老哥已发
    Lateautumn
        25
    Lateautumn  
    OP
       2018-11-29 16:46:34 +08:00
    @freakxx chrisguox
    Lateautumn
        26
    Lateautumn  
    OP
       2018-11-29 16:47:26 +08:00
    @zsl199512101234 PinoZhou
    Lateautumn
        27
    Lateautumn  
    OP
       2018-11-29 16:47:33 +08:00
    @Sparetire PinoZhou
    Lateautumn
        28
    Lateautumn  
    OP
       2018-11-29 16:47:55 +08:00
    @yongSir 13hoop
    Lateautumn
        29
    Lateautumn  
    OP
       2018-11-29 16:48:48 +08:00
    @Sparetire 之前也遇到过反调试的,不知道老哥你这个怎么样,star 你一下
    mmdsun
        30
    mmdsun  
       2018-11-29 18:54:36 +08:00 via Android
    Good idea,带上我

    https://github.com/mmdsyl
    Lateautumn
        31
    Lateautumn  
    OP
       2018-11-29 19:19:05 +08:00
    @mmdsun 老哥已发
    kenneth663
        32
    kenneth663  
       2018-11-30 12:03:03 +08:00
    Lateautumn
        33
    Lateautumn  
    OP
       2018-11-30 13:39:59 +08:00
    @kenneth663 兄弟上车
    Lateautumn
        34
    Lateautumn  
    OP
       2018-12-02 13:45:39 +08:00
    新开了个反爬小组的微信群,老哥们可以加入一下
    ![反反爬小组]( https://github.com/lateautumnlin/PicCenter/blob/master/%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20181202131436.jpg)
    ranlele
        35
    ranlele  
       2018-12-02 16:52:40 +08:00
    我看的怎么只有目录啊
    Lateautumn
        36
    Lateautumn  
    OP
       2018-12-02 23:06:45 +08:00
    @ranlele 目前还在填充具体的细节,老哥稍等哈,也可以共享一下自己的案例哈
    wc110302
        37
    wc110302  
       2018-12-03 09:48:15 +08:00
    老司机带带我
    https://github.com/wc110302
    Lateautumn
        38
    Lateautumn  
    OP
       2018-12-06 19:57:46 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3934 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 05:25 · PVG 13:25 · LAX 21:25 · JFK 00:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.