V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
MrhuangSTR
V2EX  ›  Python

Python 爬虫 js 分析

  •  
  •   MrhuangSTR · 2020-09-25 11:08:40 +08:00 · 2189 次点击
    这是一个创建于 1521 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一般遇到 js 加密参数的,能通过全局搜索定位到对应的 js 文件,然后就没有然后了,试过网上搜索通过打断点调试分析加密逻辑,但是对于那些 js 反混淆比较厉害的就束手无策,网上搜对应的博客看的也是云里雾里,请问当你遇到这种不知道该如何下手的时候你们是怎么处理的?如何提高自己的 js 分析能力

    11 条回复    2020-09-25 15:13:30 +08:00
    lusi1990
        1
    lusi1990  
       2020-09-25 11:22:43 +08:00
    没有提高自己的 JS 分析能力, 而是换成 selenium 爬
    MrhuangSTR
        2
    MrhuangSTR  
    OP
       2020-09-25 11:25:16 +08:00
    @lusi1990 selenium 真心不想用
    musi
        3
    musi  
       2020-09-25 11:44:26 +08:00 via iPhone
    慢慢 debug,一般代码都是混淆的也没啥办法
    vone
        4
    vone  
       2020-09-25 12:01:01 +08:00
    1 、可以把相关 js 单独复制出来,复制的时候如果搞不明白依赖关系就把相关的代码都拿出来;
    2 、用 node 模拟需要的 window 、navigator 等特殊对象;
    3 、如果有缺失代码则继续去复制;
    4 、node 调试执行上述代码,如果有异常,重复 2 、3 步骤(最终目的相关 js 方法可以在 node 环境中正常工作);
    5 、逐步排除无用代码;
    6 、技术比较硬核的可以调试并理解对应的逻辑,弱鸡则可以直接使用 js 解释器直接包装为方法。
    imn1
        5
    imn1  
       2020-09-25 12:08:11 +08:00
    我反正没搜到不用 selenium 爬豆瓣的例子
    MrhuangSTR
        6
    MrhuangSTR  
    OP
       2020-09-25 14:59:05 +08:00
    @musi 整个人都会焦躁吧..
    murmur
        7
    murmur  
       2020-09-25 15:00:56 +08:00
    爬虫大多数都是灰产黑产,干这行一点耐心都没有还行,你这还是有代码可以 debug,别人做反汇编脱壳的怎么说,一不小心程序跑飞了
    MrhuangSTR
        8
    MrhuangSTR  
    OP
       2020-09-25 15:01:21 +08:00
    @vone 说到底还是要对 js 熟悉,只了解一些基本的基础知识真的很容易卡壳
    MrhuangSTR
        9
    MrhuangSTR  
    OP
       2020-09-25 15:01:46 +08:00
    @imn1 豆瓣的加密还好吧
    MrhuangSTR
        10
    MrhuangSTR  
    OP
       2020-09-25 15:02:50 +08:00
    @murmur 脱壳 APP 逆向应该是爬虫里最难的了
    liuqiangxi
        11
    liuqiangxi  
       2020-09-25 15:13:30 +08:00
    怎么周哥还不来打广告
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1467 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 16:58 · PVG 00:58 · LAX 08:58 · JFK 11:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.