关于手机 app 抓包一般流程是不是使用 fiddler 或者 Charles 来查找接口,在使用 mitmproxy 的 mitmdunmp 对接口所含有的数据进行提取,再用自动化 appium 或者 AirtestIDE 控制?

if '找到接口中所有含有的关键字' in flow.response.url or flow.request.host == "关键字":

	text = flow.response.get_text()
    
    text = re.findall('提取的内容',text)
    
    #存入数据库或者文本
	
    with open(....)as f:
    	
        f.writer(text)

addons = [ response() ]

(2)(2)

开启 mitmproxy 中的 mitmweb ->>> 直接在命令行开启 mitmweb

(2)(3)

mitmdump 加载刚刚写出来的文件 ->>> 加载文件 mitmdump -s addons.py

这样手机在使用 app 滑动的时候,mitmdump 会对所有经过的请求进行过滤,进行文本提取,保存

(3) 上面几乎已经完成,只需要使用自动化工具 appium 或者 AirtestIDE 来对手机不断滑动发送请求,mtimdump 则保存

网络上教程太少了,文档也就那么几个反反复复,

这个流程是否正确??????????? 是可以无视 js 和加密的把?

第 1 条附言 · 2019-06-21 16:02:41 +08:00

更新一下,对于 mitmproxy 的控制,

下载 pip 下载下来的 mitmproxy 其实是三个程序,分别是 mitmproxy,mitmweb 和 itmdump

其中 mitmproxy,mitmweb 可以分为一个用途,只是功能差异不是很大,都是对抓取的 url 分析.但是 mitmproxy 不能在 win 上使用,所以一般在 win 上使用的是 mitmweb

我这里流程写错了,今天在抓取的时候发现,win 上只要先开启 mitmweb 在开启 mitmdump,后一个就不会运行,一直保持监听状态,所以在抓取的时候最好确定接口,编写链接内容,对该接口 url 进行拦截时,请确定只开启一个 mitmdump

------------------------------------------------------------------------------------------------------------------------

还有第一个流程其实用 mitmweb 来抓接口也是可以的,不过不如 charles 那么直接,界面特别乱

使用第一第二流程要注意默然的端口是不一样的,如果你设置一样的端口请无视,一个是 8888,一个是 8080,注意每个流程使用完成之后关闭当前流程抓包软件,修改手机上的 ip 端口

39 条回复 • 2019-07-05 10:08:08 +08:00

newGamingLife

2019-06-20 10:57:16 +08:00

噶你的头像和我做的事情真的是一模一样。。。怀疑是不是自己梦游建的账号发的帖

newGamingLife

2019-06-20 10:57:36 +08:00

小声 BB，微信头像

z1421012325

2019-06-20 11:53:52 +08:00

更新一下,我试了用 ios,结果可以用 chlarles 抓取到 https 的请求了,果然是小米手机的问题吗?

http://i1.fuimg.com/691087/749b4cdaed5b307c.png

http://i1.fuimg.com/691087/511747de62e4717a.png

z1421012325

2019-06-20 11:54:22 +08:00

抓的起点和趣天下

artandlol

2019-06-20 11:55:53 +08:00 via Android

用 goproxy

crab

2019-06-20 11:56:10 +08:00

反编译 app，得到算法密钥类能算出签名，直接 api 请求了吧？

KuroNekoFan

2019-06-20 11:58:38 +08:00 via iPhone

android7 之后，用户证书不再被信任，抓不到 https 是正常的，root 了之后把用户证书移到信任区应该可以，另外一种情况是 sslpinging，不太了解

z1421012325

2019-06-20 12:58:27 +08:00

@crab 我要是能这么弄,我还需要这么多流程搞的这么乱吗........

不动反编译 app 啊

crab

2019-06-20 13:03:12 +08:00

@z1421012325 还是得到反编译这阶段啊。抓不到 https 你查下 SSL Pinning。

des

2019-06-20 13:08:02 +08:00

@z1421012325 JustTruestMe 走起

z1421012325

2019-06-20 13:17:44 +08:00

@artandlol 我看了一下,这个软件使用来建立代理服务器开端口用的? 不懂

z919126592

2019-06-20 13:25:59 +08:00

Xposed+JustTruestme

stop9125

2019-06-20 14:12:25 +08:00

安卓 8(?不确定)之后只信任系统证书了

z1421012325

2019-06-20 14:24:50 +08:00

@KuroNekoFan 不敢 root 自己用的手机, ios 我测试了可以抓 https 的, sslpinnning 也不可能每个 app 都用了吧

z1421012325

2019-06-20 14:29:26 +08:00

@crab 难道爬虫终极阶段要有反编译 app 的能力吗,别吓我. 也不可能能每个 app 都有 SSL Pinning 吧?,ios 手机测试了能抓到 https

是安卓版本问题吧?

artandlol

2019-06-20 15:03:40 +08:00 via Android

@z1421012325 golang 版本的，静态文件比 mitproxy 好用

muchengxue

2019-06-20 15:16:05 +08:00

小米 note4 charles 抓起点 https 没问题

yoqu

2019-06-20 15:42:41 +08:00

@z1421012325 安卓 8.0 以后用户自己安装的证书都不认了，需要 root 权限安装证书到设备中

z1421012325

2019-06-20 15:42:54 +08:00

@muchengxue 应该是安卓版本没有到 8 把?

lzvezr

2019-06-20 15:44:25 +08:00 via iPhone

弄个 Android6.0 的实机或者虚拟机是最好的，低版本 xposed 支持不好，高版本安全性太高

z1421012325

2019-06-20 15:44:32 +08:00

@artandlol go'看不懂,再说了我也只是 app 抓数据,不可能数据都给加密了吧,中途拦截数据 mitmdump 挺好用的,简单

z1421012325

2019-06-20 15:46:13 +08:00

@lzvezr 哈哈我也正在做虚拟机版的,

不知道 windows 的电脑使用 AirtestIDE 能不能控制 ios 啊?

KuroNekoFan

2019-06-20 16:12:39 +08:00

@z1421012325 找个 android5/6 的设备呗...

Jirajine

2019-06-20 16:25:17 +08:00 via Android

楼上说 root 导入到系统 CA 真的尝试过吗？我弄了很多次，确定按正确格式导入，权限也配置好，仍然不被信任。
至于 justtrustme，试了下他的 release 版仍然不行，回去编译一下看看。

locoz

2019-06-20 16:34:00 +08:00

可以看一下我的这几篇文章

[当你写爬虫遇到 APP 的请求有加密参数时该怎么办？ [初级篇-常规模式] ]( https://mp.weixin.qq.com/s/KFM37LN7phd8nbI8iIHDtw)

[当你写爬虫遇到 APP 的请求有加密参数时该怎么办？ [初级篇-秒杀模式] ]( https://mp.weixin.qq.com/s/_FjW6zzBv7-LENfB9B2loA)

[当你写爬虫抓不到 APP 请求包的时候该怎么办？ [初级篇] ]( https://zhuanlan.zhihu.com/p/46433599)

[当你写爬虫抓不到 APP 请求包的时候该怎么办？ [中级篇] ]( https://zhuanlan.zhihu.com/p/56397466)

[当你写爬虫抓不到 APP 请求包的时候该怎么办？ [高级篇-混淆导致通用 Hook 工具失效] ]( https://zhuanlan.zhihu.com/p/63028507)

unclemcz

2019-06-20 19:07:26 +08:00 via Android

@locoz 膜拜大佬

duan602728596

2019-06-20 19:44:56 +08:00 via iPhone

ios 直接越狱然后装个 ssl-kill-switch2 就能抓到了啊

z1421012325

2019-06-20 22:56:15 +08:00

@Jirajine 我用模拟器试了下,直接用安卓版本 5.0 以上的用 xposed +justtrustme 可以无视证书,证书的安装也不用了,charles 能抓到 https 的请求了这是我写的随笔 https://www.cnblogs.com/zengxm/p/11061900.html

z1421012325

2019-06-20 23:34:16 +08:00

@duan602728596 根据需求来越狱吧? 我直接在 wifi 中写入代理和端口,在 ios 自带的浏览器上下证书,直接安装信任就好了,直接抓到 https 的请求,比起安卓简单的太多了,除非 app 中含有 sslpinning 才需要把?我尝试了起点的 https 请求可以抓到,抖音也行

locoz

2019-06-21 00:18:43 +08:00

@unclemcz #26

jamev5

2019-06-21 00:24:06 +08:00 via Android

还有种简单的方法是安装平行空间，在平行空间里打开对应的软件，然后抓包平行空间的请求就可以了。

hp66722667

2019-06-21 09:48:55 +08:00

https 指定是能抓到的，跟手机没关系，因为我们测试过小米，华为，IOS

unclemcz

2019-06-21 10:57:36 +08:00

@hp66722667 要看情况，没做证书验证随便抓，如果客户端有做证书验证，就要干掉 sslpinning，进一步如果客户端服务端做双向验证，则还要找到客户端保存的证书和秘钥，@locoz 发在站上的系列文章，算是很全面教程了。

foxyier

2019-06-21 14:02:19 +08:00

@locoz 学到了。666

z1421012325

2019-06-21 15:50:32 +08:00

@jamev5 这种对于证书能搞定吗,对安卓版本有没有要求啊?

z1421012325

2019-06-21 22:33:38 +08:00

@locoz 感谢大佬的文档,不过我有个问题,

比如我是在 win 下使用 mitmdump 拦截数据保存的,

但是我需要手动滑动一些页面,想要使用自动化软件 airtestIDE 让手机自动化,发现使用的是模拟器,没有使用真机,想知道怎么无线让两个运作起来??共用同一个端口也不行吧?

网络上的教程都是使用抓包软甲+有线 adb 手机抓取, 难道只能使用真机+有线来操控吗

gaopan123

2019-07-05 10:01:05 +08:00

感谢 @locoz，我目前也是刚深入到 LZ 的地步，止步于 xposed

locoz

2019-07-05 10:07:44 +08:00

@z1421012325 #36

卧槽我居然没看到你这个回复的，赶紧补一下，ADB 群控可以用网络控制，不一定非要有线，这些都是灰黑产玩烂的东西了。最简单的就是网络 ADB，但效率没有直接用专门的网络群控 APP+控制端高，而且连接不太稳定，管理起来也不是很方便，所以如果要搞的话建议走第二个方案。

locoz

2019-07-05 10:08:08 +08:00

@gaopan123 #37 能对你有帮助就好