大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)
沉沙 2019-06-26 来源 : 阅读 426 评论 0

摘要:本篇文章探讨了大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10),希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。

本篇文章探讨了大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10),希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)


之前说了fiddler抓包软件,这次主要说说mitmproxy的app抓包。源码:https://github.com/limingios/netFuture/blob/master/mitmproxy/

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

linux下如何抓包

mitmproxy的安装可以参考《python的docker爬虫技术-在linux下mitmproxy介绍和安装(四)》

#查看ip地址yum install net-tools.x86_64 
#192.168.77.100ifconfig

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

  • 查看mitmproxy 版本

mitmproxy --version
mitmdump --version
mitmweb --version
mitmproxy -p 8888

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

启动夜神模拟机

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

设置代理

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

长按设置

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

桥接关闭

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

提示证书未安装

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

浏览器打开//mitm.it/

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

点击对应的手机,安装证书,之前说过如何安装证书。可能这个过程要设置锁屏的密码。

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

再次打开baidu.com,不在提示证书问题

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

证书列表:(设置-安全-信任的凭证)
一个fiddler的证书,一个mitmproxy的证书

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

技巧:退出q。
进入某个url 直接回车。
进入详情,键盘所有键查看。

  • mitmproxy如何设置过滤

    键盘直接输入 f 键,就会出现set view_fiter=

1.展示返回不是http的状态200的请求

set view_fiter=!(~c 200)

展示不是200的请求

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

如何清除上边的个规则

#直接输入键盘f#set view_fiter= 回车

2.域名找到baidu的请求

#直接输入键盘fset view_fiter=~d baidu.com

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

3.请求包含baidu 并且是get请求的

#直接输入键盘fset view_fiter=~m get & ~u baidu

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

  • mitmproxy如何设置断点拦截

    之前过滤的时候输入的是f,这里输入i ,对于get请求并且请求内容包括baidu.com的

    #直接输入键盘iset intercept=~d baidu.com & ~m get

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

就是被mitmproxy进行的拦截。

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

选中数据包后敲击:回车;

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

停留在request这个界面里面,需要进行修改。输入键盘的e,选择(4)request header,选择host,输入键盘d,就删除host这一行。然后在输入键盘e,选择url,输入要跳转的地址。这样就直接跳转到要跳转的地址上去了。退出q,然后输入a。继续执行查看效果。

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

  • 修改返回数据。

    #直接输入键盘iset intercept=~d baidu.com & ~m get

出现标红的地址,就是被mitmproxy进行的拦截

选中数据包后敲击:回车;

停留在request这个界面里面,键盘左右键选择response,输入e,进入类似vi编辑器的界面,输入返回的文字。退出vi编辑器wq,然后退出q,输入a。继续执行查看效果。

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

PS:基本的mitmproxy的使用就讲到这里,拦截什么的还是比较好用的。基本每个抓包工具都有自己的共同点拦截,改包功能。

大数据采集之python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包(10)

"      本文由职坐标整理发布,学习更多的相关知识,请关注职坐标IT知识库!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程