如何进行crawlergo、rad、burpsuite和awvs爬虫的对比，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。最近在写代码，涉及了web爬取链接的方面，在百度过程中了解到了这篇文章：superSpider,突然就好奇平时常见的爬虫 工具和扫描器里的爬虫模块能力如何，所以来测试下。主要测试1个自己手写的瞎眼爬虫，还有crawlergo、rad、burpsuite pro v202012、awvs 2019只抓取a标签下的href和script标签下的src；结果:
46个链接，夹杂着很多免费云主机域名其他域名的链接，有很多带参数的链接在官方示例代码上加了几行结果：
48条清洗后：./rad_linux_amd64 --target http://testphp.vulnweb.com --text-output rad.log
结果：42条 ， 由于存在get和post的区别，清洗后去重为39条爬取较耗费时间，截图的时候是49个，但是随着时间增加数量还在上升，在后面回看的时候数量已经一百多了扫描相对burp很快，不知道是不是自家网站缘故，扫描结果数量405，但是很多都是Mod_Rewrite模块下的由上所有数据可以看出，awvs和burpsuite爬取的数据量是属于最多的一层的，crawlergo和rad和我手写的爬虫好像是一层。。仅数据量来说。。再看下数据质量，这里我主要看手写的爬虫(下面称为基准)，和rad 、crawlergo首先，我们先把基准数据和rad的数据比较
先取交集，
存在17个交集数据，各自减去交集后的数据，排序，对比
细心查看的话会发现中间那栏基准数据基本path基本都能在左边交集栏查看到，而右侧rad栏黄色部分基本都是左侧即基准数据里没有的。本人查看了前面的burpsuite和awvs报告，他们多出的部分基本都是http://testphp.vulnweb.com/Mod_Rewrite_Shop/目录下的，这边基准爬虫和rad里都存在了这个目录。再看下基准与crawlergo比较
存在18个交集
依然是右侧有的左边基本都没有，但是左右那几个details目录右侧也没有发现看下crawlergo与rad的比较
惊人的相似-_- ，几款工具都扫描出了手写代码里没扫除的目录、路径，其实力都是蛮强的。其中，crawlergo和rad扫描的数量和质量类似，burpsuite和awvs的扫描结果类似，都是数量最多，但是burpsuite的扫描速度个人感觉有点慢当然，数量多少的问题是由于burosuite和awvs存在系列安全扫描及其他用途的缘由，对于纯粹只为获取url的话还是得靠crawlergo和rad方便些。crawlergo和rad的区别存在crawlergo返回的数据中包含了所有headers，包括其自动填充的表单数据，rad返回的只有请求方法+url，如Get http://xxx最后自己做了一张表，仅代表自己观点，也不一定准确
看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注云编程开发博客行业资讯频道，感谢您对云编程开发博客的支持。
这篇文章主要介绍“Linux uniq命令怎么使用”，在日常操作中，相信很多人在Linux uniq命令怎么使用问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Linux uniq命令怎么使用”的疑惑有所帮助！接下来，请跟着小编一…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
