Pycharm安装scrapy及初始化爬虫项目的方法


这篇文章主要介绍了Pycharm安装scrapy及初始化爬虫项目的方法的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Pycharm安装scrapy及初始化爬虫项目的方法文章都会有所收获,下面我们一起来看看吧。1、打开cmd命令窗口,输入:pip install Scrapy。2、安装成功之后会显示下面字符,表示未将scrapy设置到环境变量。3、配置环境变量:右键我的电脑–>属性–>高级设置—>环境变量—->系统变量中的Path—>编辑—>添加—>将上文中黄色的路径添加到环境变量即可。4、scrapy安装完毕。1、创建一个普通的Pycharm项目,然后找到下面的terminal2、输入命令scrapy startpro免费云主机域名ject 模块名称(可以自己随便起,我以名为mine为例),成功之后你会发现自己的项目中多了一个mine的包文件。3、上述操作成功后终端会显示下图文字:此时我们输入cd那条命令。进入目标文件。4、这时就可以创建爬虫目标文件啦,输入scrapy genspider 爬取名 网站域名1、爬取名是自己随便起的,比如我要爬百度那么我就可以起名为baidu2、网站域名就是去掉 https:www. 剩下的部分2和3操作截图:5、此时我们会在目录里看见一个新的py文件:里自动生成如下代码:由于pycharm没有创建scrapy框架的模块,所以我们想调试scrapy程序时要自己写一个小脚本来开启pycharm对scrapy的调试功能。1、在与mine包同级条件下创建一个main.py文件:2、mine文件将一下代码赋值进去:关于“Pycharm安装scrapy及初始化爬虫项目的方法”这篇文章的内容就介绍到这里,感谢各位的阅读!相信大家对“Pycharm安装scrapy及初始化爬虫项目的方法”知识都有一定的了解,大家如果还想学习更多知识,欢迎关注百云主机行业资讯频道。

相关推荐: Go分布式链路追踪实现原理是什么

本文小编为大家详细介绍“Go分布式链路追踪实现原理是什么”,内容详细,步骤清晰,细节处理妥当,希望这篇“Go分布式链路追踪实现原理是什么”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。在分布式架构下,当用户从浏览器客户端发起一个请求时…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

Like (0)
Donate 微信扫一扫 微信扫一扫
Previous 03/27 17:58
Next 03/27 17:58

相关推荐