安装
pip install scrapy
基础使用
1. 创建一个工程：scrapy startproject
2. 在工程目录下创建一个爬虫文件
cd 工程scrapy genspider 爬虫文件的名称 起始url
3. 对应的文件中编写爬虫程序来完成爬虫的相关操作
4. 配置文件的编写（settings）
USER_AGENT：伪装身份用的
ROBOTSTXT_OBEY：默认是True，改成False。True会严格遵从门户网站的robot协议
5. 执行
本文共 288 字，大约阅读时间需要 1 分钟。
pip install scrapy
1. 创建一个工程：scrapy startproject
2. 在工程目录下创建一个爬虫文件
cd 工程scrapy genspider 爬虫文件的名称 起始url
3. 对应的文件中编写爬虫程序来完成爬虫的相关操作
4. 配置文件的编写（settings）
USER_AGENT：伪装身份用的
ROBOTSTXT_OBEY：默认是True，改成False。True会严格遵从门户网站的robot协议
5. 执行
转载于:https://www.cnblogs.com/lshedward/p/10696932.html