安装完 scrapy 后,用命令创建 scrapy 项目,进入我们要创建项目的目录中,运行创建项目命令。
创建项目命令
创建命令如下:
scrapy startproject {project_name}
执行结果如下:
demo@Mac PycharmProjects $ scrapy startproject myproject
New Scrapy project 'myproject', using template directory '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/scrapy/templates/project', created in:
/Users/honey/PycharmProjects/myproject
You can start your first spider with:
cd myproject
scrapy genspider example example.com
项目目录
运行如上命令后,项目目录结构如下:
scrapy.cfg --------------------------> scrapy 部署配置文件 myproject/ --------------------------> 项目名称 __init__.py items.py ------------------------> 选取哪些数据作为字段进行存储 pipelines.py --------------------> 通过管道执行保存数据的操作 middlewares.py ------------------> 项目的中间件 settings.py ---------------------> 项目的设置文件 spiders/ ------------------------> 放置具体 spider 代码的目录 __init__.py spider1.py ------------------> 具体爬虫类1 spider2.py ------------------> 具体爬虫类2 ...