Scrapy 教程

original icon
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.knowledgedict.com/tutorial/scrapy-create-project.html

Scrapy 创建项目命令


安装完 scrapy 后,用命令创建 scrapy 项目,进入我们要创建项目的目录中,运行创建项目命令。

创建项目命令

创建命令如下:

scrapy startproject {project_name}

执行结果如下:

demo@Mac PycharmProjects $ scrapy startproject myproject
New Scrapy project 'myproject', using template directory '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/scrapy/templates/project', created in:
    /Users/honey/PycharmProjects/myproject

You can start your first spider with:
    cd myproject
    scrapy genspider example example.com

项目目录

运行如上命令后,项目目录结构如下:

scrapy.cfg --------------------------> scrapy 部署配置文件
myproject/ --------------------------> 项目名称
    __init__.py
    items.py ------------------------> 选取哪些数据作为字段进行存储
    pipelines.py --------------------> 通过管道执行保存数据的操作
    middlewares.py ------------------> 项目的中间件
    settings.py ---------------------> 项目的设置文件
    spiders/ ------------------------> 放置具体 spider 代码的目录
        __init__.py
        spider1.py ------------------> 具体爬虫类1
        spider2.py ------------------> 具体爬虫类2
        ...

 

创建Django项目有多种方式,下面我将介绍三种常用的方式,并附上详细的步骤和示例代码。py安装Django(如果你还没有安装):打开终端或 ...
Scrapy 针对不同目的提供了多个命令。 ...
Django是一个用于构建Web应用程序的流行PythonWeb框架。py创建项目:首先,进入你想要创建项目的目录,然后运行以下命令:或者, ...
创建一个Django项目的过程主要包括安装python环境、安装对应Django版本以及命令创建Django项目等后续操作。2版本:创建Dj ...
Scrapy 使用 Item 类定义公共输出数据格式,主要目标是从非结构化来源(通常是网页)提取结构化数据。Scrapy 爬虫可以将提取的数 ...