Scrapy 0.14 Documentation

• 语言: 英语
• 格式: .epub
• 来源: docs.scrapy.org

摘要

The document provides comprehensive information about Scrapy 0.14, an application framework for web scraping and data extraction. It includes details on installation, basic concepts such as Items and Spiders, versioning system, API stability, settings configuration, and experimental features. Scrapy is designed to help users extract structured data from various sources, including websites and APIs, and offers tools for managing and deploying scraping projects efficiently.

AI总结

以下是对所提供文档内容的中文总结，重点突出核心观点和关键信息，语言简洁明了，逻辑连贯：

---

### Scrapy 0.14 文档总结

#### Scrapy 概述
- Scrapy 是一个用于抓取网站和提取结构化数据的应用框架，适用于数据挖掘、信息处理和历史存档等场景。
- 支持通过网络爬取、API 或作为通用网页爬虫使用。
- Scrapy 的目标是通过灵活、高效的方式从非结构化来源（如网页）提取数据。

#### 获取帮助
- **FAQ**：回答常见问题。
- **索引和模块索引**：查找特定信息。
- **邮件列表**：查阅 scrapy-users 群组存档或提问。
- **IRC 频道**：在 #scrapy 频道提问。
- **问题追踪**：在 GitHub 的问题追踪系统中报告错误。

#### 第一步
- **概览**：了解 Scrapy 的功能和用途。
- **安装指南**：在计算机上安装 Scrapy。
- **教程**：创建第一个 Scrapy 项目。
- **示例**：通过预制项目进一步学习。

#### 核心概念
- **命令行工具**：管理 Scrapy 项目。
- **Item**：定义要提取的数据结构，类似于字典，但支持字段元数据。
- **Spider**：编写规则来抓取网站。
- **XPath 选择器**：用于从网页中提取数据。

#### 版本控制
- Scrapy 使用奇数版本表示开发版本，偶数版本表示稳定分支。
- 版本格式为 **A.B.C**：
- **A**：主要版本，表示重大变化。
- **B**：发布版本，可能破坏向后兼容性。
- **C**：bug 修复版本，例如 0.14.1 是 0.14 系列的第一个 bug 修复版本。
- 目标是实现 1.0 版本时的 API 稳定性。

#### Item
- Item 是一个简单的数据容器，用于提取和存储结构化数据。
- 通过 `Field` 对象定义字段，支持自定义元数据，例如 `serializer`。
- 示例：

  from scrapy.item import Item, Field
  class Product(Item):
      name = Field()
      price = Field()
      stock = Field()
      last_updated = Field(serializer=str)

#### 实验性功能
- 本节文档内容可能过时、不完整或与稳定功能文档重叠。
- 使用实验性功能时需谨慎，并关注邮件列表以获取变更通知。

#### 设置
- SETTINGS 用于定制 Scrapy 的行为，包括核心组件、扩展、管道和 Spider。
- 优先级（从高到低）：
1. 全局重写
2. 项目设置模块
3. 默认设置（按命令）
4. 全局默认设置
- 通过环境变量 `SCRAPY_SETTINGS_MODULE` 指定设置模块。

#### Scrapy Service (Scrapyd)
- 内置服务，支持项目部署和蜘蛛管理。
- 功能包括：
- 管理多个项目和版本，仅使用最新版本运行蜘蛛。
- 提供 JSON 网页服务，用于上传项目版本和安排蜘蛛运行。
- 支持并发处理，通过 `max_proc` 和 `max_proc_per_cpu` 配置进程数量。
- 从 0.11 版本起，提供一个简洁的网页界面。

---

以上总结涵盖了文档的核心内容，重点突出 Scrapy 的功能、核心概念、版本控制、Item 使用、设置和服务部署等关键信息，逻辑清晰，语言简洁明了。