用Scrapy怎么写分布式爬虫呢？

使用 Scrapy 实现分布式爬虫时，通常需要结合 Scrapy 的爬虫框架和分布式任务队列（如 Redis）来实现主节点和工作节点的通信。以下是具体实现步骤和代码示例。

1. 系统架构

• 主节点：负责生成初始任务（URL）并放入任务队列（如Redis）。
• 工作节点：运行Scrapy爬虫，从任务队列中获取URL并执行爬取任务。
• 任务队列：使用Redis作为任务队列，存储待爬取的URL。
• 去重机制：使用Redis的集合（Set）或布隆过滤器（Bloom Filter）实现URL去重。

2. 实现步骤

1. 安装依赖：
2. 安装Scrapy和Scrapy-Redis： bash pip install scrapy scrapy-redis

3. 安装Redis并启动Redis服务： bash sudo apt install redis-server redis-server

4. 配置Scrapy项目：

5. 创建一个Scrapy项目： bash scrapy startproject pdf_crawler cd pdf_crawler

6. 配置Scrapy-Redis： 修改 settings.py，添加以下配置： python # 使用Scrapy-Redis调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 使用Redis作为去重过滤器 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 允许暂停和恢复爬取 SCHEDULER_PERSIST = True # Redis连接设置 REDIS_URL = "redis://localhost:6379" # 设置Item Pipeline ITEM_PIPELINES = { 'scrapy_redis.pipelines.RedisPipeline': 300, }

7. 编写爬虫：

8. 在 spiders 目录下创建一个爬虫文件，例如 pdf_spider.py： ```python import scrapy from scrapy_redis.spiders import RedisSpider

   class PdfSpider(RedisSpider): name = "pdf_spider" redis_key = "pdf_tasks" # Redis中的任务队列名称

    def parse(self, response):
        # 提取PDF链接
        pdf_links = response.css('a[href$=".pdf"]::attr(href)').getall()
        for pdf_link in pdf_links:
            yield {
                'url': response.urljoin(pdf_link),
                'file_name': pdf_link.split('/')[-1]
            }
   

   ```

9. 主节点生成任务：

10. 主节点将初始URL放入Redis队列： ```python import redis

    # 连接到Redis r = redis.Redis(host='localhost', port=6379, db=0)

    # 添加初始URL到任务队列 urls = [ "http://example.com/page1", "http://example.com/page2", "http://example.com/page3" ] for url in urls: r.lpush('pdf_tasks', url) print("Initial URLs added to Redis queue.") ```

11. 运行工作节点：

12. 在工作节点上运行Scrapy爬虫： bash scrapy crawl pdf_spider

13. 下载PDF文件：

14. 在 pipelines.py 中编写一个Pipeline来处理下载逻辑： ```python import requests import os

    class PdfDownloadPipeline: def process_item(self, item, spider): url = item['url'] file_name = item['file_name'] save_path = os.path.join('downloads', file_name)

         # 下载PDF文件
         response = requests.get(url)
         with open(save_path, 'wb') as f:
             f.write(response.content)
         print(f"Downloaded {file_name} from {url}")
         return item
    

    - 在 `settings.py` 中启用Pipeline：python ITEM_PIPELINES = { 'pdf_crawler.pipelines.PdfDownloadPipeline': 300, } ```

3. 运行流程

1. 主节点：
2. 将初始URL推送到Redis队列。
3. 工作节点：
4. 运行Scrapy爬虫，从Redis队列中获取URL并执行爬取任务。
5. 提取PDF链接并下载文件。
6. Redis：
7. 作为任务队列和去重过滤器，确保任务分发的可靠性和高效性。

4. 总结

• Scrapy-Redis：用于实现分布式爬虫的任务分发和去重。
• 主节点：生成任务并推送到Redis队列。
• 工作节点：运行Scrapy爬虫，从Redis队列中获取任务并执行。
• Pipeline：处理下载逻辑，将PDF文件保存到本地。

通过这种方式，你可以轻松实现一个分布式的PDF文件爬取系统。