Scrapy 和 scrapy-redis的区别 Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。 pip in...
阅读(11) 评论(0)
1 import requests 2 import re 3 import json 4 import os 5 6 7 8 def get_name(singer): 9 url...
阅读(14) 评论(0)