scrapyd挖矿

1. Python scrapy爬虫以scrapyd部署到服务器上运行，现在想做一个定时爬取任务该怎样做，scrapyd不支持。

可以用linux 自带定时任务执行 py 程序就可以了实现的。

2. python中的scrapy是什么意思a

Scrapy英文意思是刮擦
被用来命名爬虫界知名的框架。
使用这个框架可以轻易实现常规网页采集。也支持大型架构。升级后redis更是支持分布式。利用scrapyd更是可以发布服务。
从事爬虫方向必学！

3. 如何用 scrapy 同时监控并采集 1000 个网站

我有几个方案:
1.每一个网站用一个scrapy项目来做
2.所有网站都用一个scrapy来做，items都写进去items.py中，每一个网站写一个spider蜘蛛
3.所有网站都用一个scrapy来做，items都写进去items.py中，所有网站写进一个spider蜘蛛
我个人倾向于第二个
另外用scrapyd和supervisor来做管理和监控!

4. scrapy 执行爬虫报错：exceptions.KeyError：‘d’，怎么解决

1、爬数据的时候，有时会遇到被该网站封IP等情况，response的状态码为403，那么这时候我们希望能够抛出
CloseSpider的异常。
2、但是如scrapy官网提到的，Scrapy默认的设置是过滤掉有问题的HTTP response(即response状态码不在200-300之间)。因此403的情况会被ignore掉，意思就是我们不是处理这个url 请求的response，直接就忽略，也就是及时我们用response.status == 400判断没有作用，因为只有status处于200-300的请求才会被处理。
3. 如果我们想捕获或者处理403，或者其它如404或者500，这种请求时，我们在spider的类中把403放在handle_httpstatus_list中。如下就行。
class MySpider(CrawlSpider):
handle_httpstatus_list = [403]
或者将403放在HTTPERROR_ALLOWED_CODES设置中
即在settings中增加HTTPERROR_ALLOWED_CODES = [403]， HTTPERROR_ALLOWED_CODES默认是[]
http:// doc. scrapy.org/en/1.0/topics/spider-middleware. html#httperror-allowed-codes
4. 设置完handle_httpstatus_list或者HTTPERROR_ALLOWED_CODES之后，就可以通过判断response.status == 403抛出CloseSpider异常，结束抓取。

5. 基于python的scrapy爬虫，关于增量爬取是怎么处理的

对于只是读取某几个网站更新内容的爬虫完全没必要在python代码中实现增量的功能，直接在item中增加Url字段。
item['Url'] = response.url

然后在数据端把储存url的column设置成unique。
之后在python代码中捕获数据库commit时返回的异常，忽略掉或者转入log中都可以。
网上有说支持增量的，我看了代码+实际测试，还是觉得不是增量的...

我的做法是pipeline的open_spider时读取所有item里面的url，做成一个parsed_urls的list，在rule的process_link中过滤掉这些已经下载的url，如果需要的话可以再item里面加入last_notify属性进一步扩展...

6. 如何部署Scrapy 到Scrapyd上

1、上传工具
scrapyd-client

2、安装方法：
pip install scrapyd-client

3、上传方法：
python d:\Python27\Scripts\scrapyd-deploy target -p project
注：
target -- 主机地址，如localhost;
project -- 工程名，如stock_uc;

4、前提：
①假设python安装位置d:\Python27\；
②需进入工程目录下执行上传命令；
③可选参数：
--version r03,即：
python d:\Python27\Scripts\scrapyd-d

7. 怎样实现scrapy实时爬取并将结果返回

我看了一下scrapyd的API，好像都不支持这种需求啊。并不仅仅是执行一次任务，还需要这次任务获取到的数据可以立即返回。

8. 如何实现scrapy 抓到某个特定数据就结束

我看了一下scrapyd的API,好像都不支持这种需求啊。并不仅仅是执行一次任务,还需要这次任务获取到的数据可以立即返回。

9. scrapyd 改动爬虫后需要重新部署吗

需要10000元左右要许可证 还要营业执照