使用scrapy-redis进行分布式爬虫时,发现用2台电脑爬取数据时,一台能爬而另一台不能爬怎么回事啊?
使用scrapy-redis进行分布式爬虫时,发现用2台电脑爬取数据时,一台能爬而另一台不能爬。如果只使用单独一台都可以爬,但同时一起爬就只能有一台可以爬取,另外一台不能爬取,不能爬取是报错如下:
scrapy-redis
分布式爬虫
赞
收藏 0
回答 1
待解决
相关问题
一台服务器如何安装双centos系统?
459浏览 • 1回复 待解决
一个MYSQL的数据库有50G,需要备份出来并且导入到另一台机器中,有什么好方法吗?
695浏览 • 1回复 待解决
PolarDB控制台一直加载中怎么回事?
1414浏览 • 1回复 待解决
在一台笔记本电脑单机上,如果不通过docker,能不能建一个三副本集群?
2060浏览 • 2回复 待解决
想开发个数据看板,只装在一台智慧屏上用的app,不会打包安装求教程
962浏览 • 1回复 待解决
两台运行HarmonyOS的设备,如何发现?
1251浏览 • 1回复 待解决
JavaScript/eTS版本的分布式数据管理文档不见了怎么回事?
1422浏览 • 0回复 待解决
分布式表名与本地表名有什么不同,数据同步时是使用分布式表名还是本地表名
34浏览 • 0回复 待解决
Redis 模板的分布式锁
1268浏览 • 1回复 待解决
求解Redis 分布式锁问题?
2045浏览 • 1回复 待解决
分布式数据库的数据同步是在底层直接同步实现。是不是存在某台设备的储备空间不足,导致数据同步无法完整进
1941浏览 • 1回复 待解决
拉起收银台无反应?有谁知道该怎么解决啊?
123浏览 • 1回复 待解决
求解分布式数据库使用问题?
2459浏览 • 1回复 待解决
要使用分布式数据管理,分布式任务调度等功能是不是都需要在同一账号下且基于局域网?
3005浏览 • 1回复 待解决
Redis缓存分布式锁是如何实现的?
1407浏览 • 1回复 待解决
DTS的源为自建Redis或云数据库Redis的新版控制台的迁移方案是什么?
1333浏览 • 1回复 待解决
spark 分布式写数据到oracle
463浏览 • 1回复 待解决
分布式数据管理没有了吗?
1208浏览 • 1回复 待解决
分布式是怎么启用的?
3403浏览 • 1回复 待解决
拉起收银台报错,有人知道原因吗?
114浏览 • 1回复 待解决
求指导Hi3861平台的JS应用开发???
4778浏览 • 2回复 待解决
模拟器Hilog打印日志,控制台不显示
11137浏览 • 4回复 待解决
分布式服务和分布式数据底层均为分布式软总线?如果这样的话,数据在高频上报的情况下,如何保证控制的优先
6564浏览 • 1回复 待解决
不能下载SDK怎么回事?
114浏览 • 1回复 待解决
liteos-a的分布式软总线的设备发现api是什么
6476浏览 • 2回复 待解决
原因为settings.py文件里面的异步请求数CONCURRENT_REQUESTS设置过大导致的
Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS