使用scrapy-redis进行分布式爬虫时，发现用2台电脑爬取数据时，一台能爬而另一台不能爬怎么回事啊？
使用scrapy-redis进行分布式爬虫时，发现用2台电脑爬取数据时，一台能爬而另一台不能爬。如果只使用单独一台都可以爬，但同时一起爬就只能有一台可以爬取，另外一台不能爬取，不能爬取是报错如下：
scrapy-redis
分布式爬虫
赞
收藏 0
回答 1
相关问题
HarmonyOS 有一台真机调不支 IAP 支付
1136浏览 • 1回复 待解决
一台服务器如何安装双centos系统?
2810浏览 • 1回复 待解决
想区分是否是同一台设备，请问该使用什么判断？
839浏览 • 1回复 待解决
HarmonyOS request downloadfile在一台模拟器设备上测试失败
1596浏览 • 1回复 待解决
PolarDB控制台一直加载中怎么回事？
3936浏览 • 1回复 待解决
一个MYSQL的数据库有50G，需要备份出来并且导入到另一台机器中，有什么好方法吗？
2797浏览 • 1回复 待解决
在一台笔记本电脑单机上，如果不通过docker，能不能建一个三副本集群？
4297浏览 • 2回复 待解决
想开发个数据看板，只装在一台智慧屏上用的app，不会打包安装求教程
3211浏览 • 1回复 待解决
HarmonyOS收银台底部如果用page是否能实现收银台效果
555浏览 • 1回复 待解决
多任务台如何传递数据
95浏览 • 0回复 待解决
两台运行HarmonyOS的设备，如何发现？
3845浏览 • 1回复 待解决
JavaScript/eTS版本的分布式数据管理文档不见了怎么回事？
3816浏览 • 0回复 待解决
拉起收银台无反应？有谁知道该怎么解决啊？
2326浏览 • 1回复 待解决
使用华为支付，调用收银台出现报错
1099浏览 • 1回复 待解决
使用华为支付，调用收银台没有反应
1246浏览 • 1回复 待解决
Redis 模板的分布式锁
3682浏览 • 1回复 待解决
求解Redis 分布式锁问题？
4431浏览 • 1回复 待解决
分布式数据库的数据同步是在底层直接同步实现。是不是存在某台设备的储备空间不足，导致数据同步无法完整进
4117浏览 • 1回复 待解决
分布式数据管理【分布式数据库同步时出现数据冲突，如何自定义合并策略？】】
187浏览 • 1回复 待解决
DTS的源为自建Redis或云数据库Redis的新版控制台的迁移方案是什么？
3512浏览 • 1回复 待解决
hdc smode 无效怎么回事啊？
1700浏览 • 1回复 待解决
不能下载SDK怎么回事？
2946浏览 • 1回复 待解决
分布式表名与本地表名有什么不同，数据同步时是使用分布式表名还是本地表名
2352浏览 • 1回复 待解决
#鸿蒙通关秘籍#使用分布式数据对象时的约束和限制有哪些？
873浏览 • 1回复 待解决
mysql导出数据库报错怎么回事啊？
3011浏览 • 1回复 待解决
原因为settings.py文件里面的异步请求数CONCURRENT_REQUESTS设置过大导致的
Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS