使用scrapy-redis进行分布式爬虫时,发现用2台电脑爬取数据时,一台能爬而另一台不能爬怎么回事啊?

使用scrapy-redis进行分布式爬虫时,发现用2台电脑爬取数据时,一台能爬而另一台不能爬。如果只使用单独一台都可以爬,但同时一起爬就只能有一台可以爬取,另外一台不能爬取,不能爬取是报错如下:

使用scrapy-redis进行分布式爬虫时,发现用2台电脑爬取数据时,一台能爬而另一台不能爬怎么回事啊?-鸿蒙开发者社区

scrapy-redis
分布式爬虫
2023-11-10 14:09:36
浏览
收藏 0
回答 1
待解决
回答 1
按赞同
/
按时间
尾尾小鱼

原因为settings.py文件里面的异步请求数CONCURRENT_REQUESTS设置过大导致的

Configure maximum concurrent requests performed by Scrapy (default: 16)

CONCURRENT_REQUESTS

分享
微博
QQ
微信
回复
2023-11-10 16:11:27
相关问题
一台服务器如何安装双centos系统?
524浏览 • 1回复 待解决
PolarDB控制直加载中怎么回事
1510浏览 • 1回复 待解决
运行HarmonyOS的设备,如何发现
1323浏览 • 1回复 待解决
Redis 模板的分布式
1345浏览 • 1回复 待解决
求解Redis 分布式锁问题?
2110浏览 • 1回复 待解决
分布式怎么启用的?
3446浏览 • 1回复 待解决
求解分布式数据使用问题?
2522浏览 • 1回复 待解决
Hi3516进行分布式流转无法获取设备?
5367浏览 • 2回复 待解决
拉起收银报错,有人知道原因吗?
217浏览 • 1回复 待解决
Harmonyos 分布式迁移失败
1299浏览 • 0回复 待解决
Redis缓存分布式锁是如何实现的?
1450浏览 • 1回复 待解决
分布式数据管理没有了吗?
1293浏览 • 1回复 待解决
spark 分布式数据到oracle
495浏览 • 1回复 待解决
关于鸿蒙分布式数据库key疑问
4172浏览 • 1回复 待解决