注册
登录
agent
Scrapy Shell-如何更改USER_AGENT
返回
Scrapy Shell-如何更改USER_AGENT
作者:
狗头军师
发布时间:
2025-02-05 07:10:17 (16天前)
<p>我有一个功能齐全的scrapy脚本，可以从网站中提取数据。在设置过程中，目标站点基于我的USER_AGENT信息禁止了我。随后，我添加了RotateUserAgentMiddleware以随机旋转USER_AGENT。这很好。</p><p>但是，现在，当我尝试使用scrapy shell测试xpath和CSS请求时，出现403错误。我确定这是因为scrapy shell的USER_AGENT默认为目标站点已列入黑名单的某个值。</p><p>问题：是否可以使用与默认用户名不同的USER_AGENT在scrapy shell中获取URL？</p><p>fetch（‘ http：//www.test ’）[添加一些内容？更改USER_AGENT]</p><p>谢谢</p>
收藏
举报
2 条回复
1#
回复此人
v-star*위위
|
2020-08-25 16-23
scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'
编辑
登录
后才能参与评论
