注册
登录
agent
Robots.txt-多个用户代理的抓取延迟的正确格式是什么？
返回
Robots.txt-多个用户代理的抓取延迟的正确格式是什么？
作者:
狗头军师
发布时间:
2024-01-02 10:07:34 (3月前)
<p>以下是一个示例robots.txt文件，用于允许多个用户代理为每个用户代理提供多个抓取延迟。抓取延迟值仅用于说明目的，在实际的robots.txt文件中会有所不同。</p><p>我已经在网上搜索了适当的答案，但是找不到答案。有太多混合的建议，我不知道哪种是正确/正确的方法。</p><p>问题：</p><p>（1）每个用户代理都可以拥有自己的爬网延迟吗？（我认为是）</p><p>（2）在“允许/禁止”行之前或之后，您将每个用户代理的“爬行延迟”行放在何处？</p><p>（3）每个用户代理组之间是否必须有空白。</p><p>参考文献：</p><p><a href="http://www.seopt.com/2013/01/robots-text-file/">http://www.seopt.com/2013/01/robots-text-file/</a></p><p><a href="http://help.yandex.com/webmaster/?id=1113851#1113858">http://help.yandex.com/webmaster/?id=1113851#1113858</a></p><p>本质上，我希望使用以下示例中的值来查找最终的robots.txt文件。</p><p>提前致谢。</p> <pre><code># Allow only major search spiders User-agent: Mediapartners-Google Disallow: Crawl-delay: 11 User-agent: Googlebot Disallow: Crawl-delay: 12 User-agent: Adsbot-Google Disallow: Crawl-delay: 13 User-agent: Googlebot-Image Disallow: Crawl-delay: 14 User-agent: Googlebot-Mobile Disallow: Crawl-delay: 15 User-agent: MSNBot Disallow: Crawl-delay: 16 User-agent: bingbot Disallow: Crawl-delay: 17 User-agent: Slurp Disallow: Crawl-delay: 18 User-agent: Yahoo! Slurp Disallow: Crawl-delay: 19 # Block all other spiders User-agent: * Disallow: / # Block Directories for all spiders User-agent: * Disallow: /ads/ Disallow: /cgi-bin/ Disallow: /scripts/ （4）如果我想将所有用户代理设置为具有10秒的爬网延迟，以下内容是否正确？ # Allow only major search spiders User-agent: * Crawl-delay: 10 User-agent: Mediapartners-Google Disallow: User-agent: Googlebot Disallow: User-agent: Adsbot-Google Disallow: User-agent: Googlebot-Image Disallow: User-agent: Googlebot-Mobile Disallow: User-agent: MSNBot Disallow: User-agent: bingbot Disallow: User-agent: Slurp Disallow: User-agent: Yahoo! Slurp Disallow: # Block all other spiders User-agent: * Disallow: / # Block Directories for all spiders User-agent: * Disallow: /ads/ Disallow: /cgi-bin/ Disallow: /scripts/ </code></pre>
收藏
举报
2 条回复
1#
回复此人
v-star*위위
|
2020-08-25 16-19
1）每个用户代理都可以拥有自己的爬网延迟吗？ 是。由一个或多个行开始的每个记录User-agent可以有Crawl-delay一行。请注意，这Crawl-delay不是原始robots.txt规范的一部分。但是按照规范的定义，将它们包含在理解它的解析器中没问题： 无法识别的标题将被忽略。 因此，较旧的robots.txt解析器只会忽略您的Crawl-delay行。 （2）在“允许/禁止”行之前或之后，您将每个用户代理的“爬行延迟”行放在何处？ 没关系 （3）每个用户代理组之间是否必须有空白。 是。记录必须用一个或多个新行分隔。参见原始规格： 该文件由一个或多个记录组成，这些记录由一个或多个空行（以CR，CR / NL或NL终止）分隔。 （4）如果我想将所有用户代理设置为具有10秒的爬网延迟，以下内容是否正确？ 不会。机器人会寻找与其用户代理匹配的记录。仅当他们找不到记录时，他们才会使用该User-agent: *记录。所以，在你的榜样所有列出的机器人（如Googlebot，MSNBot，Yahoo! Slurp等）将有没有 Crawl-delay。 另请注意，您不能有以下记录User-agent: *： 如果值为“ *”，则该记录描述了与任何其他记录都不匹配的任何机械手的默认访问策略。不允许在“ /robots.txt”文件中包含多个此类记录。 因此，解析器可能会查找（如果没有其他记录匹配）与的第一个记录，User-agent: *而忽略后面的记录。为了您的第一个例子这将意味着开始与网址/ads/，/cgi-bin/并且/scripts/都没有阻止。 即使您只有一条记录User-agent: *，这些Disallow行也仅适用于没有其他记录匹配的机器人！就像您的注释所# Block Directories for all spiders建议的那样，您希望所有蜘蛛程序都阻止这些URL路径，因此您必须Disallow为每条记录重复这些行。
编辑
登录
后才能参与评论
