了解Applebot(Apple的网络爬虫)。
Applebot是Apple的网络爬虫。Siri和Spotlight建议等产品都使用Applebot。
识别Applebot来自Applebot的流量由其用户代理识别,反向DNS在* .applebot.apple.com域中显示该流量,其源于17.0.0.0网络块。
验证流量来自Applebot在macOS中,host命令可用于确定IP地址是否是Applebot的一部分。这些示例显示host命令及其结果:
$主机17.58.101.179179.101.58.17.in-addr.arpa域名指针17-58-101-179.applebot.apple.com。host命令还可以用于验证DNS指向相同的IP地址:
$主机17-58-101-179.applebot.apple.com17-58-101-179.applebot.apple.com地址为17.58.101.179。验证Applebot用户代理用户代理字符串包含“ Applebot”和其他信息。格式如下:
Mozilla / 5.0(设备;OS_version)AppleWebKit / WebKit_version (KHTML,例如Gecko)版本/ Safari_version Safari / WebKit_version(Applebot / Applebot_version)桌面示例:
Mozilla / 5.0(Macintosh; Intel Mac OS X 10_10_1)AppleWebKit / 600.2.5(KHTML,例如Gecko)版本/8.0.2 Safari / 600.2.5(Applebot / 0.1)Mozilla / 5.0(Macintosh; Intel Mac OS X 10_14_5)AppleWebKit / 605.1.15(KHTML,例如Gecko)版本/12.1.1 Safari / 605.1.15(Applebot / 0.1)移动设备示例:
Mozilla / 5.0(iPhone; CPU iPhone OS 8_1,例如Mac OS X)AppleWebKit / 600.1.4(KHTML,例如Gecko)版本/8.0移动版/ 12B410 Safari / 600.1.4(Applebot / 0.1;+ http://www.apple.com/go/applebot)Mozilla / 5.0(iPhone; CPU iPhone OS 13_4_1,例如Mac OS X)AppleWebKit / 605.1.15Z(KHTML,例如Gecko)版本/13.1移动版/ 15E148 Safari / 604.1(Applebot / 0.1)
自定义robot.txt规则Applebot遵守针对Applebot的标准robots.txt指令。在此示例中,Applebot不会尝试对/ private /或/ not-allowed /下的文档进行爬网:
用户代理:Applebot#苹果允许:/#允许所有内容(如果省略,也为true)禁止:/ private /#禁止该目录用户代理:*#任何机器人禁止:/ not-allowed /#禁止该目录如果机器人说明中没有提及Applebot,而是提及了Googlebot,则Apple机器人将遵循Googlebot的说明。
渲染和机器人规则Applebot可能会在浏览器中呈现您网站的内容。如果通过robots.txt阻止了javascript,CSS和其他资源,则它可能无法正确呈现内容。这包括页面可能需要的XHR,JS和CSS。
为了使Applebot索引页面的最佳内容,请确保Applebot可以使用用户呈现页面所需的所有内容。或者,即使所有资源都不可用,也要确保网站的外观清晰。这通常称为正常降级。
自定义Applebot的索引规则Applebot在HTML文档中支持漫游器元标记。要在meta标签中指定漫游器规则,请将标签放在文档的部分中,如下所示:
<头> <meta name =“ robots” content =“ noindex” /> … </ head> … </ body> </ html>Applebot还支持以下指令:
noindex: Applebot不会为此页面建立索引,它也不会出现在Spotlight或Siri建议中。nosnippet: Applebot不会为页面生成描述或网络答案。访问此URL的任何建议仅包含页面标题。nofollow: Applebot将不会跟踪页面上的任何链接。none:如上所述,Applebot不会索引,摘要或跟踪页面上的链接。全部: Applebot提供文档建议和摘要内容,以便在代表性图像旁边可以显示页面的简短描述。Applebot可能会点击页面上的链接以提供更多建议。要将多个指令放置在单个meta标记中,请使用逗号分隔的列表或多个meta标记。例子:
<meta name =“ robots” content =“ nosnippet,noindex”><meta name =“ robots” content =“ noindex”><meta name =“ robots” content =“ nosnippet”>
关于搜索排名在对网络搜索结果进行排名时,Apple Search可能会考虑以下因素:
用户参与度与搜索结果的汇总搜索字词与网页主题和内容的相关性和匹配性来自网络上其他页面的链接的数量和质量基于用户位置的信号(近似数据)网页设计特点搜索结果可能使用上述因素,而没有(预定的)排名重要性。搜索用户必须遵守Siri建议,搜索和隐私中的隐私权政策 。