Apple признал существование собственного веб-краулера – AppleBot

После многочисленных слухов по поводу веб-краулера Apple, компания, в конечном итоге, признала его существование. Apple добавил в свой справочный центр страницу, посвящённую так называемому AppleBot.

Как указано на странице, AppleBot – веб-краулер Apple. Он используется для сбора данных для Siri и Spotlight.

Apple будет придерживаться правил robots.txt и мета-тегов robots. Если AppleBot не упоминается в robots.txt, Apple будет следовать указаниям для GoogleBot. Если вебмастер хочет заблокировать AppleBot и GoogleBot, достаточно заблокировать GoogleBot.

Если замечена необычная активность со стороны AppleBot, связаться со специалистами компании по этому вопросу можно по email: Apple-NOC@apple.com

В скорости после публикации информации об AppleBot, Apple Insider сообщил о том, что Apple «стремительно расширяет внутреннюю группу поиска» для построения собственной версии поисковой системы на базе Spotlight.