Google имеет три хорошо известных бота: AdsenseBot, Freshbot и DeepCrawl.
Поисковый бот Adsense, как вы уже могли догадаться, используется для обхода сайтов, работающих с рекламными объявлениями системы Google Adsense. Как только будут созданы новые страницы, и на них добавят код Adsense, скрипт на jаvascript в пределах этого Adsense отправит сообщение боту Adsense. Страницы с кодом Adsense будут проиндексированы в течение 15 минут. Такая скорость индексации нужна для того, чтобы на странице были наиболее релевантные объявления.
![](/uploads/posts/2021-02/medium/1612628640_voice-4071801__340.jpg)
Поисковый бот Freshbot сканирует наиболее популярные страницы на сайте. Неважно, одна это страница или тысячи. Такие сайты, как Amazon.com и CNN.com имеют страницы, которые сканируются каждые десять минут, так как Google известно, что они очень часто изменяются. Типичный сайт должен рассчитывать на посещение Freshbot с периодичностью от 1 до 14 дней, в зависимости от того, насколько популярны его страницы.
Когда ваш сайт посещает Freshbot, он находит все более глубокие ссылки на вашем сайте. Он помещает эти ссылки в базу данных, и когда бот DeepCrawl приходит на сайт, он уже получает эти ссылки.
Один раз в месяц поисковый бот DeepCrawl посещает ваш сайт и обходит все ссылки, найденные ботом Freshbot. Это и является причиной того, что индексация всего сайта в поисковой системе Google может занять до одного месяца, даже с добавлением XML карты сайта — Google Sitemap.
Будьте терпеливы, продолжайте добавлять материалы на сайт, и работайте над получением весомых обратных ссылок — Google вас за это отблагодарит.