Хардкорные обновления Вебмастера | Фронтир

Хардкорные обновления Вебмастера

В последнее время в Вебмастере мы создали много инструментов для аналитиков, маркетологов и владельцев бизнесов. Даже первый сегодняшний анонс был связан именно с этой темой — обновлённые Тренды. Однако для нас всегда было очень важно поддерживать расширенную функциональность для тех, кто занимается технической стороной оптимизации сайта. Поэтому сегодня мы запустили:

Обновлённое API Вебмастера версии 4.0
В нём поддержаны:

  • данные об обходе;
  • данные о страницах в поиске и исключённых страницах;
  • события в диагностике;
  • инструмент переобхода страниц;
  • доставка данных для Турбо-страниц

Мониторинг изменений в robots.txt
Одна из самых частых и крайне неприятных проблем при индексировании сайта — это непреднамеренные изменения в robots.txt. Этот файл и затирают, и выкатывают тестовую версию с полностью закрытым для индексирования сайтом, и, наоборот, открывают для поиска разделы, находящиеся в разработке или содержащие техническую информацию. Для того чтобы отслеживать все подобные изменения, мы запустили мониторинг изменений в robots.txt. Теперь мы храним последние 100 версий robots.txt за полгода в разделе «Анализ robots.txt» и предупреждаем об изменениях в файле всех, кто захотел подписаться на данный тип уведомлений.

Мониторинг поддоменов
Другой пример проблемы, очень близкой к описанной в предыдущем пункте: попадание в поиск служебных поддоменов или тестовых версий сайтов. Иногда это происходит из-за некорректных обновлений robots.txt, а иногда — из-за сбоя в настройках сайта или необдуманных действий разработчика. Теперь мы оповещаем и о таких случаях, они также были добавлены в уведомления, на которые мы рекомендуем подписаться.

Источник