7 SEO-ошибок, которые убивают индексацию сайта
Страница, которой нет в индексе, не существует для поисковика — сколько бы вы ни оптимизировали её текст, покупали ссылки и улучшали, она не участвует в выдаче вовсе. Поэтому проблемы индексации — самые дорогие и одновременно самые незаметные: сайт вроде бы работает, а целые разделы просто выпали из поиска. Мы находим такие ошибки почти в каждом аудите, и чаще всего они возникают из-за технических недосмотров, а не злого умысла. Разбираем главные причины, по которым страницы не попадают или выпадают из индекса, и способы их диагностики.
Ошибки в robots.txt и метатегах
Классика жанра, которая роняет целые разделы за секунду. В robots.txt случайно закрывают нужные разделы вместе с ненужными; после разработки забывают снять метатег noindex, которым закрывали сайт от индексации на время работ; возникают конфликты директив, когда одна разрешает, а другая запрещает обход. Отдельная беда — закрытие в robots.txt файлов стилей и скриптов, из-за чего поисковик не может корректно отрендерить страницу. Всё это проверяется буквально за минуту в панелях вебмастеров и валидаторах robots.txt, но именно эти ошибки чаще всего оказываются причиной внезапного исчезновения разделов из индекса. Проверяйте их первыми при любой просадке.
Дубли и канонические ссылки
Дубли распыляют вес и заставляют поисковик тратить краулинговый бюджет на копии вместо важных страниц.
- Дубли с UTM-метками и параметрами в URL
- Версии страниц со слешем и без, с www и без — без настроенного редиректа
- Пагинация и сортировки без корректного canonical
- Одинаковые title и контент у разных страниц
- Доступность одной страницы по нескольким разным адресам
Осиротевшие страницы и глубокая вложенность
Поисковый робот ходит по ссылкам, и если на страницу не ведёт ни одна внутренняя ссылка, он либо не найдёт её, либо посчитает неважной. Такие «осиротевшие» страницы индексируются плохо или со временем выпадают, даже если они есть в sitemap. Похожая проблема — слишком глубокая вложенность, когда до страницы нужно сделать пять-шесть кликов от главной: чем глубже страница, тем реже робот до неё добирается и тем ниже её приоритет. Рабочее правило: любая важная страница должна быть не дальше трёх кликов от главной и иметь на себя 2–3 внутренние ссылки из релевантных мест. Регулярно проверяйте сайт на сиротские страницы краулерами — они находят их автоматически.
Как диагностировать и следить за индексацией
Индексацию нельзя настроить один раз и забыть — её нужно мониторить, потому что новые проблемы возникают после каждого релиза, обновления движка или наполнения. Базовый инструмент — раздел индексирования в Яндекс Вебмастере и отчёт о покрытии в Google Search Console: там видно, сколько страниц в поиске, сколько исключено и по каким причинам. Настройте регулярную (хотя бы еженедельную) проверку этих отчётов и следите за динамикой: резкое падение числа проиндексированных страниц — сигнал срочно искать причину среди перечисленных выше. Дополнительно прогоняйте сайт краулером (Screaming Frog, Netpeak Spider и аналоги) для поиска дублей, битых ссылок, сиротских и глубоко вложенных страниц. Такой контроль ловит проблемы индексации на раннем этапе, до того как они обвалят трафик и выручку.
Бесплатно оценим потенциал роста и предложим план продвижения.