Как проверить индексацию сайта?

Проверить индексацию сайта можно через Google Search Console и Яндекс Вебмастер: сервисы показывают, какие URL известны поисковым системам, какие страницы попали в индекс, а какие исключены и почему. Для быстрой проверки отдельного адреса также используют операторы поиска, но их результаты нельзя считать полными.

В статье — пошаговая инструкция для проверки одной страницы и всего веб-сайта, правила анализа отчётов, распространённые причины отсутствия URL в поиске и чек-лист действий после обнаружения проблемы.

Что показывает проверка индексации

Индексация — это добавление информации о странице в базу поисковой системы. Только после индексации URL получает возможность появляться в органической выдаче. При этом наличие страницы в индексе не гарантирует высоких позиций и трафика: поисковая система ещё должна признать документ релевантным конкретному запросу.

Важно различать три этапа обработки сайта:

1. Обнаружение. Поисковый робот находит URL через внутренние или внешние ссылки, файл sitemap.xml либо другие источники.
2. Сканирование. Робот загружает страницу и получает доступный ему контент.
3. Индексация. Поисковая система анализирует документ и решает, добавлять ли его в индекс.

Страница может быть обнаружена, но не просканирована, либо просканирована, но не проиндексирована. Поэтому простой подсчёт URL в поисковой выдаче не отвечает на вопрос, на каком этапе возникла проблема.

При проверке нужно определить:

• индексируются ли важные коммерческие и информационные страницы;
• совпадает ли индексируемый URL с канонической версией;
• не попали ли в индекс технические, служебные и дублирующиеся страницы;
• есть ли массовые исключения после обновления сайта или переноса на новый домен;
• отличается ли ситуация в Google и Яндексе.

Оценивать нужно не максимальное количество страниц в индексе, а соответствие индекса структуре сайта. Карточки товаров, категории, услуги и полезные материалы обычно должны быть доступны для поиска. Фильтры без самостоятельной ценности, результаты внутреннего поиска, технические параметры и дубли чаще требуется закрывать или объединять с каноническими URL.

Как быстро проверить отдельную страницу

Для предварительной проверки можно ввести в строку поиска оператор url: с полным адресом страницы или точный URL без дополнительных слов. Для домена применяют оператор site:, например site:example.ru. Если нужный документ появляется в результатах, поисковая система, вероятнее всего, хранит его в индексе.

Поисковые операторы подходят только для экспресс-диагностики. Выдача по команде site: не обязана показывать все проиндексированные документы, а приблизительное количество результатов может меняться. Отсутствие URL в такой выдаче тоже не всегда доказывает, что страницы нет в индексе.

Надёжнее проверить адрес в панелях для веб-мастеров.

Проверка URL в Google Search Console

1. Выберите подтверждённый ресурс, соответствующий нужному домену и протоколу.
2. Вставьте полный адрес в инструмент проверки URL.
3. Посмотрите, известен ли URL Google и разрешена ли индексация.
4. Сверьте выбранную пользователем и выбранную Google канонические страницы.
5. При необходимости запустите проверку опубликованной версии, чтобы оценить текущую доступность страницы.

Проверка опубликованной версии и сведения об индексе отвечают на разные вопросы. Тест текущей страницы показывает, может ли робот получить URL сейчас. Отчёт об индексации отражает последнюю известную Google обработку, которая могла произойти до внесения изменений.

Если важная страница доступна, содержит полезный контент и не закрыта от индексации, после исправлений можно отправить запрос на повторное сканирование. Запрос не гарантирует немедленного попадания в индекс и не заменяет устранение причины исключения.

Проверка URL в Яндекс Вебмастере

В Яндекс Вебмастере сведения о конкретной странице можно получить через инструменты анализа URL и разделы, связанные с индексированием. Следует проверить статус обхода, наличие в поиске, ответ сервера, запреты и последнюю известную поисковой системе версию.

Если URL недавно создан или обновлён, страницу можно направить на переобход. Такая отправка сообщает роботу об изменениях, но итоговое решение об индексации принимает поисковая система.

Как проверить индексацию всего веб-сайта

Полная проверка строится не вокруг одного числа, а вокруг сопоставления нескольких наборов URL: страниц в структуре сайта, адресов в sitemap.xml, просканированных документов и URL в индексе. Расхождения помогают обнаружить как потерю важных страниц, так и индексирование мусорных адресов.

Отчёты Google Search Console

В отчёте об индексировании страниц URL разделены на проиндексированные и непроиндексированные. Для каждой группы доступны причины и примеры адресов. Названия статусов могут меняться вместе с интерфейсом сервиса, поэтому важнее понимать их смысл.

При анализе отчёта:

1. задайте период и сравните динамику числа проиндексированных страниц;
2. проверьте причины исключения и количество URL в каждой группе;
3. откройте примеры и определите, относятся ли статусы к полезным или техническим страницам;
4. сопоставьте данные с отправленными файлами sitemap.xml;
5. отдельно проверьте шаблоны URL: категории, карточки, статьи, пагинацию и фильтры.

Сам по себе рост количества исключённых страниц не всегда означает ошибку. Например, перенаправления, дубли с корректным canonical и адреса с запретом noindex могут быть исключены намеренно. Проблема возникает, когда в такую группу попадают приоритетные посадочные страницы.

Отчёты Яндекс Вебмастера

Яндекс Вебмастер позволяет посмотреть страницы в поиске, исключённые URL, изменения состава индексируемых документов и сведения о файлах sitemap.xml. Для диагностики полезно сравнивать число загруженных роботом страниц с количеством документов, участвующих в поиске.

Особое внимание стоит уделить резким изменениям после:

• редизайна или смены CMS;
• переноса на HTTPS, другой домен или поддомен;
• изменения структуры URL;
• правок robots.txt, meta robots и canonical;
• массового удаления товаров или разделов;
• внедрения JavaScript-рендеринга.

Сопоставление с sitemap.xml и краулингом

Файл sitemap.xml должен содержать канонические URL, которые открываются с кодом 200 и предназначены для индексации. Наличие адреса в sitemap.xml не заставляет поисковую систему добавить страницу в индекс, но помогает обнаружению и анализу расхождений.

Для технического аудита сайт дополнительно сканируют SEO-краулером. Результаты обхода показывают внутренние URL, коды ответа, директивы индексации, canonical и глубину вложенности. Если краулер не находит важную страницу без прямой загрузки списка адресов, поисковому роботу тоже может быть сложно обнаружить её через внутренние ссылки.

Почему страница не попадает в индекс

Причину нужно искать по статусу конкретного URL, а не устранять все возможные ошибки одновременно. Наиболее распространены следующие ситуации.

• Запрет в meta robots или HTTP-заголовке X-Robots-Tag. Директива noindex прямо запрещает добавление документа в индекс.
• Блокировка в robots.txt. Робот не может нормально просканировать содержимое. При этом один robots.txt не следует использовать как универсальный способ удаления уже известного URL из поиска.
• Некорректный код ответа. Страница возвращает 3xx, 4xx, 5xx или маскирует ошибку шаблоном с кодом 200.
• Canonical указывает на другой адрес. Поисковая система воспринимает проверяемый URL как дубль основной страницы.
• Дублирование контента. Одинаковые документы доступны с параметрами, разным регистром, завершающим слешем, на HTTP и HTTPS либо через несколько поддоменов.
• Недостаточная ценность страницы. Пустые категории, карточки без уникальной информации, автоматически созданные теги и почти одинаковые посадочные могут быть просканированы, но не выбраны для индексации.
• Слабая внутренняя перелинковка. У страницы нет входящих ссылок или она расположена слишком глубоко в структуре.
• Проблемы с JavaScript. Значимый текст и ссылки появляются только после выполнения сценариев, которое проходит с ошибками или требует действий пользователя.
• Нестабильная работа сервера. Тайм-ауты, перегрузки и периодические ошибки мешают обходу.
• Новая страница. Робот ещё не обнаружил или не успел обработать URL.

Статус «просканировано, но не проиндексировано» не всегда связан с одной технической директивой. Поисковая система могла посчитать документ дублем, малополезной страницей или недостаточно значимым URL. В такой ситуации повторная отправка на обход без улучшения страницы обычно не решает проблему.

Что делать после обнаружения проблемы

Сначала разделите URL на две группы: страницы, которые должны участвовать в поиске, и адреса, которые нужно исключить. Такой подход предотвращает бессмысленную борьбу за индексацию фильтров, дублей и служебных документов.

Для важных страниц используйте следующий порядок:

1. Проверьте ответ сервера. Индексируемый документ должен стабильно возвращать код 200.
2. Снимите непреднамеренные запреты. Проверьте meta robots, X-Robots-Tag и правила robots.txt.
3. Исправьте canonical. Канонический адрес должен быть доступен, индексируем и соответствовать содержанию страницы.
4. Добавьте внутренние ссылки. Свяжите URL с релевантными категориями, меню, хлебными крошками или материалами.
5. Улучшите содержание. Страница должна самостоятельно отвечать на запрос пользователя, а не копировать соседние документы с заменой нескольких слов.
6. Обновите sitemap.xml. Добавьте канонический URL и удалите адреса с редиректами, ошибками или запретом индексации.
7. Отправьте страницу на переобход. Делать это имеет смысл после устранения причины.
8. Повторите проверку. Учитывайте, что обход, обработка и обновление отчётов занимают время.

Если в индекс попали нежелательные страницы, выбор решения зависит от их назначения. Для дублей применяют canonical или редирект, для удалённых документов — корректный код 404 или 410, для доступных пользователям, но не предназначенных для поиска, — директиву noindex. Не следует перенаправлять все удалённые URL на главную страницу: такой редирект часто не соответствует содержанию и затрудняет диагностику.

После массовых изменений проверяйте не только число URL, но и органический трафик, показы, клики и позиции целевых страниц. Сокращение количества проиндексированных технических дублей может быть положительным результатом, даже если общий показатель индекса уменьшился.

Чек-лист регулярной проверки индексации

Частота контроля зависит от масштаба и динамики проекта. Новостные площадки, маркетплейсы и интернет-магазины с постоянно меняющимся каталогом требуют более частого мониторинга, чем небольшой корпоративный сайт со стабильной структурой.

• Проверить отчёты об индексировании в Google Search Console и Яндекс Вебмастере.
• Сравнить динамику проиндексированных и исключённых URL с предыдущим периодом.
• Проверить главную страницу, ключевые категории, услуги, карточки и новые материалы по отдельности.
• Разобрать причины исключения, начиная с групп, где находятся приоритетные URL.
• Сопоставить индекс с sitemap.xml и результатами технического краулинга.
• Убедиться, что sitemap.xml содержит только канонические страницы с кодом 200.
• Проверить robots.txt, meta robots, X-Robots-Tag и canonical после релизов.
• Найти внутренние ссылки на новые и проблемные страницы.
• Проверить серверные ошибки, тайм-ауты и резкие изменения частоты обхода.
• Убедиться, что технические фильтры, параметры и результаты внутреннего поиска не раздувают индекс.
• Зафиксировать дату изменений и повторно оценить статусы после переобхода.

Для крупного сайта полезно вести список шаблонов URL и ожидаемого правила для каждого типа: индексировать, закрывать, объединять через canonical или перенаправлять. Такой документ упрощает проверку после обновлений и помогает отличать штатные исключения от ошибок.

Частые вопросы

Как узнать, проиндексирован ли сайт в Яндексе и Google?

Используйте Яндекс Вебмастер и Google Search Console. Панели показывают статус конкретных URL и причины исключения. Оператор site: подходит только для быстрой приблизительной проверки.

Почему страница есть в индексе, но не находится по запросам?

Индексация означает возможность участвовать в выдаче, а не наличие высоких позиций. Причиной могут быть слабая релевантность, конкуренция, недостаточное содержание, неверная каноническая страница или отсутствие поискового спроса.

Сколько времени занимает индексация новой страницы?

Фиксированного срока нет. Скорость зависит от авторитетности и размера сайта, частоты обхода, внутренней перелинковки, доступности сервера, качества страницы и наличия URL в sitemap.xml.

Нужно ли отправлять на индексацию каждую новую страницу?

Обычно нет. Корректная внутренняя перелинковка и актуальный sitemap.xml позволяют роботам находить новые URL автоматически. Ручная отправка полезна для приоритетных страниц и после важных исправлений.

Почему количество страниц в Яндексе и Google отличается?

Поисковые системы используют разные алгоритмы обхода, обработки дублей и оценки качества. Небольшое расхождение нормально. Проверка нужна при резком падении или отсутствии важных разделов в одной из систем.

Можно ли ускорить индексацию повторной отправкой URL?

Запрос на переобход может ускорить повторное посещение страницы, но не гарантирует индексацию. Сначала нужно устранить запреты, технические ошибки, дублирование и недостатки содержания.

Если проверка выявила массовые исключения, дубли или проблемы после миграции, технический аудит стоит связать с общей стратегией SEO-продвижения сайта. Это поможет расставить приоритеты и не тратить ресурсы на URL, которые не должны участвовать в поиске.