Robots.txt: как проверить, не закрыт ли сайт от поиска

Обновлено 11.11.2026

Коротко

Robots.txt хранит правила обхода сайта для поисковых роботов. Откройте адрес своего сайта с добавлением /robots.txt и найдите строку Disallow: /. Она может запрещать обход всего сайта, но результат зависит от группы правил и возможных исключений. Проверьте главную и страницы услуг в Яндекс Вебмастере и Google Search Console.

Непонятное слово? Словарик ниже ↓
  1. ОткройтеДобавьте /robots.txt к адресу сайта и посмотрите содержимое файла.
  2. НайдитеПроверьте, нет ли запрета Disallow: / в правилах для поисковых роботов.
  3. Проверьте страницыВставьте адреса главной и услуг в инструменты Яндекса и Google.
  4. Передайте задачуЕсли правило закрывает нужную страницу, попросите разработчика разобраться до правки.

Что такое robots.txt и где его найти

Robots.txt: текстовый файл с указаниями для поисковых роботов. В нём можно обозначить разделы и страницы, которые роботу разрешено или запрещено обходить.

Файл находится в корне сайта. Чтобы открыть его, добавьте /robots.txt к адресу сайта: например, https://example.com/robots.txt. Сохраните тот же адрес и протокол, которые использует ваш сайт.

Правила файла добровольны: некоторые роботы могут их игнорировать. Для защиты конфиденциальных данных используйте пароль или другой способ ограничения доступа.

Источники: Google о назначении и ограничениях robots.txt · Google о расположении файла. Читали 11 ноября 2026 года.

Откройте файл и посмотрите, что вернул сайт

Введите адрес файла в браузере. Обычно вы увидите текст с правилами. Если вместо него появилась страница сайта, пустой экран или сообщение об ошибке, попросите специалиста проверить ответ сервера: по виду страницы не всегда понятно, что получил робот.

Пустой файл сам по себе не содержит запретов. Но сначала убедитесь, что сервер действительно отдаёт пустой robots.txt, а не страницу ошибки или другой ответ.

Ответ 404 означает, что документ по запрошенному адресу не найден. Для Google это отсутствие действующего файла robots.txt: обход выполняется без ограничений этого файла. Яндекс рекомендует проверить доступность файла и добавить его, если он недоступен.

Ошибка сервера при запросе robots.txt требует отдельной проверки. Google описывает для такого случая временную остановку обхода и дальнейшее использование сохранённой версии при определённых условиях. Не делайте вывод, что сайт открыт или закрыт, только по сообщению в браузере. Подробнее об ошибке 404 и ошибках сервера.

Бесплатно проверим ваш robots.txt и скажем, не закрыт ли сайт от поиска. Пришлите адрес сайта. Написать в Telegram ›

Источники: Google об ответах сервера для robots.txt · Яндекс о кодах ответа · Яндекс о недоступном файле. Читали 11 ноября 2026 года.

Как прочитать основные строки

Правила собраны в группы. Сначала идёт User-agent, затем строки, которые относятся к указанному роботу. Если в файле есть отдельные группы для разных роботов, проверьте каждую подходящую группу.

Ниже условный пример для сайта с существующей картой сайта. Адрес карты и правила для своего сайта покажите разработчику перед тем, как вносить в файл.

  1. 1User-agent: *: группа для поисковых роботов в целом. У отдельных роботов могут быть собственные группы правил.
  2. 2Disallow: /search/: запрет на обход адресов, начинающихся с /search/.
  3. 3Allow: /: разрешение обхода. Более конкретные правила и другие группы тоже нужно проверить.
  4. 4Sitemap: https://example.com/sitemap.xml: адрес карты сайта. Подставлять можно только реальный адрес своей карты.

Источники: Google о группах правил и примере файла · Яндекс о robots.txt. Читали 11 ноября 2026 года.

Как выглядит запрет на весь сайт

В таком примере общий запрет указывает роботам из этой группы не обходить сайт. В реальном файле могут быть более конкретные разрешения или отдельные группы для Google и Яндекса, поэтому проверяйте результат для конкретных адресов.

  1. 1User-agent: *
  2. 2Disallow: /

Источник: Google: примеры групп и запрета обхода. Читали 11 ноября 2026 года.

Что закрывают, а что оставить доступным

Для служебных разделов, внутреннего поиска или корзины можно обсудить запрет обхода с разработчиком. Сначала попросите его сверить реальные адреса и назначение страниц: универсального списка путей для всех сайтов нет.

Главная страница и страницы услуг обычно нужны владельцу в поиске. Проверьте, что правила файла не мешают их обходу. Google также советует не блокировать стили и скрипты, если из-за этого робот может неправильно понять страницу.

Строка Sitemap помогает указать адрес карты сайта. О самой карте рассказали в статье Sitemap для сайта.

Источники: Google о доступе к стилям и скриптам · Google о строке Sitemap. Читали 11 ноября 2026 года.

Robots.txt и noindex: в чём разница

Robots.txt управляет обходом адресов. Если на закрытую страницу ссылаются другие сайты, Google может добавить её адрес в поиск, даже не открывая страницу. В справке Яндекса тоже сказано, что ограниченные в robots.txt страницы могут участвовать в поиске.

Метатег noindex сообщает поддерживающему его поиску, что страницу не нужно индексировать. Чтобы Google увидел этот тег, страница должна быть доступна роботу и не закрыта для него в robots.txt. Строку noindex внутри robots.txt Google не поддерживает: запрет индексации ставят в коде самой страницы.

Источники: Google об ограничениях robots.txt · Google о noindex. Читали 11 ноября 2026 года.

Как проверить главную и страницы услуг

В Яндекс Вебмастере откройте «Инструменты» и выберите «Анализ robots.txt». Ниже в поле для проверки страниц добавьте адреса главной и страниц услуг, затем нажмите «Проверить». Сервис покажет результат для каждого адреса.

В Google Search Console выберите сайт и введите полный адрес страницы в строку проверки URL. В сведениях о странице посмотрите поле «Сканирование разрешено?». Отчёт о файлах robots.txt помогает посмотреть сам файл и сведения о его получении.

Разрешение обхода ещё не гарантирует появления страницы в поиске. Если сайт отсутствует в Яндексе, проверьте и другие возможные причины. Для работы с сервисом может понадобиться подтвердить права на сайт.

Источники: Яндекс: Анализ robots.txt · Google: инструмент проверки URL · Google: отчёт о файлах robots.txt. Читали 11 ноября 2026 года.

Таблица проверки robots.txt

Что проверитьКак проверитьЧто считается нормой
Адрес файлаДобавьте /robots.txt к адресу своего сайта.Открывается файл, относящийся к нужному адресу сайта.
Ответ сервераПри ошибке или пустом экране попросите специалиста проверить код ответа и содержимое.Сервер отдаёт ожидаемый файл без ошибки.
Общий запретНайдите Disallow: / и посмотрите группу User-agent.Для роботов, которым нужен доступ к сайту, нет непреднамеренного запрета.
ГлавнаяПроверьте адрес главной в инструментах Яндекса и Google.Обход разрешён, если главная нужна в поиске.
Страницы услугПроверьте адреса услуг по отдельности.Нужные страницы доступны для обхода.
Стили и скриптыПопросите специалиста проверить правила для ресурсов страницы.Робот может получить ресурсы, необходимые для понимания страницы.
Карта сайтаЕсли есть строка Sitemap, откройте указанный в ней адрес.Указан действующий адрес карты вашего сайта.
NoindexПопросите специалиста проверить метатег у страницы, которую нужно убрать из поиска.Робот может открыть страницу и увидеть noindex.

Источники: Google об обходе страниц и ресурсов · Google о noindex · Яндекс о проверке адресов. Читали 11 ноября 2026 года.

Кто правит файл и как не сломать настройки

Передайте файл разработчику или специалисту, который обслуживает сайт. Пришлите адрес сайта, адреса нужных страниц и результат проверки: так исполнителю будет проще найти правило, которое вызывает вопрос.

Попросите сохранить текущую версию файла перед изменениями. После правки снова откройте опубликованный robots.txt и проверьте те же страницы в инструментах поиска. Если проблема затрагивает сайт шире, пригодится общий порядок проверки сайта на ошибки.

Мы делаем сайты с нуля и переделываем существующие. Бесплатно обсудим вашу задачу, а при работе над сайтом настроим robots.txt и карту сайта, чтобы поиск видел нужные страницы. Написать в Telegram ›

Порядок наш, из практики.

Быстрая проверка robots.txt

Порядок наш, из практики.

PDF · 7 листов · бесплатно

Техосмотр сайта

Пять проверок, которые вы делаете сами, без программиста. Каждая про деньги: потерянную заявку, штраф или сайт, который однажды утром не открылся. Непонятные слова объяснены в словарике на каждом листе, галочки ставятся прямо в файле.

  1. 1Чей у вас домен
  2. 2Есть ли у вас ключи от сайта
  3. 3Форма заявки и персональные данные
  4. 4Доходит ли заявка до человека
  5. 5Видит ли ваш сайт Яндекс
Получить PDF в Telegram Напишите «техосмотр» в @vbiz_k

Частые вопросы

Закрыт ли мой сайт от поиска?

Откройте robots.txt и проверьте адреса главной и услуг в Яндекс Вебмастере и Google Search Console. Строка Disallow: / может запрещать обход всего сайта для указанной группы роботов, но итог зависит от остальных правил файла.

Что выбрать: robots.txt или noindex?

Robots.txt задаёт правила обхода, а noindex используют, чтобы поисковая система не включала страницу в индекс. Чтобы Google увидел noindex, страница должна быть доступна для обхода.

Что делать, если robots.txt отвечает ошибкой 404?

Проверьте адрес и ответ сервера. Google при таком ответе работает так, как если бы действительного файла не было. Яндекс рекомендует проверить доступность файла и добавить его, если он недоступен.

Можно ли скопировать пример robots.txt на свой сайт?

Пример помогает понять устройство файла. Перед заменой правил попросите специалиста проверить адреса разделов, существующую карту сайта и действующие настройки.

Открытый robots.txt гарантирует появление сайта в поиске?

Нет. Доступность для обхода: только одна часть проверки. Поисковая система учитывает и другие условия при решении об индексировании страницы.

Словарик

Поисковый робот
Программа поисковой системы, которая обходит страницы и получает сведения о них.
Robots.txt
Текстовый файл с правилами обхода адресов сайта для роботов.
Noindex
Указание поисковым системам, поддерживающим его, не включать страницу в индекс.
Sitemap
Карта сайта, в которой перечислены адреса страниц и другие сведения для поисковых систем.

Ещё по теме

Делаем сайты, которые проходят техосмотр

Сайты мы тоже делаем сами: лендинг, визитку, каталог, интернет-магазин. Сдаём их по тому же регламенту техосмотра, по которому написан этот справочник.

  1. 1Сайта ещё нет. Соберём с нуля и в день сдачи передадим вам домен, доступы и документы.
  2. 2Сайт есть, но устарел или сделан криво. Переделаем и сохраним адреса страниц, которые уже знает поиск.
  3. 3Сайт работает, а заявок мало. Найдём, где они теряются, и доработаем.

Напишите в Telegram @vbiz_k, расскажите, что есть сейчас. Разговор бесплатный, платной бывает только сама работа.

Нашли проблему в своём сайте?

Пришлите ссылку, скажу, что чинить первым. Любой разговор бесплатный, платной бывает только сама работа.

Написать в Telegram