Robots.txt хранит правила обхода сайта для поисковых роботов. Откройте адрес своего сайта с добавлением /robots.txt и найдите строку Disallow: /. Она может запрещать обход всего сайта, но результат зависит от группы правил и возможных исключений. Проверьте главную и страницы услуг в Яндекс Вебмастере и Google Search Console.
- ОткройтеДобавьте /robots.txt к адресу сайта и посмотрите содержимое файла.
- НайдитеПроверьте, нет ли запрета Disallow: / в правилах для поисковых роботов.
- Проверьте страницыВставьте адреса главной и услуг в инструменты Яндекса и Google.
- Передайте задачуЕсли правило закрывает нужную страницу, попросите разработчика разобраться до правки.
Что такое robots.txt и где его найти
Robots.txt: текстовый файл с указаниями для поисковых роботов. В нём можно обозначить разделы и страницы, которые роботу разрешено или запрещено обходить.
Файл находится в корне сайта. Чтобы открыть его, добавьте /robots.txt к адресу сайта: например, https://example.com/robots.txt. Сохраните тот же адрес и протокол, которые использует ваш сайт.
Правила файла добровольны: некоторые роботы могут их игнорировать. Для защиты конфиденциальных данных используйте пароль или другой способ ограничения доступа.
Источники: Google о назначении и ограничениях robots.txt · Google о расположении файла. Читали 11 ноября 2026 года.
Откройте файл и посмотрите, что вернул сайт
Введите адрес файла в браузере. Обычно вы увидите текст с правилами. Если вместо него появилась страница сайта, пустой экран или сообщение об ошибке, попросите специалиста проверить ответ сервера: по виду страницы не всегда понятно, что получил робот.
Пустой файл сам по себе не содержит запретов. Но сначала убедитесь, что сервер действительно отдаёт пустой robots.txt, а не страницу ошибки или другой ответ.
Ответ 404 означает, что документ по запрошенному адресу не найден. Для Google это отсутствие действующего файла robots.txt: обход выполняется без ограничений этого файла. Яндекс рекомендует проверить доступность файла и добавить его, если он недоступен.
Ошибка сервера при запросе robots.txt требует отдельной проверки. Google описывает для такого случая временную остановку обхода и дальнейшее использование сохранённой версии при определённых условиях. Не делайте вывод, что сайт открыт или закрыт, только по сообщению в браузере. Подробнее об ошибке 404 и ошибках сервера.
Бесплатно проверим ваш robots.txt и скажем, не закрыт ли сайт от поиска. Пришлите адрес сайта. Написать в Telegram ›
Источники: Google об ответах сервера для robots.txt · Яндекс о кодах ответа · Яндекс о недоступном файле. Читали 11 ноября 2026 года.
Как прочитать основные строки
Правила собраны в группы. Сначала идёт User-agent, затем строки, которые относятся к указанному роботу. Если в файле есть отдельные группы для разных роботов, проверьте каждую подходящую группу.
Ниже условный пример для сайта с существующей картой сайта. Адрес карты и правила для своего сайта покажите разработчику перед тем, как вносить в файл.
- 1User-agent: *: группа для поисковых роботов в целом. У отдельных роботов могут быть собственные группы правил.
- 2Disallow: /search/: запрет на обход адресов, начинающихся с /search/.
- 3Allow: /: разрешение обхода. Более конкретные правила и другие группы тоже нужно проверить.
- 4Sitemap: https://example.com/sitemap.xml: адрес карты сайта. Подставлять можно только реальный адрес своей карты.
Источники: Google о группах правил и примере файла · Яндекс о robots.txt. Читали 11 ноября 2026 года.
Как выглядит запрет на весь сайт
В таком примере общий запрет указывает роботам из этой группы не обходить сайт. В реальном файле могут быть более конкретные разрешения или отдельные группы для Google и Яндекса, поэтому проверяйте результат для конкретных адресов.
- 1User-agent: *
- 2Disallow: /
Источник: Google: примеры групп и запрета обхода. Читали 11 ноября 2026 года.
Что закрывают, а что оставить доступным
Для служебных разделов, внутреннего поиска или корзины можно обсудить запрет обхода с разработчиком. Сначала попросите его сверить реальные адреса и назначение страниц: универсального списка путей для всех сайтов нет.
Главная страница и страницы услуг обычно нужны владельцу в поиске. Проверьте, что правила файла не мешают их обходу. Google также советует не блокировать стили и скрипты, если из-за этого робот может неправильно понять страницу.
Строка Sitemap помогает указать адрес карты сайта. О самой карте рассказали в статье Sitemap для сайта.
Источники: Google о доступе к стилям и скриптам · Google о строке Sitemap. Читали 11 ноября 2026 года.
Robots.txt и noindex: в чём разница
Robots.txt управляет обходом адресов. Если на закрытую страницу ссылаются другие сайты, Google может добавить её адрес в поиск, даже не открывая страницу. В справке Яндекса тоже сказано, что ограниченные в robots.txt страницы могут участвовать в поиске.
Метатег noindex сообщает поддерживающему его поиску, что страницу не нужно индексировать. Чтобы Google увидел этот тег, страница должна быть доступна роботу и не закрыта для него в robots.txt. Строку noindex внутри robots.txt Google не поддерживает: запрет индексации ставят в коде самой страницы.
Источники: Google об ограничениях robots.txt · Google о noindex. Читали 11 ноября 2026 года.
Как проверить главную и страницы услуг
В Яндекс Вебмастере откройте «Инструменты» и выберите «Анализ robots.txt». Ниже в поле для проверки страниц добавьте адреса главной и страниц услуг, затем нажмите «Проверить». Сервис покажет результат для каждого адреса.
В Google Search Console выберите сайт и введите полный адрес страницы в строку проверки URL. В сведениях о странице посмотрите поле «Сканирование разрешено?». Отчёт о файлах robots.txt помогает посмотреть сам файл и сведения о его получении.
Разрешение обхода ещё не гарантирует появления страницы в поиске. Если сайт отсутствует в Яндексе, проверьте и другие возможные причины. Для работы с сервисом может понадобиться подтвердить права на сайт.
Источники: Яндекс: Анализ robots.txt · Google: инструмент проверки URL · Google: отчёт о файлах robots.txt. Читали 11 ноября 2026 года.
Таблица проверки robots.txt
| Что проверить | Как проверить | Что считается нормой |
|---|---|---|
| Адрес файла | Добавьте /robots.txt к адресу своего сайта. | Открывается файл, относящийся к нужному адресу сайта. |
| Ответ сервера | При ошибке или пустом экране попросите специалиста проверить код ответа и содержимое. | Сервер отдаёт ожидаемый файл без ошибки. |
| Общий запрет | Найдите Disallow: / и посмотрите группу User-agent. | Для роботов, которым нужен доступ к сайту, нет непреднамеренного запрета. |
| Главная | Проверьте адрес главной в инструментах Яндекса и Google. | Обход разрешён, если главная нужна в поиске. |
| Страницы услуг | Проверьте адреса услуг по отдельности. | Нужные страницы доступны для обхода. |
| Стили и скрипты | Попросите специалиста проверить правила для ресурсов страницы. | Робот может получить ресурсы, необходимые для понимания страницы. |
| Карта сайта | Если есть строка Sitemap, откройте указанный в ней адрес. | Указан действующий адрес карты вашего сайта. |
| Noindex | Попросите специалиста проверить метатег у страницы, которую нужно убрать из поиска. | Робот может открыть страницу и увидеть noindex. |
Источники: Google об обходе страниц и ресурсов · Google о noindex · Яндекс о проверке адресов. Читали 11 ноября 2026 года.
Кто правит файл и как не сломать настройки
Передайте файл разработчику или специалисту, который обслуживает сайт. Пришлите адрес сайта, адреса нужных страниц и результат проверки: так исполнителю будет проще найти правило, которое вызывает вопрос.
Попросите сохранить текущую версию файла перед изменениями. После правки снова откройте опубликованный robots.txt и проверьте те же страницы в инструментах поиска. Если проблема затрагивает сайт шире, пригодится общий порядок проверки сайта на ошибки.
Мы делаем сайты с нуля и переделываем существующие. Бесплатно обсудим вашу задачу, а при работе над сайтом настроим robots.txt и карту сайта, чтобы поиск видел нужные страницы. Написать в Telegram ›
Порядок наш, из практики.
Быстрая проверка robots.txt
Порядок наш, из практики.
Техосмотр сайта
Пять проверок, которые вы делаете сами, без программиста. Каждая про деньги: потерянную заявку, штраф или сайт, который однажды утром не открылся. Непонятные слова объяснены в словарике на каждом листе, галочки ставятся прямо в файле.
- 1Чей у вас домен
- 2Есть ли у вас ключи от сайта
- 3Форма заявки и персональные данные
- 4Доходит ли заявка до человека
- 5Видит ли ваш сайт Яндекс
Частые вопросы
Закрыт ли мой сайт от поиска?
Откройте robots.txt и проверьте адреса главной и услуг в Яндекс Вебмастере и Google Search Console. Строка Disallow: / может запрещать обход всего сайта для указанной группы роботов, но итог зависит от остальных правил файла.
Что выбрать: robots.txt или noindex?
Robots.txt задаёт правила обхода, а noindex используют, чтобы поисковая система не включала страницу в индекс. Чтобы Google увидел noindex, страница должна быть доступна для обхода.
Что делать, если robots.txt отвечает ошибкой 404?
Проверьте адрес и ответ сервера. Google при таком ответе работает так, как если бы действительного файла не было. Яндекс рекомендует проверить доступность файла и добавить его, если он недоступен.
Можно ли скопировать пример robots.txt на свой сайт?
Пример помогает понять устройство файла. Перед заменой правил попросите специалиста проверить адреса разделов, существующую карту сайта и действующие настройки.
Открытый robots.txt гарантирует появление сайта в поиске?
Нет. Доступность для обхода: только одна часть проверки. Поисковая система учитывает и другие условия при решении об индексировании страницы.
Словарик
- Поисковый робот
- Программа поисковой системы, которая обходит страницы и получает сведения о них.
- Robots.txt
- Текстовый файл с правилами обхода адресов сайта для роботов.
- Noindex
- Указание поисковым системам, поддерживающим его, не включать страницу в индекс.
- Sitemap
- Карта сайта, в которой перечислены адреса страниц и другие сведения для поисковых систем.
Ещё по теме
Делаем сайты, которые проходят техосмотр
Сайты мы тоже делаем сами: лендинг, визитку, каталог, интернет-магазин. Сдаём их по тому же регламенту техосмотра, по которому написан этот справочник.
- 1Сайта ещё нет. Соберём с нуля и в день сдачи передадим вам домен, доступы и документы.
- 2Сайт есть, но устарел или сделан криво. Переделаем и сохраним адреса страниц, которые уже знает поиск.
- 3Сайт работает, а заявок мало. Найдём, где они теряются, и доработаем.
Напишите в Telegram @vbiz_k, расскажите, что есть сейчас. Разговор бесплатный, платной бывает только сама работа.
Нашли проблему в своём сайте?
Пришлите ссылку, скажу, что чинить первым. Любой разговор бесплатный, платной бывает только сама работа.
Написать в Telegram