SEO / Индексация
Проверка robots.txt
Проверьте robots.txt, посмотрите группы правил для поисковых роботов и узнайте, открыт ли выбранный путь для индексации.
Как пользоваться Robots Preview
Как проверять
- Укажи домен или прямой URL сайта.
- Задай `User-Agent` и путь, который нужно проверить.
- Запусти проверку и посмотри итог `ALLOW / DISALLOW`.
Что смотреть в результате
- Какая группа правил сработала для выбранного агента.
- Какие `Sitemap` и `Host` указаны в `robots.txt`.
- Есть ли конфликтующие правила по одному и тому же пути.
Частые ошибки
- Если ответ пустой, проверь что `robots.txt` реально доступен и не режется защитой сайта.
- Если verdict кажется странным, проверь точный `User-Agent` и путь: правило может зависеть от них.
- Если есть сомнения, смотри не только итог `ALLOW / DISALLOW`, но и конкретные сработавшие строки.