robots.txt

Щоденна перевірка доступності, синтаксису і логіки robots.txt. Один некоректний рядок Disallow може заблокувати весь сайт від Google.

01 Що це таке?

robots.txt — текстовий файл у корені сайту, який повідомляє пошуковим роботам (Googlebot, Bingbot та іншим) які розділи можна сканувати, а які — ні. Він завантажується при кожному обході сайту пошуковиком. Помилки в robots.txt бувають двох типів: занадто дозвільні (відкривають те, що має бути закрите) і занадто обмежувальні (блокують важливі розділи від індексації). Обидва типи критично впливають на SEO.

02 Чому це важливо для бізнесу?

→Disallow: / в robots.txt — один рядок, який миттєво блокує весь сайт від Google
→Googlebot перевіряє robots.txt перед кожним скануванням — помилка відразу впливає на обхід
→Некоректний синтаксис може бути неправильно інтерпретований різними ботами
→Відкритий /wp-admin/ у robots.txt — підказка хакерам де шукати панель управління
→Після міграції або редизайну robots.txt часто залишається зі старими правилами

03 Що саме перевіряємо

✓Доступність файлу: /robots.txt має повертати HTTP 200
✓Синтаксис: коректність директив User-agent, Disallow, Allow, Sitemap
✓Критичне правило Disallow: / — блокування всього сайту
✓Блокування важливих розділів: /catalog/, /products/, /blog/ тощо
✓Наявність Sitemap директиви
✓Зміни порівняно з попередньою версією — будь-яка зміна = сповіщення

04 Типові проблеми

Disallow: / після міграції зі staging

На тестовому сервері robots.txt містив Disallow: / щоб Google не індексував staging. При копіюванні на продакшн файл перенесли разом з кодом. Googlebot заблокований.

User-agent: * Disallow: / # Це був staging robots.txt!

Блокування CSS і JS файлів

Старий підхід "закрити все зайве" блокує /wp-includes/ і /wp-content/. Google не може завантажити стилі і скрипти — не може коректно рендерити сторінку і оцінити її якість.

Disallow: /wp-includes/ Disallow: /wp-content/ → Google не бачить стилі сайту

05 Вплив на бізнес

robots.txt — простий файл з величезним впливом. Помилка виявляється тільки в Google Search Console через тижні. Щоденна автоматична перевірка і сповіщення при будь-якій зміні дозволяє реагувати за години, а не місяці.

Хочете автоматичну перевірку цього параметра?

Rank Sentinel моніторить це і ще 20+ параметрів — щодня, без вашої участі.

🚀 Підключити моніторинг

5 000 грн/рік · Beta-ціна

Деталі перевірки

Критичність: Критична
Частота: Щодня
Категорія: seo

Схожі перевірки

🔗

Open Graph і соціальні теги

Щотижнева перевірка og:title, og:image, og:description і Twitter Card тегів. Без них посилання на сайт у соцмережах виглядає як порожній рядок.

🌍

Hreflang для мультимовних сайтів

Щомісячна перевірка hreflang-атрибутів для мультимовних сайтів. Помилки в hreflang — і Google показує не ту мову у пошуку потрібної країни.

📋

Структуровані дані (Schema.org)

Щомісячна валідація JSON-LD розмітки Schema.org. Правильна розмітка дає rich snippets у пошуку — зірочки, ціни, FAQ прямо у видачі Google.