SEO-інструменти
Перевірка індексованості: чи може Google проіндексувати цю сторінку
Перевіряє кожен сигнал, який вирішує, чи дозволено сторінці потрапити в індекс: статус-код, доступ у robots.txt, meta robots, заголовок X-Robots-Tag і canonical.
Що тут означає «індексована»
Цей інструмент відповідає, чи дозволяє сторінка індексацію, а не чи проіндексував її Google. Це різні питання, і ззовні можна відповісти лише на перше: чи справді Google проіндексував URL, видно тільки в Search Console для ресурсу, яким ви володієте.
Різниця важлива, бо з боку пошукової видачі обидва випадки виглядають однаково. Сторінка може бути повністю доступною для індексації й усе одно бути відсутньою в пошуку, бо Google вирішив, що вона того не варта, — і жоден зовнішній інструмент не відрізнить це від технічного блокування.
Сигнали в тому порядку, в якому їх оцінює Google
Читайте їх саме в такому порядку. Збій на ранньому етапі робить усе наступне неважливим — і саме тому заборонений у robots.txt URL не можна прибрати з індексу тегом noindex: робот просто не доходить до того, щоб його прочитати.
- Статус-код — відповідь, відмінна від 200, закриває питання одразу.
- robots.txt — якщо шлях заборонено, сторінку не завантажать, і директив на ній ніхто не побачить.
- meta robots — noindex у head, який взагалі можна прочитати лише після успішного сканування.
- X-Robots-Tag — та сама директива на рівні заголовка, яку легко пропустити, бо в HTML її не видно.
- Canonical — canonical, що вказує деінде, просить Google індексувати іншу адресу.
Коли все проходить, а сторінки в пошуку все одно немає
Таке поєднання трапляється часто, і воно повністю відводить від питання налаштувань. «Виявлено — наразі не проіндексовано» означає, що Google розставив пріоритети інакше, зазвичай тому, що сторінка тонка, майже дублікат або слабко перелінкована. Розберіться за матеріалом діагностика індексованості.
- Чи скаже це, що моя сторінка є в Google?
- Ні, і жоден інший зовнішній інструмент надійно цього не скаже. Він показує, чи дозволяє сторінка індексацію. Про факт індексації дивіться в Search Console для власного ресурсу.
- Сторінка індексована, але її немає у видачі. Чому?
- Індексованість — це дозвіл, а не заслуга. Google усе одно вирішує, чи варта сторінка індексу, і тонкі або майже дубльовані сторінки регулярно сканують і пропускають.
Інші інструменти
Завантажує robots.txt для вказаного хоста, повідомляє, чи існує файл і чи не блокує він усіх роботів, і паралельно читає директиви робота на рівні сторінки.
Шукає карту сайту так само, як це робить пошуковий робот — спершу оголошення в robots.txt, потім стандартні розташування — після чого перевіряє, що документ парситься як XML, і рахує URL усередині.
Читає канонічний URL, який оголошує сторінка, а потім завантажує цю адресу, щоб переконатися, що вона доступна, не редиректить і не має noindex — три способи, якими canonical тихо перестає працювати.
Розбирає структуровані дані вказаної сторінки, перелічує знайдені типи schema.org і позначає блоки, які не парсяться або яким бракує обовʼязкових для їхнього типу властивостей.
Проходить за вказаним URL через кожен крок, показуючи статус-код на кожному з них і кінцеву адресу — деталі, які браузер ховає, щойно адресний рядок заспокоївся.