Файл robots.txt

131

Файл robots.txt

Правильний файл robots.txt

Файл robots.txt – являє собою текстовий документ, який лежить в “корені” сайту і вказує пошуковим роботам, що їм можна індексувати, а що ні. Так само в ньому прописується головне дзеркало сайту, рекомендований інтервал між індексуванням сторінок сайту і т. д.

Пошуковий робот, він же краулер (від англ. crawler) – це спеціальна програма, яка є однією з основних частин пошукових алгоритмів. Головним завданням краулера є обхід сторінок
інтернету, їх завантаження та занесення в базу даних пошукової системи. По простому пошуковий робот являє звичайний браузер, який переглядає сторінки, інформацію з них переносить сервер своєї
пошукової системи, і йде далі за внутрішніми посиланнями на інші сторінки сайту. Глибина перегляду сайту у краулера зазвичай обмежена.

Якщо ви використовуєте WordPress, то приклад файлу robots.txt буде виглядати так:

User-Agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

“User-Agent: *” – означає, що всі пошукові боти (Google, Yandex, Yahoo, MSN і т. д.) повинні використовувати ці інструкції для обходу вашого сайту. Якщо ваш сайт є складним вам потрібно буде
встановлювати різні інструкції для різних павуків. Ви можете прописувати інструкції і під кожного робота окремо (актуально для робота Яндекса з їх директорією “HOSTS:…”, де замість крапок ім’я головного дзеркала сайту). Для різних пошукових ботів існують свої імена:

  • robots.txt для Гугла – User-agent: Googlebot
  • robots.txt для Рамблера – User-agent: StackRambler
  • robots.txt для Яндекса – User-agent: Yandex
  • robots.txt для Yahoo – User-agent: Slurp або Yahoo! Slurp
  • robots.txt для MSN – User-agent: MSNBot

“Disallow: / WP-” – означає, що пошукові системи не будуть сканувати файли WordPress, тобто виключити всі папки та файли, що починаються з ‘ WP-” з індексації.
Якщо ви не використовуєте WordPress або Joomla і не хочете, щоб инднксировались деякі папки і файли них, просто вкажіть їх у рядку Disallow, наприклад:

Рекомендую до прочитання: Юзабіліті сайту

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/
Disallow: / будь-якої іншої папки, які слід виключити /

Після того як ви створили файл robots.txt його потрібно просто завантажити в кореневий каталог вашого сайту !