Правильний файл robots.txt Файл robots.txt – являє собою текстовий документ, який лежить в корені сайту і вказує пошуковим роботам, що їм можна індексувати, а що ні. Так само в ньому прописується головне дзеркало сайту, рекомендований інтервал між індексуванням сторінок сайту і т.