Файл robots.txt - это текстовый файл, находящийся в корневой директории сайта (robots.txt имеет путь относительно имени сайта www.ваш сайт/robots.txt).
Файл robots.txt содержит в себе информацию, указывающую роботам поисковых систем - как правильно следует индексировать сайт, какие папки (директории сайта) запретить к индексации, какие разрешить и т.д.
Robots.txt - это первый файл, который "читает" робот поисковой системы Яндекс, и, в зависимости от того, что там написано, робот начинает работать с содержанием сайта. Поэтому, если файла robots.txt для сайта у Вас нет, то поисковый робот Яндекса будет "читать" Ваш сайт - как ему удобно, а это не всегда положительно сказывается на индексации страниц сайта и его месторасположении в поисковой выдаче.
Такого содержания файл robots.txt указывает на то, что сайт открыт для индексации любым роботом - поисковиком, т.к. значение "User-agent" файла robots.txt является "*", запись описывает политику доступа по умолчанию для любого робота, не нашедшего своего названия в других записях "User-agent", например "User-agent: Yandex" - указания только для робота "Yandex".
Не допускается наличие нескольких записей "User-agent: *" в файле robots.txt. Поле "User-agent" файла с именем конкретного робота так же не должно повторяться в robots.txt.
Значение директивы "Disallow" файла robots.txt описывает часть Вашего сайта, которую запрещено посещать роботам. Любой URL, начинающийся этим значением, не будет сканироваться. Пустое значение параметра "Disallow" означает, что весь сайт доступен для робота.
Значение "/" значит полный запрет на индексацию сайта. По меньшей мере одно поле "Disallow" должно присутствовать в файле robots.txt.
В robots.txt нельзя оставлять пустые строки между директивами "User-agent" и "Disallow", а также между директивами "Disallow" , относящимися к одному "User-agent". А перед каждой директивой "User-agent" пустая строка желательна.
Для сайтов, расчитанных на русскоязычную аудиторию, где лидирует поисковая система Яндекс, лучше всего писать в файле robots.txt указание для всех роботов поисковиков и отдельно для Яндекса (пример следующий пример).
Пример. Правильный robots.txt для большинства рускоязычных сайтов будет иметь вид:
User-agent: * Disallow: /admin/ <---- нельзя оставлять пустые строки между директивами "User-agent" и "Disallow" Disallow: /data/ Disallow: /css/ Disallow: /opros/ , <---- нельзя оставлять пустые строки между директивами "Disallow"! Disallow: /UserFiles/ Disallow: /inc/ Disallow: /kcaptcha/ Disallow: /rss/ Disallow: /tinymce/ Disallow: /cgi-bin/ <----- перед каждой директивой "User-agent" файла robots.txt пустая строка желательна! User-agent: Yandex Disallow: /admin/ Disallow: /data/ Disallow: /css/ Disallow: /opros/ Disallow: /UserFiles/ Disallow: /inc/ Disallow: /kcaptcha/ Disallow: /rss/ Disallow: /tinymce/ Disallow: /cgi-bin/ Host: www.businessvinternet.ru <----- url в директиве Host следует писать без "http://" и без закрывающего слеша/
Подробнее о файле robots.txt (примеры robots.txt), его синтаксисе, наиболее часто встречающихся ошибках при его написании можно прочесть здесь: www.robotstxt.org.ru
Правильно составленный файл robots.txt для Вашего сайта - дает Вам уверенность в том, что Ваш сайт будет правильно прочитан роботом Яндекса, что даст Вам уверенность в его грамотной индексации!
Понравился материал? Добавьте в свои закладки - возможно, он будет полезен Вашим друзьям:
