Фаил robots. txt























Файл robots.txt - это текстовый файл, находящийся в корневой директории сайта (robots.txt имеет путь относительно имени сайта www.ваш сайт/robots.txt).

Файл robots.txt содержит в себе информацию, указывающую роботам поисковых систем - как  правильно следует индексировать сайт, какие папки (директории сайта) запретить к индексации, какие разрешить и т.д.

Robots.txt - это первый файл, который "читает" робот поисковой системы Яндекс, и, в зависимости от того, что там написано, робот начинает работать с содержанием сайта. Поэтому, если файла robots.txt для сайта у Вас нет, то поисковый робот Яндекса будет "читать" Ваш сайт - как ему удобно, а это не всегда положительно сказывается на индексации страниц сайта и его месторасположении в поисковой выдаче.

Пример robots.txt:

  • Правильный robots.txt имеет вид:

Здесь я бы мог написать кучу разных операторов данного файла - но это будет неправильно.

Ибо для каждой отдельной cms системы файл robots txt будут отличаться.

Такого содержания файл robots.txt указывает на то, что сайт открыт для индексации любым роботом - поисковиком, т.к. значение "User-agent" файла robots.txt является "*", запись описывает политику доступа по умолчанию для любого робота, не нашедшего своего названия в других записях "User-agent", например "User-agent: Yandex" - указания только для робота "Yandex".

как сделать файл robots.txt

Не допускается наличие нескольких записей "User-agent: *" в файле robots.txt. Поле "User-agent" файла с именем конкретного робота так же не должно повторяться в robots.txt.

Значение директивы "Disallow" файла robots.txt описывает часть Вашего сайта, которую запрещено посещать роботам. Любой URL, начинающийся этим значением, не будет сканироваться. Пустое значение параметра "Disallow" означает, что весь сайт доступен для робота.

Значение "/" значит полный запрет на индексацию сайта. По меньшей мере одно поле "Disallow" должно присутствовать в файле robots.txt.

В нельзя оставлять пустые строки между директивами "User-agent" и "Disallow", а также между директивами "Disallow" , относящимися к одному "User-agent". А перед каждой директивой "User-agent" пустая строка желательна.

Как составить robots txt для wordpress - видеоурок.

 

 

Пример robots.txt для wordpress:

  • Правильный robots.txt для wordpress имеет вид:

    User-agent: YandexBlog
    Disallow:

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /template.html
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /tag
    Disallow: /category
    Disallow: /archive
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /?s=

    Sitemap: http://team-system.ru/sitemap.xml
   
    User-agent: Yandex
    Allow: /wp-content/uploads/
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /template.html
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /tag
    Disallow: /category
    Disallow: /archive
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /?s=
    Host: team-system.ru

 

Не забудьте вместо домена team-system.ru - написать имя своего домена.

Для сайтов, расчитанных на русскоязычную аудиторию, где лидирует поисковая система Яндекс, лучше всего писать в файле robots.txt указание для всех роботов поисковиков и отдельно для Яндекса (пример следующий пример):

User-agent: *
Disallow: /admin/        <---- нельзя оставлять пустые строки между директивами "User-agent" и "Disallow"
Disallow: /data/
Disallow: /css/
Disallow: /opros/    ,    <---- нельзя оставлять пустые строки между директивами "Disallow"!
Disallow: //UserFiles/
Disallow: /inc/
Disallow: /kcaptcha/
Disallow: /rss/
Disallow: /tinymce/
Disallow: /cgi-bin/
                                       <----- перед каждой директивой "User-agent" файла robots.txt пустая строка желательна!
User-agent: Yandex
Disallow: /admin/
Disallow: /data/
Disallow: /css/
Disallow: /opros/
Disallow: //UserFiles/
Disallow: /inc/
Disallow: /kcaptcha/
Disallow: /rss/
Disallow: /tinymce/
Disallow: /cgi-bin/
Host: www.businessvinternet.ru   <----- url в директиве Host следует писать без "http://" и без закрывающего слеша/

Подробнее о файле robots.txt (примеры robots.txt), его синтаксисе, наиболее часто встречающихся ошибках при его написании можно прочесть здесь: www.robotstxt.org.ru

Правильно составленный файл robots.txt для Вашего сайта - дает Вам уверенность в том, что Ваш сайт будет правильно прочитан роботом Яндекса, что даст Вам уверенность в его грамотной индексации!

На сайте - бизнес в интернете - Вы найдете множество других полезных идей и способов для улучшения эффективности работы сайта и его оптимизации. Используйте поиск по сайту!

Получай свежие посты блога с:
+ видеозаметками личной эффективности;
+ методиками роста прибыли в Int;
+ способами продвижения в Int;
+ кейсами по набору подписчиков;
и др. полезностями на свой e-mail: ==>

Ваш e-mail: *
Ваше имя: *

Источник : robots txt для сайта
Автор: Александр Кочетов

Итак, на данной странице - Вы познакомились со следующие информацией:

"

Правильный файл robots.txt для правильной индексации сайта и его особенности-

"

Комментарии (6)

Олег|14 октября 2011 01:20 | [1]

Александр, надо ли на первых порах, пока на сайте, к примеру только страница приземления, вводить в файл robots.txt указанные в уроке строчки для роботов? Пока в панели управления сайтом временно включена функция "Индексация в поисковых системах запрещена" - роботам вход тоже запрещен? Когда я эту функцию отключу, то файл уже должен быть таким, как показано в уроке?


Александр|17 октября 2011 10:42 | [2]

Олег - сейчас роботы честно сказать "плюют с высокой горы" - что и где написано. Что захотят то и проиндексируют.
Поэтому я рекомендую сразу открывать то что в дальнейшем будет предназначаться для индексирования


Руслан|9 ноября 2011 12:01 | [3]

Спасибо огроменное автору!!!
Сделал блог а про robots не знал. Потом долго искал что это да как сделать. Только здесь все так доступно объяснено.
Посмотрите, пож. мой блог. Может что не так делаю. Я начинающий блогописец, а вы кажется уже гуру. http://artizba.info/


agatukr|28 апреля 2012 20:38 | [4]

Здравтвуйте, Александр! Посмотрел Ваш видеоурок и попытался настроить файл robots.txt в ВордПрессе, но в корневом каталоге его не нашел. Что сделать? Просто добавить? И почему его там нет?
Заранее благнодарен.
Эдуард.


Александр|11 апреля 2013 16:26 | [5]

Да, Эдуард. просто создать такой файл в корневой директории блога.


Ihsan|8 июля 2015 02:35 | [6]

I'm imsdrpsee. You've really raised the bar with that.





Добавить комментарий

Ваше имя/ник (не менее 4 символов):

Ваш E-mail (защищен от спамеров):

Сообщение (30 - 700 символов):
Защита от спама(введите текст с картинки):
Включите эту картинку для отображения кода безопасности
обновить если не виден код

Оставь комментарий и заработай 100 рублей.

Кликни по баннеру - чтобы прочитать условия конкурса.




Rambler's Top100