Яндекс.Метрика

Файл robots.txt. Создание и установка

Цель создания файла robots.txt.

Файл robots.txt создается для успешной работы роботов – поисковиков, обеспечивающих быстрое и полноценное индексирование необходимых страниц Вашего сайта.

Более подробно Вы можете прочитать  здесь.

robotsНа блоге созданном на движке WordPress расположено много папок, которые с целью сокращения времени и ресурсов поисковиков не подлежат индексации.

Именно поэтому в файле  robots.txt мы описываем папки не подлежащие индексации, а также без ограничений рекомендуем роботам-поисковикам для индексации самые важные страницы блога/сайта.

Когда поисковый робот заходит на ваш блог, он сразу же ищет файл robots.txt, потому что именно он указывает на то, что индексировать на блоге можно, а что нельзя.

В файл robots.txt  прописываются некоторые строки указывающие на ограничение доступа к содержимому.

При этом он располагается в корне Вашего сайта и при заходе на Ваш сайт/блог поисковик сразу находит этот файл и приступает к индексации на основании его данных.

 Так как самым распространенным движком для создания сайтов/блогов является WordPress,  дальнейшее описание ограничим созданием файла robots.txt для WordPress.

Как создать файл robots.txt?

Для создания файла robots.txt  скопируйте предложенный вариант, изменив в трех нижних строчках site.ru на адрес вашего сайта/блога, создайте с помощью Блокнота или Noterad++ текстовый файл и сохраните его на рабочем столе.

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Allow:/wp-content/uploads/

 

User-agent:Yandex

Allow:/wp-content/uploads/

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Host: Site.ru

Sitemap: Site.ru/sitemap.xml.gz

Sitemap: Site.ru/sitemap.xml

Установка файла robots.txt.

Установка файла на хостинг произведится в корневую папку Вашего блога.

robots.txt

Теперь Вы знаете назначение файла robots.txt, процесс его создания и установки.

Успехов!
Познакомился?  Поделись с другом! 

Кликни по кнопке соц. сетей! Оставь комментарий!

Навигация

Предыдущая статья: ←

Оставить свой комментарий

Поиск
Рассылка новостей сайта

Введите Ваш email адрес:

Счетчик
Яндекс.Метрика

Посетите наши страницы в социальных сетях!

ВКонтакте.      Facebook.      Google Plus.      Twitter.      YouTube.      Одноклассники.      RSS.
Вверх
© 2017    Копирование материалов сайта разрешено только при наличии активной ссылки   //    Войти