Калькулятор расчета пеноблоков смотрите на этом ресурсе
Все о каркасном доме можно найти здесь http://stroidom-shop.ru
Как снять комнату в коммунальной квартире смотрите тут comintour.net
Правильный robots.txt

Привет дорогие посетители блога money-me.ru, в этой статье мы поговорим о том, как составить правильный файл robots.txt и на конкретных примерах разберем его.

robots.txt
- это обыкновенный файл, который должен быть в корне вашего сайта, этот файл говорит поисковому роботу как именно индексировать ваш сайт, на какие страницы не стоит обращать внимание, а каким уделить особое внимание. Он помогает быстрее и лучше раскрутить ваш сайт.

Файл robots.txt играет очень важную роль для правильной и быстрой индексации вашего проекта. Если вы не правильно его настроите, то некоторые страницы вашего проекта вообще могут не индексироваться  поисковыми системами, и наоборот не нужные страницы (дублированные, мусорные) могут попасть в индекс, что очень отрицательно скажется на поисковой выдаче.

При составлении правильного robots.txt вы должны соблюдать правила написания:

(директива):(пробел)(значение)

Если в файле robots.txt не указать определенные правила для поисковых роботов, то поисковые пауки обязательно проиндексируют много мусорных страниц, и может произойти многократное дублирование информации вашего проекта (одна и та же статья доступна по разным ссылкам), что очень плохо.

Кстати, если вы хотите просмотреть файл robots.txt любого интернет-проекта, то достаточно дописать в командной строке браузераl /robots.txt, допустим http://money-me.ru/robots.txt.

Основные директивы и правила написания файла robots.txt.

Самая важная директива, это "User-agent" – она должна содержать название поискового робота.

Если вы не укажете название поискового робота в директиве User-agent, то это правила будут понимать все поисковые системы. Вот приведу пример написания "User-agent", для всех поисковых роботов:

User-agent: *

А если вы хотите задать правила поведения у вас на сайте именно поисковому роботу Яндекса, то в User-agent задаем название Yandex, это будет выглядеть так:

User-agent: Yandex

И правила которые будут указаны после User-agent для Яндекса будет понимать только эта поисковая система.

Вот названия наиболее часто встречаемых поисковых роботов:

Google – Googlebot
Яндекс – Yandex
Мэйл.ру – Mail.Ru
Рамблер – StackRambler
Aport – Aport

Правильный robots.txt должен содержать как минимум одну директиву «Disallow» соответственно после каждой записи «User-agent».Если оставить совсем пустой файл robots.txt, то поисковые роботы будут индексировать ваш ресурс полностью,а это не нужно т.к. в индекс попадут дублированные страницы и мусор.

Примеры составления robots.txt:

В этом примере мы разрешаем всем поисковым роботам индексировать весь интернет-проект целиком, без ограничений:

User-agent: *
Disallow:

А если нам нужно запретить индексацию всего сайта всеми поисковыми роботами:

User-agent: *
Disallow: /

В этом примере запрещаем индексацию всего сайта, всеми поисковыми роботами, кроме робота Яндекса, таким образом вы можете разрешать или запрещать индексацию определенным ботам:

User-agent: *
Disallow: /
User-agent: Yandex
Disallow:

В следующем примере запрещаем индексацию каталога index, вот путь к этому каталогу http://mysite.ru/index/:
В
се поисковые системы будут игнорировать каталог index.

User-agent: *
Disallow: /index/

Пример в котором будет запрещена индексация директории "index", и не будут индексироваться все файлы и страницы, которые начинаются символами index,  например файлы и страницы index.html,  index.htm, index1, index34 и т.д.:

User-agent: *
Disallow: /index

Пример файла robots.txt, запрещает все страницы с продолжением index.php к индексации всем поисковым роботам, кроме страницы:  mysite.ru/index.php?option=com_xmap&sitemap=1&view=xml:

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /index.php

Для директив Allow-Disallow предусмотрены символы ‘*’ и ‘$’, при помощи них вы можете задавать логические выражения.
Символ "*" означает любую (в том числе и пустую) последовательность символов.
Пример запрещает к индексации все файлы с окончанием ".php" всем поисковым роботам:

User-agent: *
Disallow: *.php

 Думаю, на приведенных выше примерах вам стало понятно как работают директивы User-agent, Disallow и Allow.

Есть еще директива Host – которую понимает только поисковая система Яндекс, она служит, для определения главного зеркала вашего сайта, т.е. ваш ресурс может быть доступен по нескольким адресам, допустим с www и без www, помните что для поисковых систем это два разных сайта.

И ваш интернет-проект может быть в индексе поисковиков с www и без www, и эти два разных сайта, с точки зрения поисковиков, могут иметь разные показатели тиц и пр, что очень плохо скажется на раскрутке вашего интернет-проекта и конечно же, этот момент отрицательно скажется на поисковой выдаче.

Пример составления файла robots.txt с директивой Host:

User-agent: Yandex
Disallow:
Host: www.site.ru

 Директива Sitemap показывает где у вас на сайте расположена карта сайта в формате .xml:

User-agent: *
Sitemap: http://money-me.ru/sitemap.xml
Sitemap: http://money-me.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1

Ну вот вроде и все о директивах, если вы внимательно изучили все выше сказанное, то сможете самостоятельно составить robots.txt, а если вы не были внимательны и работаете на движках Joomla или WordPress я приведу готовые примеры для этих движков.

Robots.txt для joomla.

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http://путь к вашей карте XML формата

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: mysite.ru
Sitemap: http://путь к вашей карте XML формата 

Robots.txt для WordPress.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Sitemap: http://mysite.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml

 
На этом пожалуй все, надеюсь данная статья поможет вам при составлении файла robots.txt, который служит для улучшения и ускорения индексации вашего сайта.
Дата создания: 09.06.2015 12:14
 
Добавить комментарий
  • Комментарии не найдены
   
   
RizVN Login

Вход

Яндекс.Метрика


#fc3424 #5835a1 #1975f2 #83a92c #8bb832 #1c2def