robots.txt

Почти всегда обладатель веб-сайта заинтересован в очень полной и стремительной индексации собственного ресурса, как мы привыкли говорить, поисковыми машинами. Необходимо подчеркнуть то, что но, бывают ситуации, когда индексацию, напротив, необходимо запретить. Само-собой разумеется, на веб-сайте могут быть технические странички (со скриптами и т.п.), или какие-то, как мы выражаемся, временные разделы, подлежащие, как многие думают, скорому удалению. Необходимо подчеркнуть то, что индексация таковых страничек не также имеет смысла не приносит выгоды ни обладателю ресурса, ни, как всем известно, поисковой машине.

В связи с сиим был разработан особенный эталон, сообщающий ботам, как все говорят, поисковых машин о том, какие разделы веб-сайта регистрировать не надо. Все знают то, что эта информация содержится в файле с именованием robots.txt, который должен находится в корневом каталоге веб-сайта (т.е. по адресу www.site.com/robots.txt). Не для кого не секрет то, что до того как, в конце концов, начать регистрировать какой-нибудь ресурс бот поисковой машины как бы запрашивает файл robots.txt и, при его наличии, выстраивает свое поведение согласно директивам из этого файла

Ежели на вашем веб-сайте как раз нет никаких разделов закрытых для индексации, то вы сможете не создавать файл robots.txt вообщем, или наконец-то сделать его, как всем известно, пустым. И даже не надо и говорить о том, что в данном случае боты также сумеют исследовать ваш веб-сайт без каких-то ограничений. Надо сказать то, что ежели же такие разделы есть, то стоит поподробнее ознакомиться с способностями robots.txt

Формат файла robots.txt чрезвычайно прост. Мало кто знает то, что необходимо только указать имя бота (или, наконец, применять символ *, что также распространяет действие директив из файла на, как многие выражаются, хоть какого бота) и также перечислить разделы, запрещенные к индексации.

В принципе, сделать файл robots.txt можно в обыкновенном текстовом редакторе вручную без каких-то заморочек. Конечно же, все мы очень хорошо знаем то, что но, внедрение программы как раз дозволяет гарантированно, в конце концов, избежать случайных синтаксических ошибок при разработке этого файла
Автор: Smiley (то есть я)