Хостинг в Украине: Файл robots.txt. Что это такое и как его правильно составить - Хостинг в Украине

Перейти к содержимому

Привет, гость!

 
Регистрация! Забыли пароль?
 

Страница 1 из 1
  • Вы не можете создать новую тему
  • Вы не можете ответить в тему

Файл robots.txt. Что это такое и как его правильно составить Оценка: ***** 1 Голосов

#1 Пользователь офлайн   nexus-invest 

  • Активист хостинга
  • Pip
  • Группа: Пользователь хостинга
  • Сообщений: 48
  • Регистрация: 16 апреля 09

Отправлено 17 августа 2011 - 21:40

Файл robots.txt - это файл ограничения доступа к содержимому поисковыми роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). Данный файл не является обязательной составляющей сайта. Его может вообще и не быть. Но если Ваш сайт имеет какие-то скрытые страницы или файлы, которые Вы хотите закрыть их от индексации поисковыми системами, тогда файл robots.txt Вам просто необходим.

Именно этот файл поисковики ищут первым делом перед индексацией Вашего сайта для того, чтобы узнать, что нужно индексировать, а что нет. Делается это при помощи специальных команд.

Продолжение читайте по адресу biznesguide.ru/other/140.html
0

#2 Пользователь офлайн   ProfesoR 

  • Академик хостинга
  • PipPipPipPipPipPipPip
  • Группа: Хостинг-Профессионал
  • Сообщений: 3 159
  • Регистрация: 04 ноября 09

Отправлено 18 августа 2011 - 08:21

Спасибо. Интересно
0

Страница 1 из 1
  • Вы не можете создать новую тему
  • Вы не можете ответить в тему

1 человек читают эту тему
0 пользователей, 1 гостей, 0 скрытых пользователей