robots.txt

lena1

lena1

クリエイター
LV
0
 
Что посоветуете вписать в данный файлик на сервере, что бы его полюбили боты, и от него был толк? :hi2:
 
Ну тут ведь тока про Яшу написано:
<!--quoteo--><div class='quotetop'>Цитата</div><div class='quotemain'><!--quotec-->User-agent: *
Disallow:
Host: icoforum.ru

User-agent: Yandex
Disallow:
Host: icoforum.ru<!--QuoteEnd--></div><!--QuoteEEnd-->
 
<!--quoteo(post=58888:date=14.05.2007, 14:43:name=•$EGUR@•)--><div class='quotetop'>Цитата(•$EGUR@• @ 14.05.2007, 14:43) [snapback]58888[/snapback]</div><div class='quotemain'><!--quotec-->Что посоветуете вписать в данный файлик на сервере, что бы его полюбили боты, и от него был толк? :hi2:<!--QuoteEnd--></div><!--QuoteEEnd-->
<!--coloro:#FF0000--><span style="color:#FF0000"><!--/coloro--><b>ВНИМАНИЕ!</b><!--colorc--></span><!--/colorc--> Если вы не уверены в своих силах, лучше этот файл даже не создавать, т.к. можете только навредить им
Основы:
User-agent - имя поисковика, если хотите использовать значение для всех роботов то поставте "*" (без кавычек), яндекс любит когда он прописан на сервере отдельно
Disallow - запрет индексирования страницы или категории, например "Disallow: /admin.php"
Host-основной домен сайта

Узнать больше можно на robotstxt.org.ru
 
оке.. спасибо, почитаем и попробуем.
А то я часто стал наблюдать что боты пытаются найти данный файл.
 
Войдите или зарегистрируйтесь для ответа.
Сверху