<!--quoteo(post=73645:date=18.12.2007, 15:04:name=sasch)--><div class='quotetop'>Цитата(sasch @ 18.12.2007, 15:04) [snapback]73645[/snapback]</div><div class='quotemain'><!--quotec-->Олег,
по этому файлу, полуается, что
роботу дается запрет индексить ряд страниц.
для чего?
если цель - раскруить форум,
дальше к нам пришел робот, и получается что поумочанию робот читает ВСЕ слова на сайте;
если же добавлять робот.ткст то по содержимому получается ограничение работы робота.
или я чего то не понял, или вроде хорошо если робот лазит везде....
пока искал стать о раскруте нашел вот такое.... <a href="http://www.searchengines.ru/articles/cat_niooiaci.html" target="_blank">http://www.searchengines.ru/articles/cat_niooiaci.html</a>
если кто то пользовался чем то....расскжаите плз сколь эффективно.<!--QuoteEnd--></div><!--QuoteEEnd-->
1) robots.txt это первое, что видит поисковик на твоем сайте, поэтому жалательно задать хотябы:
<!--c1--><div class='codetop'>Код</div><div class='codemain'><!--ec1-->User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: site.ru<!--c2--></div><!--ec2-->
2) Зачем вам чтобы робот видел и индексировал, то что не нужно?
3) Попросту за много можно быть успешно забанены поисковиками, которые расценили содержание как поисковой-спам. Например если будете ставить мод php>html, страницы тем и разделов php желательно запретить, т.к. одинаковое содержание страниц-бан в поисковиках рано или поздно
по этому файлу, полуается, что
роботу дается запрет индексить ряд страниц.
для чего?
если цель - раскруить форум,
дальше к нам пришел робот, и получается что поумочанию робот читает ВСЕ слова на сайте;
если же добавлять робот.ткст то по содержимому получается ограничение работы робота.
или я чего то не понял, или вроде хорошо если робот лазит везде....
пока искал стать о раскруте нашел вот такое.... <a href="http://www.searchengines.ru/articles/cat_niooiaci.html" target="_blank">http://www.searchengines.ru/articles/cat_niooiaci.html</a>
если кто то пользовался чем то....расскжаите плз сколь эффективно.<!--QuoteEnd--></div><!--QuoteEEnd-->
1) robots.txt это первое, что видит поисковик на твоем сайте, поэтому жалательно задать хотябы:
<!--c1--><div class='codetop'>Код</div><div class='codemain'><!--ec1-->User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: site.ru<!--c2--></div><!--ec2-->
2) Зачем вам чтобы робот видел и индексировал, то что не нужно?
3) Попросту за много можно быть успешно забанены поисковиками, которые расценили содержание как поисковой-спам. Например если будете ставить мод php>html, страницы тем и разделов php желательно запретить, т.к. одинаковое содержание страниц-бан в поисковиках рано или поздно