robots.txt

[@Oleg@]

<!--quoteo(post=58896:date=14.05.2007, 15:02:name=•$EGUR@•)--><div class='quotetop'>Цитата(•$EGUR@• @ 14.05.2007, 15:02) [snapback]58896[/snapback]</div><div class='quotemain'><!--quotec-->оке.. спасибо, почитаем и попробуем.
А то я часто стал наблюдать что боты пытаются найти данный файл.<!--QuoteEnd--></div><!--QuoteEEnd-->
Большинство ботов прежде чем начать индексирования смотрят роботс

 

[lena1]

одним словом - глупые, тупые роботы ^_^

 

[ghz]

<!--quoteo--><div class='quotetop'>Цитата</div><div class='quotemain'><!--quotec-->User-Agent: Yandex
Disallow:
Host: qipskins.ru

User-Agent: *
Disallow<!--QuoteEnd--></div><!--QuoteEEnd-->
Роботс нужно прописывать однозначно.
Забыл на mobileicq про него, результат он(яндекс) его переиндексировал с www

 

[lena1]

Вот как у Фисаны:
<!--c1--><div class='codetop'>Код</div><div class='codemain'><!--ec1-->User-agent: *
Disallow: /forum/%7Bipb
Disallow: /forum/user
Disallow: /forum/User
Disallow: /forum/ipb.html?act=Reg&CODE
Disallow: /forum/ipb.html?act=Announce
Disallow: /forum/ipb.html?act=announce
Disallow: /forum/ipb.html?act=Calendar
Disallow: /forum/ipb.html?act=calendar
Disallow: /forum/ipb.html?act=Login
Disallow: /forum/ipb.html?act=login
Disallow: /forum/ipb.html?act=Post
Disallow: /forum/ipb.html?act=post
Disallow: /forum/ipb.html?act=Reg
Disallow: /forum/ipb.html?act=reg
Disallow: /forum/ipb.html?act=Online
Disallow: /forum/ipb.html?act=online
Disallow: /forum/ipb.html?act=Members
Disallow: /forum/ipb.html?act=members
Disallow: /forum/ipb.html?act=Help
Disallow: /forum/ipb.html?act=help
Disallow: /forum/ipb.html?act=Search
Disallow: /forum/ipb.html?act=search
Disallow: /forum/ipb.html?act=Forward
Disallow: /forum/ipb.html?act=forward
Disallow: /forum/ipb.html?act=Mail
Disallow: /forum/ipb.html?act=mail
Disallow: /forum/ipb.html?act=Report
Disallow: /forum/ipb.html?act=report
Disallow: /forum/ipb.html?act=Chat
Disallow: /forum/ipb.html?act=chat
Disallow: /forum/ipb.html?act=Msg
Disallow: /forum/ipb.html?act=msg
Disallow: /forum/ipb.html?act=UserCP
Disallow: /forum/ipb.html?act=usercp
Disallow: /forum/ipb.html?act=Profile
Disallow: /forum/ipb.html?act=profile
Disallow: /forum/ipb.html?act=Track
Disallow: /forum/ipb.html?act=track
Disallow: /forum/ipb.html?act=Stats
Disallow: /forum/ipb.html?act=stats
Disallow: /forum/ipb.html?act=Attach
Disallow: /forum/ipb.html?act=attach
Disallow: /forum/ipb.html?act=Legends
Disallow: /forum/ipb.html?act=legends
Disallow: /forum/ipb.html?act=Buddy
Disallow: /forum/ipb.html?act=buddy
Disallow: /forum/ipb.html?act=MMod
Disallow: /forum/ipb.html?act=mmod
Disallow: /forum/ipb.html?act=Warn
Disallow: /forum/ipb.html?act=warn
Disallow: /forum/ipb.html?act=Task
Disallow: /forum/ipb.html?act=task
Disallow: /forum/ipb.html?act=FindPost
Disallow: /forum/ipb.html?act=findpost
Disallow: /forum/ipb.html?act=PaySubs
Disallow: /forum/ipb.html?act=paysubs
Host: ipbskins.ru<!--c2--></div><!--ec2-->

Вот как у ИБР:
<!--c1--><div class='codetop'>Код</div><div class='codemain'><!--ec1--># robots.txt for http://www.ibresource.ru/
User-Agent: *<!--c2--></div><!--ec2-->

А в самом Яше вот что: ^_^
<!--c1--><div class='codetop'>Код</div><div class='codemain'><!--ec1-->User-Agent: *
Disallow: /<!--c2--></div><!--ec2-->

 

[lena1]

Вот тут подробная и отличная статья про роботс этот - <a href="http://mastertalk.ru/topic6726.html" target="_blank">http://mastertalk.ru/topic6726.html</a>