|
Пример 1: # robots.txt for http://www.site.com
User-Agent: *
Disallow: /cyberworld/map/ # this is an infinite virtual URL space
Disallow: /tmp/ # these will soon disappear |
В примере 1 закрывается от индексации содержимое директорий /cyberworld/map/ и /tmp/. Пример 2: # robots.txt for http://www.site.com
User-Agent: *
Disallow: /cyberworld/map/ # this is an infinite virtual URL space
# Cybermapper knows where to go
User-Agent: cybermapper
Disallow: |
В примере 2 закрывается от индексации содержимое директории /cyberworld/map/, однако поисковому роботу cybermapper все разрешено. Пример 3: # robots.txt for http://www.site.com
User-Agent: *
Disallow: /
|
В примере 3 любому поисковому роботу запрещается индексировать сервер.
|
robots.txt 
