информация на самом Yahoo!, поддержка всяких «нестандартностей»

Yahoo! расширяет возможности файла robots.txt [обсуждение на SearchEngines]

Добавлена поддержка * и $.
* означает любой набор символов
$ используется как знак конца URL

Пример 1

1) Разрешает индексацию всех каталогов, начинающихся с 'public', например, '/public_html/' или '/public_graphs/'.
2) Запрещает индексацию всех файлов и каталогов, содержащих html-документы и строку '_print' в URL, например, '/card_print.html' или '/store_print/product.html'.
3) Запрещает индексацию URL, содержащих '?sessionid'

Пример 2

Запрещает индексацию всех файлов, URL которых заканчивается на .gif