@Razunter Странно, из-за чего весь сыр-бор. Ведь изначально, афайк, robots.txt был нужен не для того, чтобы зопретить, а для того, чтобы указать краулеру, что, дескать, в этом каталоге ничего интересного для него нет. А так-то: ну хочет? Пущай сканирует.