@johan @rf @ru мне кажется, это зависит от конкретного инстанса. у некоторых robots.txt позволяет индексировать, у некоторых нет.