Вы как из твиттера пришли, чесслово.

Кроулер придёт за каждым
От индексации нет оберега
Нас всех поглотит вебархив

#AddAllTheirContentBackToSearchEngines