@th3rdsergeevich игнор robots.txt это занятно (уже случалось ранее, вроде как исправлялись, видимо - передумали), в остальном же нууууу они уже третий год как яростно парсят весь интернет, почему никто за этим не следит, но все по одному вопят как только очередь до них доходит, как будто заговор какой-то вскрыли.