Gregory's ServerМеня задолбали плюющие на robots.txt кравлеры, поэтому я поставила на них ловушку. Четверо попались, жду пока остальные отправятся в бан за ними.
 5 comments
@sunset а сколько времени прошло после бана до того, как они прекратили срать в логи? Правильным решением будет отправить в бан китайские датацентры, потому что их владельцы вообще не следят, как ими пользуются. |
@cybertailor а ко мне на один сайт стучатся китайские боты с Referer'ом на baidu.com, причем на конкретный эндпоинт с периодичностью 2-3 бота в сутки.
проверил в самом Baidu - 0 результатов, не знаю, что им нужно было, но я просто забанил китай в принципе.