а ты что, до сих пор верил в то, что если ты написал "не входить", то они не будут лезть?
банить все скраперы, жёстко по юзерагентам, айпишникам и прочему, что можно выявить. я у себя просто скрипт написала, кооторый шарашит по логам и если там какой-то неизвестный слишком интересуется моим сервером, он присоединяется к длинному списку банов. по итогам, я иногда ещё просматриваю списки банов и баню целые подсети, из которых лезут подобные боты.
иногда у ботоферм есть "разведчики": как только такой айпишник зашёл на сервер - так полезли и все прочие. иногда удаётся выявлять целые кластеры такой фигни.