Cloudflare представила Robotcop для соблюдения политик...

Cloudflare представила Robotcop для соблюдения политик robots.txt и блокировки ботов
https://habr.com/ru/news/865584/?utm_source=habrahabr&utm_medium=rss&utm_campaign=865584

Like 11 December at 9:49 | Open on mastodon.social

3 comments

𝙹𝚘𝚑𝚊𝚗

@Razunter Странно, из-за чего весь сыр-бор. Ведь изначально, афайк, robots.txt был нужен не для того, чтобы зопретить, а для того, чтобы указать краулеру, что, дескать, в этом каталоге ничего интересного для него нет. А так-то: ну хочет? Пущай сканирует.

11 December at 9:57 | Open on cr8r.gg

Razunter

@johan 1) Сейчас массовая паранойя про сканирование данных и то, что тебе за это вдруг не платят (я глазами на буквы смотрю и тоже за это не плачу, шок)
2) Эти боты набегают столь активно, что легко кладут сайт.

11 December at 10:04 | Open on mastodon.social

𝙹𝚘𝚑𝚊𝚗

@Razunter Ну вот по второй причине, афайк, его и придумали. Ведь не в надежде же на добропорядочность ботов, в самом деле ;-)

11 December at 10:06 | Open on cr8r.gg