@Razunter Странно, из-за чего весь сыр-бор. Ведь изначально,...

@Razunter Странно, из-за чего весь сыр-бор. Ведь изначально, афайк, robots.txt был нужен не для того, чтобы зопретить, а для того, чтобы указать краулеру, что, дескать, в этом каталоге ничего интересного для него нет. А так-то: ну хочет? Пущай сканирует.

Like 11 December at 9:57 | Wall-to-wall | Open on cr8r.gg

2 comments

Razunter

@johan 1) Сейчас массовая паранойя про сканирование данных и то, что тебе за это вдруг не платят (я глазами на буквы смотрю и тоже за это не плачу, шок)
2) Эти боты набегают столь активно, что легко кладут сайт.

11 December at 10:04 | Open on mastodon.social

𝙹𝚘𝚑𝚊𝚗

@Razunter Ну вот по второй причине, афайк, его и придумали. Ведь не в надежде же на добропорядочность ботов, в самом деле ;-)

11 December at 10:06 | Open on cr8r.gg