Интересно, а gemini-краулеры соблюдают robots.txt?
Соблюдают, но его урезанное подмножество Впрочем, этого достаточно
gemini://gemini.circumlunar.space/docs/companion/robots.gmi
Gregory's Server
Соблюдают, но его урезанное подмножество
Впрочем, этого достаточно
gemini://gemini.circumlunar.space/docs/companion/robots.gmi