Теперь на моём инстансе нормально работает сжатие ресурсов в brotli формате.
До этого mastodon, вместо nginx, пытался самостоятельно сжимать передаваемые ресурсы. Так как у mastodon нет поддержки формата brotli, то все ресурсы сжимались в gzip формате. Недавно в dev ветке убрали поддержку сжатия, теперь этим занимается сам процесс nginx.