Почему-то 2 раз подряд остановилось ровно на 30778 строке. Писал в файл. Возможно из-за глубокой рекурсии какие-то системные проблемы с памятью. Сильно разбираться в этом не хочу.
Пока перевёл на sqlite и добавил логи.
Надеюсь это не какое-то ограничение API, а моя локальная проблема.
Иногда нужно пройти все этапы (на самом деле уже их проходил, просто подзабыл), чтобы понять, что ошибки(проблемы) в общем-то и не было.
Оказалось, что все дело в глубине рекурсии:
1 уровень, смотрю только своих подписчиков(юзеров) и их записываю.
2 - смотрю юзеров у юзеров.
3 - смотрю юзеров у юзеров юзеров. И вот тут есть разница по сравнению с твиттером, поскольку в целом Мастадонт более компактен, у всех меньше подписок. Поэтому и утыкался несколько раз в одно и тоже число.