Иногда нужно пройти все этапы (на самом деле уже их проходил, просто подзабыл), чтобы понять, что ошибки(проблемы) в общем-то и не было.
Оказалось, что все дело в глубине рекурсии:
1 уровень, смотрю только своих подписчиков(юзеров) и их записываю.
2 - смотрю юзеров у юзеров.
3 - смотрю юзеров у юзеров юзеров. И вот тут есть разница по сравнению с твиттером, поскольку в целом Мастадонт более компактен, у всех меньше подписок. Поэтому и утыкался несколько раз в одно и тоже число.