Gregory's ServerТак, скрипт, что бы построить граф юзеров мастодонта почти дописал, осталось немного его обкатать и вспомнить как это красиво обработать в gephi.
Ну и попробовать собрать информацию о тысяч 200-300 пользователей. Или замахнуться на миллион?
 24 comments
Вообще, можно было и асинхронность внедрить, но есть 2 сложности: Почему-то 2 раз подряд остановилось ровно на 30778 строке. Писал в файл. Возможно из-за глубокой рекурсии какие-то системные проблемы с памятью. Сильно разбираться в этом не хочу. Иногда нужно пройти все этапы (на самом деле уже их проходил, просто подзабыл), чтобы понять, что ошибки(проблемы) в общем-то и не было. Ну и оказалось, что апишечка вообще все хитро регулирует и ограничивает самими инстансами "из коробки". Получать информацию в много потоков - это нужно прям сильно постараться. Владельцы слабых инстансов могут спать спокойно. Все очень грамотно by design. вообще пока еще ничего не понятно, но жутко интересно. Собрал 84 тысячи (связи) на данный момент (сильно переоценил скорость сбора, увы)  @PaulNakatim  @Xeniax ну который на картинке – он глубиной 2, и им я особо ничего не проверю.  @Xeniax хм... Это отдельная задача. Нужно подумать как её можно отмониторить малыми силами. В принципе, у каждого пользователя которого я записываю в нике есть инстанс. Если gephi умеет с помощью какой-то регулярки окрашивать точку в зависимости от инстанса, то если сделать 2 равнозначных слепка юзеров через необходимый интервал, то по распределение цвета можно увидеть динамику. @Xeniax но, тем не менее, в абсолютных цифрах это можно как-то подсчитать. |
Миллион наверное не получится. В секунду обрабатываю от 4 до 60 юзеров (видимо скорость от инстанса зависит, есть медленные). Вычисление средней скорость изначально не закладывал в логику, но путь будет 50. Т.е. за час я обработаю тыс 180 пользователей.
Но в принципе красивая кластеризация начинается от 100 тыс. Поэтому попробую тестово в этом районе собрать (может какие-то ошибки вылезут, а там, если первый сбор будет ок, то может для основного сбора несколько часов подожду.