Email or username:

Password:

Forgot your password?
Stas

1)И так, друзья, представляю вашему вниманию Галактику Mastodon - это пользовательский граф, где каждый узел это юзер того или иного инстанса, а ребро это кто-то на кого-то подписан (как подсказывают это граф ActivityPub).
На графе всего 2265 узлов и 7664 ребра.
Проанализировано всего 7206 узла и 12605 ребер (отбросил тех у кого меньше 2х подписок)
Гитхаб этого маленького проекта живет вот тут:
github.com/ruvsv/mastodon-grap
Журнал исследования можно посмотреть в этом треде:
masto.ai/@vsv/1107034985329410

41 comments
Stas

2)На гитхабе есть сам скрипт для сбора данных (нужно получить api на своем инстансе). Ридмишки пока нету, позже добавлю.
Так же сами данные, которые собрал и с помощью которых в gephi отрисовал картику, поэтому можете скачать и сами поиграться и построить что-то свое: github.com/ruvsv/mastodon-grap
Кто не хочет и этим заниматься, для них есть картинки, pdf и svg: github.com/ruvsv/mastodon-grap
*svg как минимум любым браузером открывается.
Но аккуратнее, если мало памяти, файлы обьемные
*label -это с надписями

2)На гитхабе есть сам скрипт для сбора данных (нужно получить api на своем инстансе). Ридмишки пока нету, позже добавлю.
Так же сами данные, которые собрал и с помощью которых в gephi отрисовал картику, поэтому можете скачать и сами поиграться и построить что-то свое: github.com/ruvsv/mastodon-grap
Кто не хочет и этим заниматься, для них есть картинки, pdf и svg: github.com/ruvsv/mastodon-grap
*svg как минимум любым браузером открывается.

Stas

3)там еще есть base_10024.png с ним тоже осторожнее, это 10к пикселей вверх и вниз.
Для масштаба 2 скриншота. Если взглянете на картинку, то зеленая область - это наш русскоязычный кластер пользователей, до которых я добрался. вот зум этой области:

Stas

4) Теперь я "навожусь" на себя. Как видите, там еще можно увеличить и глянуть, кто там мелкий и какой у него ник.
Т.е. величина точки (и ника) зависит от того сколько у юзера связей. На гитхабе есть версия файлов как с никами так и без.
В общем, граф объемный, хоть кажется, что количество юзеров и не очень большое, но тем не менее какую-то реальность этот граф отражает.

Stas

5)Конечно, возможно, нужно увеличить глубину рекурсии до 5, но наверное сделаю это уже на сервере, поскольку возможно будет собираться несколько дней.
Рекурсия с глубиной
2 - собралось в районе 1000 связей(точнее строк, социальных связей меньше).
3 - около 30000
4 - чуть больше 300К и заняло 16 часов.
не знаю, что будет на 5 уровне, но связей будет больше на порядок и явно процесс займет несколько суток.
Поэтому не нужно думать, что этот граф отражает весь федиверс.

Stas

6)Добавил в гит проект с gephi
github.com/ruvsv/mastodon-grap
Что нужно? Скачать gephi.org/
Открыть проект и в правовой части передвинуть ползунок (стрелкой вверх) на двойку(2). Это отсечет тех, у кого связи равны единице.
После этого у вас будет тот же граф как и у меня.
У gephi очень много возможностей по работе с графами, там внутри много что есть и вы можете сами попробовать поэкспериментировать

Stas

@Loukas You are welcome :ablobcatheartsqueeze:
I hope you can to translate what I wrote.

Loukas Christodoulou

@vsv yes, I recently started using an app with translation and I've enjoyed reading Russian Mastodon a lot. That is the green clump to one side?

Stas

@Loukas Green clump (I prefer the term cluster) - yes, it's a Russian-speaking community. You can see how closely it is connected with other users. This is primarily due to the language barrier, because of which users prefer to communicate among themselves.

Loukas Christodoulou

@vsv you get similar things happening in guilds in online combat games as well, people stick together because no one else wants to chat in your language:) thank you for replying even though I speak in a different tongue!

Stas replied to Loukas

@Loukas Yes, it's a good comparison.
This is the second time I've done a study like this (the first time was a few years ago on Twitter). But unfortunately I have seen few similar studies in all this time, so I decided to repeat it again for Mastodon.

Loukas Christodoulou replied to Stas

@vsv what are the two streams upwards of the main yellow cluster? Are those also language groups?

Stas replied to Loukas

@Loukas I don't know exactly. But at first view they seem to be thematic groups, not language groups.
You can explore it yourself, I've posted all the data I've dig.

Stas

7) Почему некоторые созвездия по краям, в стороне от остальных кластеров, а другие близко друг к другу?
Алгоритм, по которому происходит кластеризация - ForceAtlas2 - действует следующим образом:
Алгоритм эмулирует действие гравитации. Если, у кого много исходящих связей (те кто подисываются), но мало входящих (мало кто на них подписан), выполняется условие: силы отталкивания вырастают, а силы притяжения ослабевают и их выкидывает из основного графа.

Stefan

@vsv я уверен, что всё так, просто я в этом ничего не понимаю и мне сложно оценить. Примерно понял, что речь идёт о количестве связей и их плотности, но какие из этого можно сделать выводы не знаю🤷

Stas

@StefanVV ну в 2х словах:
есть теория графов, мы её применили на практике и с её помощью выделили русскоязычное комьюнити, видно, что оно достаточно плотное и замкнуто на себя.
В то время, как остальная часть достаточно разряжена и есть свои плотности (возможно по интересам – тут нужно проверять)

Stefan

@vsv а на практике можно дифференцировать интересы юзеров по предпочтениям, какие темы где важнее, на сколько политизированны, как настроены, или на сколько сильно любят котиков и т.п.?

Stas

@StefanVV нужно проверять, вполне возможно, что те кластеры по цветам, на что-то внутри разделены.
Так-то вполне логично, что люди выбирают себе круг общения, который им наиболее комфортен (подобное к подобному), поэтому возможно этим методом мы что-то моем увидеть.
Но, не факт, что этот способ точен, скорей всего есть более простые способы это определить.
В общем – эту гипотезу нужно проверять.

флф_вгву :verified_flashing:

@vsv@masto.ai можно какой-то краткий анализ получившейся картинки? интересно, какие крупные хосты входят в какие кластеры; почему пучок справа с несколькими цветами, а слева чисто зелёный; маленькие микро-вселенные сверху-справа и снизу-справа от зелёного; ну и конечно - где здесь адепты федиблока?)

AlexLight

@vsv Очень интересный проект! У меня тоже были мысли о такой штуке.

Вот как было бы интересно поизучать этот граф в 3D пространстве, увидеть свои социальные связи, поискать новых людей близких ко мне в графе!

Я так понимаю в проекте нет такой возможности, просто картинка?

Stas

@AlexLight выложу попозже сам проект в gephi, что бы меньше парится с настройками, но в 3д там не получится. По поводу мыслей я еще дополню в основном треде.
Тут поле для анализа в общем-то не паханное)

AlexLight

@vsv И ещё вопрос... Вы сказали, что зелёный граф это русскоязычное сообщество.

А вы специально его отодвинули от остальных, чтобы смотреть связи или оно на самом деле так отделено от остального сообщества?

Stas

@AlexLight нет, в этом и суть графов. Укладка производилась с помощью алгоритма ForceAtlas 2. Он на основе ребер эмулирует силы притяжения и отталкивания. В общем-то это и позволяет объединять пользователей в кластеры на основе их связей. Окрашивание уже велось другим алгоритмом - кластеризация графа методом Лувена. В дневнике я приводил ссылку на архив с этой работой. Цвета в целом случайно выбираются, но для маленьких кластеров немного вручную добавил.

AlexLight

@vsv А китайско-говорящие люди учитывались? Я всё ещё под впечатлением, что мы настолько отделены) Неужели мы такие единственные...

Stas

@AlexLight я не знаю кто точно учитывался. Только до тех, до кого смог дотянуться от себя до друзей друзей, друзей (уровень глубины рекурсии 4). Возможно, что бы дотянуться до китайцев, нужно копать глубже

AlexLight

@vsv Ну в Тайване тоже говорят на китайском, в теории, они должны связывать Китай с западным миром и копать долго не придётся.

AlexLight

@vsv С другой стороны, китайский интернет это достаточно закрытая система. Возможно в неё просто очень мало входов (пользователей, которые обходят цензуру)

Stas

@AlexLight не, я про то, что нужно, что бы у кого-то были общие друзья друзей. подозреваю, что уровня 4 мало для этого. Возможно на 4 уровне кто-то и попался из китайскоязычных, но дальше я уже (вернее скрипт) не заходил.

AlexLight

@vsv Да я вас понял. Я имею ввиду то, что из-за особенностей китайского интернета Китайских пользователей будет сложно найти среднему пользователю, если не искать по языку целенаправленно.

Именно поэтому может потребоваться больше итераций на поиск в графе.

Кто знает, может у них там в Китае есть свой серверочек локальный в мастодоне, и мало кто с ними контактирует. Хотя может я слишком оптимистично думаю, и китайцев вообще нет в мастодоне))

localhost TCP/UDP
@vsv образует нейроны :blobfoxaww:
Mastodon brain /полушут
27329ed9-2211-a1ba-9371-e2641bf0dcb6
@vsv похоже на член. Предыдущий результат с твиттером с треда по ссылке впрочем тоже.
тёплый ветер тихо воет 🌬️

@vsv вот из-за таких как ты и придумали галочку "скрыть свои связи"

Stas

@oreolek я действовал в легитимном поле, собирая только ту информацию, которая доступна.
Но думаю эту галочку придумали не из-за таких как я, а что бы не "палиться" среди знакомых. Ну и для тех, у кого повышенный уровень паранои.

metallcorn 🐧

@vsv но нужна появнительная бригада чтобы мне недалёкому растолковать что я тут виже

Stas

@metallcorn ну в тренде немного рассказываю что и как + в прошлом тоже какие-то пояснения есть.
Может есть какие-то конкретные вопросы или вообще ничего не ясно? :blobcatdefecit:

Бесёнок

@vsv Воистину завораживающее зрелище...

Go Up