Основной кусок -- это русскоязычный телеграм. Голубенький...

All posts Sv9t's posts Post Back to profile

Основной кусок -- это русскоязычный телеграм. Голубенький как ни странно -- это екатеринбуржские каналы, далеко вытянутый зелёный справа -- это англоязычный кластер. Розово-фиолетовый снизу -- вроде как всякие активисты, чёрный -- это официальный российские сми, похоже. Размер кругляшей пропорционален пейджранку, то есть вероятности наткнуться на этот канал если гулять по ссылкам.

Like 30 Jun 2022 at 23:00 | Open on mastodon.ml

9 comments

Who Let The Dogs Out 🐾

@iggisv9t Вероятно хорошая визуализация. Но где данные для воспроизведения результата?
Ссылки на более подробное изложение имеются?

1 Jul 2022 at 8:51 | Open on mastodon.ml

Sv9t

@ashed когда перестану ловить баги и хотя бы текущий шаг по графу закончу, опубликую и код и визуализацию в интерактивном виде. Сами данные не знаю. наверное только лично буду выдавать.

1 Jul 2022 at 8:53 | Open on mastodon.ml

Who Let The Dogs Out 🐾

@iggisv9t Отлично. Я запомнил этот пост.

1 Jul 2022 at 9:05 | Open on mastodon.ml

Sv9t

@ashed Текущий шаг из списка в 48К. Правда у меня туда попадают не только каналы, но и чаты и юзернеймы. Каналы отсеиваю уже на попытке распарсить.

1 Jul 2022 at 11:28 | Open on mastodon.ml

kurator88

@iggisv9t @ashed данные сами собираете ? Было бы интересно почитать как вы телегу парсите и куда складываете. Уверен на хорошую техническую статьи или даже доклада наберётся.

1 Jul 2022 at 12:25 | Open on mastodon.social

Sv9t

@kurator88 @ashed сделал кровлер на основе вот этого https://github.com/bellingcat/snscrape

Там есть класс `TelegramChannelScraper()`, его надо инициировать с именем канала (которое в ссылке на канал) и дальше можно итерироваться по постам. Вот оттуда выдёргиваю все ссылки и проверяю подходят они или нет для того, чтобы идти их скрапить. Очень наколеночный код. Всё складываю в csv а не в базы, никаких очередей нет, просто пачками поднимаю csv на каждом новом шаге и смотрю кого ещё не скрапил. Получается BFS по графу упоминаний.

@kurator88 @ashed сделал кровлер на основе вот этого https://github.com/bellingcat/snscrape

Expand text...

1 Jul 2022 at 12:29 | Open on mastodon.ml

koshchey

@iggisv9t
Что означает дистанция между точками?

1 Jul 2022 at 11:46 | Open on mastodon.ml

Sv9t

@koshchey чем больше связей между узлами, тем больше между ними упоминаний (репосты или ссылки) и тем ближе они друг к другу. Не всегда строго соблюдается, но это потому что укладка на плоскость, и соотношения сохраняются лишь примерно.

1 Jul 2022 at 11:54 | Open on mastodon.ml

Sv9t

@koshchey Можно погуглить force-directed graph layout и почитать, если интересны подробности. В двух словах, узлы моделируются как отталкивающие друг друга заряженные частицы, а рёбра как упругие нити, и ещё есть притяжение к центру. Вот такая система симулируется и получаются позиции вершин.

1 Jul 2022 at 11:56 | Open on mastodon.ml