Email or username:

Password:

Forgot your password?
Top-level
kurator88

@iggisv9t @ashed данные сами собираете ? Было бы интересно почитать как вы телегу парсите и куда складываете. Уверен на хорошую техническую статьи или даже доклада наберётся.

1 comment
Sv9t

@kurator88 @ashed сделал кровлер на основе вот этого github.com/bellingcat/snscrape

Там есть класс `TelegramChannelScraper()`, его надо инициировать с именем канала (которое в ссылке на канал) и дальше можно итерироваться по постам. Вот оттуда выдёргиваю все ссылки и проверяю подходят они или нет для того, чтобы идти их скрапить. Очень наколеночный код. Всё складываю в csv а не в базы, никаких очередей нет, просто пачками поднимаю csv на каждом новом шаге и смотрю кого ещё не скрапил. Получается BFS по графу упоминаний.

@kurator88 @ashed сделал кровлер на основе вот этого github.com/bellingcat/snscrape

Там есть класс `TelegramChannelScraper()`, его надо инициировать с именем канала (которое в ссылке на канал) и дальше можно итерироваться по постам. Вот оттуда выдёргиваю все ссылки и проверяю подходят они или нет для того, чтобы идти их скрапить. Очень наколеночный код. Всё складываю в csv а не в базы, никаких очередей нет, просто пачками поднимаю csv на каждом новом шаге и смотрю кого ещё не скрапил. Получается...

Go Up