@iggisv9t@ashed данные сами собираете ? Было бы интересно почитать как вы телегу парсите и куда складываете. Уверен на хорошую техническую статьи или даже доклада наберётся.
Там есть класс `TelegramChannelScraper()`, его надо инициировать с именем канала (которое в ссылке на канал) и дальше можно итерироваться по постам. Вот оттуда выдёргиваю все ссылки и проверяю подходят они или нет для того, чтобы идти их скрапить. Очень наколеночный код. Всё складываю в csv а не в базы, никаких очередей нет, просто пачками поднимаю csv на каждом новом шаге и смотрю кого ещё не скрапил. Получается BFS по графу упоминаний.
Там есть класс `TelegramChannelScraper()`, его надо инициировать с именем канала (которое в ссылке на канал) и дальше можно итерироваться по постам. Вот оттуда выдёргиваю все ссылки и проверяю подходят они или нет для того, чтобы идти их скрапить. Очень наколеночный код. Всё складываю в csv а не в базы, никаких очередей нет, просто пачками поднимаю csv на каждом новом шаге и смотрю кого ещё не скрапил. Получается...
@kurator88 @ashed сделал кровлер на основе вот этого https://github.com/bellingcat/snscrape
Там есть класс `TelegramChannelScraper()`, его надо инициировать с именем канала (которое в ссылке на канал) и дальше можно итерироваться по постам. Вот оттуда выдёргиваю все ссылки и проверяю подходят они или нет для того, чтобы идти их скрапить. Очень наколеночный код. Всё складываю в csv а не в базы, никаких очередей нет, просто пачками поднимаю csv на каждом новом шаге и смотрю кого ещё не скрапил. Получается BFS по графу упоминаний.
@kurator88 @ashed сделал кровлер на основе вот этого https://github.com/bellingcat/snscrape
Там есть класс `TelegramChannelScraper()`, его надо инициировать с именем канала (которое в ссылке на канал) и дальше можно итерироваться по постам. Вот оттуда выдёргиваю все ссылки и проверяю подходят они или нет для того, чтобы идти их скрапить. Очень наколеночный код. Всё складываю в csv а не в базы, никаких очередей нет, просто пачками поднимаю csv на каждом новом шаге и смотрю кого ещё не скрапил. Получается...