https://haqqin.az/news/325828 Я допускаю версию, что Павел Дуров не только сотрудничал с ФСБ России, но у него есть абсолютный доступ к информационной базе в «Телеграм». То есть речь идет о доступе к чатам почти миллиарда пользователей этой соцсети. И если у каждого из пользователей есть 50 адресатов, то речь идет о 50 миллиардах переписок. И о триллионах сообщений. Представляете?! Таким образом, Дуров – единственный человек в мире, у которого потенциально есть доступ к абсолютно всем перепискам, которые сохраняются на серверах, сказал в беседе с haqqin.az известный политтехнолог и публицист Михаил Шейтельман.
но даже если гипотетически предположить, что имеется некоторый абсолютный доступ. и что можно делать с таким количеством хлама? даже 1 мегабайт текста - это просто дофига. чтобы какие-то сто постов в Федивёрсе прочитать за день - это надо потратить немало времени. а тут триллионы сообщений, на разных языках, в разных кодировках. это астрономическое число. во-первых, это где-то надо ещё хранить. и оно наверняка пожато и лежит в холодных хранилищах. во-вторых, из такого количества сообщений просто грепом ничего не выловишь. даже относительно небольшие базы ОПСОСов на мощных хранилищах данных обрабатываются крайне медленно. а там куда меньше транзакций. но, например, детальная выписка транзакций для юзера за год (если юзер сделал запрос) может занять дня два. это "маленькие" базы в несколько сотен терабайт. и данные там довольно однородные. если же данные неоднородные и их гораздо больше, то работа с ними - это очень нетривиальный пиздец, требующий уже специфического очень оптимизированного софта даже для простых выборок. никакой nosql там уже не спасёт. и порядки временных и вычислительных затрат могут увеличиться многократно. тут на сраной козе уже не подъедешь и select просто так не сделаешь.
но даже если гипотетически предположить, что имеется некоторый абсолютный доступ. и что можно делать с таким количеством хлама? даже 1 мегабайт текста - это просто дофига. чтобы какие-то сто постов в Федивёрсе прочитать за день - это надо потратить немало времени. а тут триллионы сообщений, на разных языках, в разных кодировках. это астрономическое число. во-первых, это где-то надо ещё хранить. и оно...