Миллион наверное не получится. В секунду обрабатываю от 4 до 60 юзеров (видимо скорость от инстанса зависит, есть медленные). Вычисление средней скорость изначально не закладывал в логику, но путь будет 50. Т.е. за час я обработаю тыс 180 пользователей.
Но в принципе красивая кластеризация начинается от 100 тыс. Поэтому попробую тестово в этом районе собрать (может какие-то ошибки вылезут, а там, если первый сбор будет ок, то может для основного сбора несколько часов подожду.
Вообще, можно было и асинхронность внедрить, но есть 2 сложности:
– На некоторые слабые инстансы создам лишнюю ненужную нагрузку.
– сложность в отладке, что бы не пихать одинаковые данные в одну таблицу. Ну ладно, одинаковые то мы отфильтруем, но лучше их вообще не собирать, конечно.