#PostgreSQL #pg
Какая же пересборка индексов при импорте данных долгая. Таблицы на 113м, 145м и 333 миллионов записей. На них по несколько индексов и foreign key друг на друга.
Импорт блоков данных. Логический блок весит: 199к, 414.5к и 505 тысяч строк соответственно для каждой таблицы.
С повешенными индексами длительность импорта блока 1169.184 секунд
Без оных: 26.21 секунд
В 44.6 раза быстрее
К сожалению, как я вижу, в PG в отличии от MySQL нельзя сделать disable keys, поэтому я сделал дроп всех индексов, потом всех их в том же состоянии (названия и так далее) повешу обратно.
Если ничего не поменяется, то импорт займёт 3.5 часа вместо 7 дней. Да, мне нужно импортнуть 260 GB сырого csv.
Какая же пересборка индексов при импорте данных долгая. Таблицы на 113м, 145м и 333 миллионов записей. На них по несколько индексов и foreign key друг на друга.
Импорт блоков данных. Логический блок весит: 199к, 414.5к и 505 тысяч строк соответственно для каждой таблицы.
С повешенными индексами длительность импорта блока 1169.184 секунд
Без оных: 26.21 секунд
В 44.6 раза быстрее
К сожалению, как я вижу, в PG в отличии от MySQL нельзя сделать disable keys, поэтому я сделал дроп всех индексов, потом всех их в том же состоянии (названия и так далее) повешу обратно.
Если ничего не поменяется, то импорт займёт 3.5 часа вместо 7 дней. Да, мне нужно импортнуть 260 GB сырого csv.