А можно как то очистить файл от дубликатов, но при этом не меняя порядок строк?
Йа нагуглила
awk '!x[$0]++'
Пишет в хешмапу, и выводит строку если её там не было
@mo В awk может быть целочисленное переполнение?
Йа нагуглила
awk '!x[$0]++'
Пишет в хешмапу, и выводит строку если её там не было