Чат, есть куча книг на диске в разных форматах от .txt и .pdf до архивированных html и нормальных fb2, epub и тд

Чем можно всё это отсортировать и разобрать? Гарантированно там много повторов, хочу привести в порядок