Разработка алгоритмического инструмента для автоматизированного поиска дубликатов файлов на основе криптографического хеширования

Аннотация

В статье рассматривается процесс разработки программного модуля для выявления и устранения дубликатов файлов в локальных файловых системах. Предложен алгоритм, основанный на вычислении криптографических хеш-сумм (MD5) с применением итеративного поблочного чтения данных, что обеспечивает константную сложность по памяти O(1) независимо от размера обрабатываемых файлов. Реализован графический интерфейс пользователя на базе библиотеки CustomTkinter с использованием событийно-ориентированной архитектуры, исключающей блокировку основного потока при сканировании больших массивов данных. Разработанный инструментарий позволяет визуализировать группы дубликатов, безопасно удалять выбранные копии и экспортировать результаты аудита в формат CSV.