Классические vs нейросетевые методы статического анализа кода: сравнение точности обнаружения уязвимостей на 50 CVE

Аннотация

В статье представлен сравнительный анализ классических (AST, taint-анализ, rule-based) и нейросетевых (трансформеры, графовые нейронные сети) методов статического анализа кода (SAST) на датасете из 50 реальных уязвимостей (CVE). В рамках тестового стенда проведены замеры точности (Precision), полноты (Recall), F1-меры, доли ложных срабатываний (FPR) и времени анализа для каждого подхода. Результаты показывают, что классические методы обеспечивают более высокую точность (92%) и минимальное время анализа (0,4 с), но страдают от низкой полноты (68%) при обнаружении сложных контекстно-зависимых уязвимостей. Нейросетевые модели демонстрируют наивысшую полноту (89%) и F1-меру (84%), успешно выявляя латентные паттерны, однако генерируют больше ложных срабатываний (FPR 11%) и требуют значительных вычислительных ресурсов. Сформулированы рекомендации по гибридной архитектуре SAST-систем нового поколения.