license: apache-2.0
task_categories: [text-classification]
language: [en]
tags: [security, appsec, vulnerability-detection, ai-native, owasp, cwe, llm-security, prompt-injection]
size_categories: [n<1K]
pretty_name: AI-SaaS AppSec Benchmark (v25)
configs:

• config_name: default
  data_files: heldout_public_v25.jsonl

🛡️ AI-SaaS AppSec Benchmark — v25

Открытый held-out бенчмарк для оценки детекторов уязвимостей в AI-сгенерированном коде
(«vibe-coded» приложения: LLM-агенты, RAG, Supabase/Next-стек). Ведётся командой
red-team.tech — AI-native сканера безопасности приложений.

857 размеченных примеров (518 уязвимых + 339 безопасных), 25 классов:
17 классических (CWE) + 8 AI-native (OWASP LLM Top-10). Актуальный файл — heldout_public_v25.jsonl.

Зачем это

Классический SAST (Semgrep, CodeQL) ищет синтаксические паттерны и слеп к AI-native уязвимостям
— prompt injection, утечки в embeddings, RAG-poisoning, небезопасный вывод LLM. В нашем бенчмарке
Semgrep показал F1 = 0.00 на всех 8 AI-native классах. Фронтир-LLM «из коробки» их видят, но
дороги, требуют egress кода и хеджируют на security-задачах. Нужен специализированный локальный
детектор — и нужен честный открытый бенчмарк, чтобы измерять прогресс.

Наш подход (red-team.tech)

Локальный каскад: детектор Гончая-3B (Qwen2.5-Coder, fine-tuned) + semgrep (recall-гейт) +
2-стадийный судья Gemma-3-12B (триаж → богатый вердикт с PoC) + execution-grounding
(sink-gate: подозрительный код исполняется в docker-песочнице, галлюцинации отсекаются). Работает
100% локально — код клиента не уходит во внешний API. Подробнее: red-team.tech/methodology.

Сравнение с фронтиром

Предыдущая ревизия (755 примеров, 20 классов, единая таксономия и скорер для всех):

Узкий специализированный каскад бьёт универсальные фронтир-модели на своей задаче — при этом
локально. Перегон фронтира на v25 (25 классов) — в подготовке; ниже — метрики нашего каскада на v25.

Метрики нашего каскада на v25

macro-F1 0.483 (classic 0.475 / ai-native 0.498), exact-match 0.623. Held-out 857 примеров, локальный каскад.

Execution-grounding (дикие репозитории)

На реальных GitHub-репозиториях sink-gate (execution-grounded verification) отсекает 62% ложных
command-injection срабатываний (8 репозиториев, 23 из 37 confirmed-находок → refuted как
физически невоспроизводимые). Это лечит главную боль ИИ-сканеров — галлюцинации.

Что нового в v25

• Таксономия 20 → 25 классов: добавлены argument_injection, prototype_pollution, ssti,
  nosql_injection, mass_assignment (частые в JS/Node-стеке).
• Метки пересобраны двухмодельным консенсусом (Claude Fable + Opus): устранён таксономический
  дрейф — SSTI/NoSQL/argument-injection больше не под метками a5_cmdi/a3_sqli.
• Новые классы — из CodeQL test-suite (github/codeql) + реальный скрап GitHub.
• Anti-leak: тест-сет не пересекается с обучающим корпусом (проверено по нормализованному хешу).

Распределение классов (518 позитивов)

Формат

JSONL, одна запись на строку:

{"id": 0, "code": "<фрагмент кода>", "classes": ["<class-id>", ...], "group": "<источник>"}

Пустой classes = безопасный код (негатив). Скорер: multi-label P/R/F1, macro по группам
classic ↔ ai-native + exact-match.

Цитирование

AI-SaaS AppSec Benchmark v25. red-team.tech, 2026. https://huggingface.co/datasets/Qwovadis/red-team-appsec-benchmark

—
Ведётся red-team.tech · AI-native AppSec для кода, написанного с ИИ ·
Методология и лидерборд