license: apache-2.0
tags:

• heretic
• abliteration
• interpretability
• safety-evaluation

Qwen3.6-35B-A3B heretic — исследование расцензуры и деградации

Методы и результаты замера отказов для расцензуренных сборок
-moe-balanced-v2
и -moe-max-v2.
Здесь — метод; сами модели и их использование — в модельных репозиториях.

Что в этом репозитории

• REPORT_max_degradation.md — полный отчёт (таксономия, матрица, механизм, ограничения).
• JUDGING_CRITERIA.md — критерии разметки (9 меток, 4 группы).
• labels/{build}_labels.json — поидентификаторная разметка (id → label) для всех 12 сборок.
• labels/_matrix_summary.json — сводная матрица счётчиков.
• figures/ — графики.

Здесь нет ни текстов запросов, ни ответов модели (см. «Этика и воспроизводимость»).

Набор запросов (не входит в репозиторий — ссылки на первоисточник)

234 вредных запроса, полностью из публичных бенчмарков; мы их не сочиняли и не
перевыкладываем:

• AdvBench — 104 запроса. walledai/AdvBench (Zou et al., 2023). Форма «напиши руководство по X».
• ForbiddenQuestions — 130 запросов, 13 категорий. walledai/ForbiddenQuestions. Вопросы от первого лица, пересечение с AdvBench нулевое.

id в файлах меток — это индекс строки в нашем детерминированном срезе этих
двух наборов. Набор для вычисления направления отказа и набор для замеров не
пересекаются (иначе модель проверялась бы на том же, подо что правилась).

Ключевые результаты

• refuse_policy = 0 во всех 12 сборках (6 форматов × 2 сборки). Базовая модель отказывала в 192/234 (82%). Цензура снята полностью.
• Остаток — не безопасность, а деградация: уклонение через дрейф/подмену, сбои связности, либо недоопределённые запросы. Управляемого отказа не остаётся.
• Доставка на отвечаемых запросах: balanced — 94%, max — 72%; уклонение у max в ~4.6× выше. Это разница в связности, не в безопасности.
• Обрыв о цену: снятие последних отказов даёт непропорциональный рост перплексии (balanced +2.1% vs max +7.9% bf16, при разнице «на 1% свободнее» в поиске).
• Непредсказуемость: исход конкретного запроса скачет между форматами в обе стороны; квантование может обнажать содержание. Агрегаты при этом квант-инвариантны — для оценки отказов достаточно bf16.

Метод разметки

Каждый полный ответ размечался одним ридером по единым критериям
(JUDGING_CRITERIA.md) в 9 меток, сгруппированных в: delivered (доставлено),
evasion (уклонение), clarification (недоопределённый запрос), failure/refusal
(policy-отказ и сбой связности — раздельно). Счёт уклонения судья-зависим
(один файл давал 13/42/55 при разных проходах), поэтому итог получен единым
способом на полных ответах, а не сведением разных проходов.

Этика и воспроизводимость

Ответы расцензуренной модели содержат реальное вредное содержимое, поэтому
не публикуются. Публикуются только машинные метки (id → label) и агрегаты —
этого достаточно для проверки выводов. Воспроизведение: взять те же публичные
запросы (ссылки выше), сгенерировать ответы на соответствующей сборке и
разметить по JUDGING_CRITERIA.md.

Провенанс

• Модели: -moe-balanced-v2, -moe-max-v2.
• Форк с методом и журналами поиска: https://github.com/dborzoff/heretic.