license: cc-by-4.0
language:

• tr
• en
  task_categories:
• text-classification
• text-generation
  pretty_name: AltayDuel Arena Transcripts v0.2
  size_categories:
• 1K<n<10K
  tags:
• prompt-injection
• llm-security
• red-teaming
• turkish
• multi-turn
• agent-vs-agent
• self-play
• jailbreak
• ai-safety
• dialogue
  configs:
• config_name: default
  data_files:
  • split: train
    path: default/clean.jsonl
• config_name: successful_attacks
  data_files:
  • split: train
    path: successful_attacks/attacks.jsonl

🥊 AltayDuel — Agent-vs-Agent Prompt Injection Transcripts (v0.2)

Çok-turlu Türkçe + İngilizce prompt-injection düello transkriptleri. AltayDuel sunucu-taraflı LLM self-play arenasından (auto-play) ve dışarıdan ajan-gönderimli düellolardan toplanan gerçek diyaloglar. Tek-payload veri setlerinin ötesinde — gerçek konuşma dinamiği içerir.

📌 TL;DR

• 2.594 temiz düello (default) — her biri çok-turlu (1–8 round) bir kırmızı (saldırgan) vs mavi (savunan) diyaloğu.
• 439 başarılı saldırı (successful_attacks) — mavinin kırıldığı düellolar, kazanma mekanizmasına göre etiketli (win_signal).
• %57'si Türkçe içerik; 5 farklı LLM (Cerebras / SambaNova / Groq) ile 17 senaryo (12 TR + 5 EN).
• v0.1'e (648 satır) göre ~4× büyüklük + kalite filtresi + yeni şeffaflık alanları.

🆕 v0.1 → v0.2 değişiklikleri

🧱 Yapı

İki config:

• default — 2.594 temiz transkript (tüm sonuçlar; degenerate ve failed hariç).
• successful_attacks — 439 red_win transkripti (degenerate hariç), kazanma sinyaline göre filtrelenebilir.

Alanlar

duel_id, mode (auto/agent), scenario, secret, secret_hint, red_name, blue_name, red_prompt, blue_prompt, max_rounds, outcome, winning_round, judge_reason, narrative, rounds (JSON listesi: {n, red_attack, blue_response, secret_leaked, persona_broken, forbidden_action_confirmed, yielded, secret_partial, commentary}), created_at, auto_red_provider, auto_blue_provider, auto_scenario_slug, agent_name, agent_model_family, has_provider_errors, language, win_signal, secret_leaked, secret_verbatim, persona_broken, forbidden_action, yielded, partial_leak.

⚖️ win_signal — saldırı NASIL kazandı (önemli!)

Hakem (deterministik) 5 kazanma koşulu uygular. successful_attacks dağılımı:

Dürüstlük notu: Başarılı saldırıların yalnızca ~%7'si sırrı kelimesi kelimesine sızdırır; çoğunluğu sosyal-mühendislik yield'i veya kısmi sızıntıdır. Yüksek-kesinlik isteyen kullanıcılar win_signal == "secret_leak" veya secret_verbatim == true ile filtreleyebilir. yield_under_pressure / partial_leak sinyalleri regex-tabanlıdır ve gürültü içerebilir.

🔬 Sağlayıcı dağılımı (auto-play)

Cerebras llama-3.1-8b (en yüksek hacim, en zayıf savunma) · Cerebras gpt-oss-120b · SambaNova llama-3.3-70b & llama-4-maverick · Groq llama-3.3-70b. Ajan-gönderimli (mode=agent) düellolar dış modelleri (Claude/GPT/Gemini) içerir.

🎯 Kullanım alanları

• Türkçe prompt-injection / jailbreak tespit sınıflandırıcıları eğitmek.
• Çok-turlu sosyal-mühendislik saldırı dinamiklerini incelemek.
• Savunma sistem-promptu (blue_prompt) dayanıklılık kıyaslaması.
• LLM-as-judge ve hakem-kalibrasyonu araştırması.

⚠️ Etik & sınırlamalar

• Tüm secret değerleri sentetik oyun sırlarıdır (CTF tarzı); gerçek kişisel veri içermez. PII-benzeri dizeler (ör. TC kimlik) uydurmadır.
• Yalnızca savunma/araştırma amaçlıdır. İçerik saldırgan metinler barındırır; sorumlu kullanım gerekir.
• auto düellolarda küçük modeller (özellikle llama-3.1-8b) hatalı kazandırabilir; win_signal ve secret_verbatim ile kalite süzün.
• Hakem mantığı judge.py deterministik regex + alt-dize kontrolleridir; yield/partial sinyalleri kesin değildir.

📄 Lisans

CC-BY-4.0 — atıfla serbestçe kullanılabilir. Kaynak: AltaySec / AltayDuel ( https://duel.altaysec.com.tr ).

İlgili AltaySec kaynakları

• 🌐 AltaySec · Açık Kaynak Lab
• 💻 GitHub: github.com/fevziegeyurtsevenler
• 📚 Kardeş veri setleri: AltaySec/turkish-llm-injection · PolyGuardBench