Salman Ayman Youssef · Özgün çalışma belgeleri
Büyük Dil Modeli Kırmızı Takım Testleri — Adversarial İstem Testi
Manuel adversarial istemler, siber güvenlik senaryoları ve bağlama dayalı jailbreak testleriyle serbest büyük dil modeli güvenlik değerlendirmesi. Mayıs 2025’te destekleyici sohbet günlükleriyle birlikte 13 kayıtlı örnek oluşturuldu.
Test yöntemi
Salman, ChatGPT’nin siber güvenlik isteklerine ve ardından gelen yetkilendirme iddialarına nasıl yanıt verdiğini test etti. İnceleyenlerin değerlendirebileceği kanıtlar oluşturmak için istemleri ve yanıtları ekran kayıtları ve yazılı dökümler olarak sakladı.
Kayıtlı örnek
Bu örnek, kullanıcı etkinliklerini kaydeden ve dışarı aktaran bir betik sağlama isteğinin reddedilmesiyle başlar. İstem, yetkili bir kırmızı takım tatbikatı olduğunu iddia ettikten sonra model yanıtını değiştirip işlemsel yönlendirme sundu. Kayıt, gözlenen yanıt değişimini gösterir; üretilen kod bu örnekte çalıştırılarak test edilmemiştir.
Özgün kayıttan bölüm: 00:45–01:12.5. Oynatma hızı değiştirilmemiştir; tarayıcı çerçevesi ve hesap kontrolleri kırpılmıştır. Bölüm; ret yanıtına, ardından verilen bağlama ve yanıtın başlangıcına odaklanır.
Belgelenmiş diğer senaryolar
Sunulan örnekler ayrıca yetkili bir ağ tarama isteği ve kırmızı takım eğitimi olarak çerçevelenmiş bir Shark Jack senaryosu içerir. Bu örnekler birlikte senaryo tasarımını, adversarial istemleri, yanıt analizini ve kanıt kaydını gösterir.