AI Halüsinasyon Sorunu ve 361'in Çok Katmanlı Güvenlik Yaklaşımı

Bir finans müdürü AI asistanına soruyor: "Müşteri XYZ'nin kredi riski nedir?" AI güvenilir görünen ama tamamen yanlış bilgi veriyor. Bu senaryonun adı AI halüsinasyonu ve kurumsal ortamda en büyük güvenlik risklerinden biridir.

AI Halüsinasyonu Nedir?

AI halüsinasyonu, bir yapay zeka modelinin gerçek verilere dayanmadan, son derece güvenilir görünen ama tamamen yanlış bilgi üretmesidir. Araştırmalar, genel amaçlı dil modellerinin kayda değer oranda halüsinasyon üretebildiğini gösteriyor.

Çok Katmanlı Güvenlik Mimarisi: 4 Detektör + GuardrailPipeline + Denetim İzi

361'in guardrail mimarisi dört bağımsız detektörden oluşur; hepsi GuardrailPipeline üzerinde zincirlenir ve her karar denetim izine yazılır.

Detektör 1: PII Maskeleme

AI modeline gönderilen verilerdeki hassas bilgiler otomatik maskelenir. TC Kimlik, IBAN, kredi kartı, telefon ve e-posta — hepsi checksum doğrulamasıyla tespit edilir.

Kullanıcı: "Ahmet Yılmaz'ın (TC: 12345678902) faturasını kontrol et"
AI'a giden: "[PERSON_1]'ın (TC: [TC_KIMLIK_1]) faturasını kontrol et"
Kullanıcıya: "Ahmet Yılmaz'ın 12345678902 numaralı kaydına göre faturası ödenmiştir."

Detektör 2: Halüsinasyon Kontrolü — Truth Engine

361 AI Platform Hibrit RAG sistemi kullanır: BM25 (anahtar kelime) + Vektör (anlamsal arama) + RRF (birleştirme). BM25 birebir terim eşleşmesini, vektör araması anlamsal yakınlığı yakalar; RRF ikisinin sonucunu tek sıralamada birleştirir — böylece tek başına vektör aramasının kaçırdığı Türkçe terimler de bağlama girer.

Detektör 3: Prompt Injection Koruması

Kötü niyetli prompt'lar tespit edilip engellenir: input analizi, rol sınırlaması, bağlam izolasyonu ve çıktı filtreleme.

Detektör 4: Maliyet Sınırlama

Kullanıcı bazlı kotalar, agent bazlı limitler, gerçek zamanlı maliyet takibi, otomatik uyarılar ve acil durdurma mekanizması.

GuardrailPipeline ve Denetim İzi

Dört detektör tek tek değil, GuardrailPipeline üzerinde birlikte çalışır: her istek ve yanıt sırayla detektörlerden geçer, ihlaller engellenir veya maskelenir ve tüm kararlar denetim izine (audit trail) kaydedilir. Böylece her AI etkileşimi sonradan denetlenebilir.

KVKK ve GDPR Uyumluluğu

Training Loop: Zamanla İyileşen Güvenlik

361 AI Platform'un güvenlik sistemi statik değildir. QualityMonitor her yanıtı izler, PromptOptimizer düşük performans gösteren prompt'ları iyileştirir, GoldenDataset doğrulanmış soru-yanıt çiftlerinden öğrenir.