Sektör
Sigorta ve Bireysel Emeklilik
Sigortacılıkta Canlı Yapay Zeka Modellerinin Sürekli Testi ve Kalite Güvencesi
Aşağıda yer alan müşteri görüşleri ve marka bilgileri, şablon yapısını göstermek amacıyla hazırlanan temsilî içeriklerdir.
Zorluk ve ihtiyaç
Canlı ortamda çalışan poliçe asistanının sunduğu bilgilerin doğruluğunun ve kalitesinin manuel olarak denetlenememesi; yapılan model güncellemelerinin sisteme getirdiği yan etkilerin ölçülememesi.
werea yaklaşımı ve entegrasyon
"Ölçülmeyen sistem canlıya alınamaz" prensibiyle, Ragas ve DeepEval tabanlı otomatik test hattı (CI/CD Evaluation Pipeline) kuruldu. Şirketin Jenkins ve GitHub altyapısına bağlanan sistem; Faithfulness, Answer Relevance ve Latency metriklerini her kod veya prompt güncellemesinde otomatik olarak skorlamaya başladı.
Elde edilen sonuç ve etki
Canlı ortamdaki hatalı yanıt ve halüsinasyon oranı %12'den %0,2'ye düştü.
Gereksiz ve uzun prompt kullanımı engellenerek token harcamalarında %40 tasarruf sağlandı.
Kalite güvence (QA) ve test süreleri 3 haftadan 2 saate indi.
SIRADAKİ
Sizin Ekibinizle Neler Başarabiliriz?
Geliştirdiğimiz çözümlerin kurumunuza nasıl bir ivme kazandıracağını teoride değil, pratikte görün.