RAG yerine FiD ve SPLADE ile sirket ici arama nasil kurulur

Neden RAG her zaman dogru secenek degil

RAG yani geri getirme ile zenginlestirilmis uretim, metinleri getirip dil modeline vererek cevap urettirir. Ancak her senaryoda gerekli degildir. Cevaplarin bire bir belgeden alinmasi gerektiginde ya da kurum ici politikalarda uretim yerine dogrudan alinti isteniyorsa, RAG yerine daha yalın ve hizli yaklasimlar avantaj saglar. Burada iki arac one cikar FiD ve SPLADE. Biri akilli okuma ile kaynaklari birlestirir, digeri ise hizli ve isabetli getirme yapar.

FiD nedir ve nasil calisir

Basit anlatim

FiD yani Decoderda Birlesim, birden fazla kaynaktan gelen parcalari okuyup bunlari cevaplama asamasinda birlestiren bir yontemdir. Sorgu ile iliskili 5 veya 10 parca metin secilir, model her parcayi okur ve daha sonra bu okumalari birlestirerek tek bir yanit verir. Boylece tek bir uzun metne guvenmek yerine birden fazla kucuk kanit parcasini harmanlar.

Artilari ve eksileri

Avantajlari arasinda daginik bilgiyi toparlama, muhakemeyi iyilestirme ve hatali tek kaynaga bagimliligi azaltma bulunur. Dezavantajlari ise gecikme ve kaynak kullanimi olabilir cunku birden fazla parcayi islemek gerekir. Ayni zamanda FiD metin uretir, bu da katı denetim gerektiren ortamlarda ilave dogrulama ihtiyaci dogurabilir.

FiD ile kucuk yerel modeller

Kurumsal ortamlarda internet erisimi olmayan makinelerde calistirmak icin kucuk yerel dil modelleri tercih edilir. FiD mantigi bu modellerle de uygulanabilir. Dokuman parcalarini secip modele kademeli olarak verirsiniz, model bu parcalari kullanarak kisa bir cevap, madde isaretli ozet ya da en alakali paragrafi dondurur. Boylese hem gizlilik korunur hem de lisans maliyetleri dusurulur.

SPLADE nedir ve neden hizlidir

Basit anlatim

SPLADE, Sparser Lexical and Expansion kelimelerinden gelir. Bir sorguyu ve dokumani kelime tabanli ama ogretilmis agirliklarla temsil eder. Sonuc, klasik anahtar kelime aramasina benzer sekilde ters indeks uzerinden, yani cok hizli sekilde hesaplanir. Fark, bu anahtar kelimelerin akilli bir sekilde genisletilmesi ve agirliklandirilmasidir.

BM25 ve SPLADE farki

BM25, kelime frekansi ve dokuman uzunluguna dayanan geleneksel bir siralama formulu sunar. SPLADE ise sinir aglari kullanarak hangi kelimelerin gercekten onemli oldugunu ve hangi es anlamlarin eklenmesi gerektigini ogrenir. Bu sayede eslestirme kabiliyeti artar, ama yine de terim tabanli kaldigi icin altyapi basit ve hizlidir.

Endeksleme ve altyapi

SPLADE ciktilari seyrek vektorlerdir. Pratikte bu, her dokuman icin onemli bulunan birkac yuz kelimenin agirliklari ile saklanmasi anlamina gelir. Mevcut arama motorlarinda bu agirliklar ya ozel bir seyrek vektor alaninda ya da anlasilabilir bir sekilde alan bazli olarak kaydedilir. Avantaji, milyarlarca dokumani bile maliyetsizce siralayabilmenizdir cunku ters indeksleme cok olgundur.

Hangi senaryoda hangisi

Kucuk belge parcalari ve net yanitlar

SSS, politika maddeleri, teknik spesifikasyonlar gibi parcalara bolunmus net bilgide SPLADE ile getirme yapip FiD ile kisa cevap uretmek cok etkilidir. SPLADE en alakali parcalari bulur, FiD ise bunlardan birlesik ama kisa ve kontrollu bir yanit cikarir.

Uzun belgeler ve cok kaynak

Birden cok departmandan gelen yuzlerce sayfalik dokuman varsa, once SPLADE ile en alakali parcalari secin, sonra FiD ile bu parcalari birlestirin. Tamamen RAG uzerinden uretim yapmak yerine, FiD yaniti icin dayanak parcalari da son kullaniciya gostererek seffafligi koruyun.

Hibrit arama mimarisi

SPLADE geri getirme ve FiD okuma sirasi

Adimlar genelde sunlardir. Bir, sorguyu SPLADE sorgu kodlayicisindan gecirin. Iki, ters indeks uzerinden en iyi 100 dokuman parcasi getirilir. Uc, hafif bir yeniden siralayıci ile en iyi 10 parca secilir. Dort, FiD mantigi ile bu 10 parcadan cevap olusturulur ve kaynak baglantilariyla birlikte sunulur.

Gecikme butcesi ve onbellek

SPLADE sorgu gecikmesi milisaniyeler seviyesindedir. Darbogaz genelde FiD asamasidir. Bunu azaltmak icin sik gelen sorgulari ve ara sonuclari onbellege alin, FiD icin kucuk ama kaliteli bir model kullanin ve parca sayisini 5 ile 8 arasi tutun. Gerektiginde ardil isleme ile daha derin okuma yapın.

Guvenlik ve yerel calisma

Tum boru hattini kurum ici sunucularda calistirarak veri gizliligini korursunuz. SPLADE ve FiD icin GPU sart degildir, ancak cok yuksek hacimde sorgu varsa bir veya iki GPU gecikmeyi belirgin dusurur. Erişim kontrollerini getirme katmaninda uygulayarak kullanicinin gormeye yetkili oldugu dokumanlar arasindan arama yapilmasini saglayin.

Adim adim kurulum

Veri hazirlama

Dokumanlari sayfaya, paragrafa ya da mantiksal bolumlere ayirin. Her parcaya baslik, bolum yolu ve hizli bir ozet ekleyin. Metin temizligi yapin, yinelenenleri ve eski versiyonlari isaretleyin.

SPLADE egitim ya da hazir model

Eger etki alani cok ozel ise SPLADE modelini kurum verinizle kucuk bir ince ayar ile uyarlayin. Yoksa genel amacli hazir bir SPLADE varyantt kullanin. Hedef, sorgudaki ince nianslari dokumanlarda daha iyi yakalamaktir.

Dizine ekleme

Her dokuman parcasi icin SPLADE terim agirliklarini hesaplayin ve ters indekse yazin. Ek alanlar olarak orijinal metin, ozet, tarih ve erisim etiketi tutun. Siralama asamasinda SPLADE skoru ile taze dokumanlara hafif bir zaman artisi ekleyebilirsiniz.

FiD modeli secimi

Kucuk ama dogru cevap ureten bir model secin. Cevap formatini kisitlayin, ornegin ilk satirda kisaca yanit, altinda iki veya uc kaynak. Parcalari modele sabit bir sablonla verin ve maksimum token limitini sinirlayin. Bu sayede tutarlilik artar.

Degerlendirme olcutleri

Getirme icin nDCG puani kullanin. Bu, ideal siralamaya ne kadar yaklastiginizi 0 ile 1 arasinda gosterir. Kullaniciya hizlica dogru sonucun gelmesi icin MRR de bakilabilir. Okuma ve cevaplama icin ise yanit alakaliligi, kaynak kapsami ve dogruluk orani metriklerini kullanin. En az 100 gercek sorgudan olusan etiketli bir test seti olusturun.

Uygulama ornegi senaryo

Ornek sorgu ve akis

Sorgu yeni uzak calisma politikasi ne zaman yururluge girer. SPLADE ilk 100 parcayi bulur, yeniden siralayıci son 8 parcayi secer. FiD bu 8 parcadan tarih ve kapsama maddelerini cikarir, ilk satirda net tarihi verir, altinda iki kaynak parcasi gosterir. Kullanici isterse dogrudan ilgili belgenin bolumune gider.

Iyilestirme tuyolari

Siralama ogrenmesi

Kullanicilarin tiklama ve geri donus sinyallerini toplayin. Bu sinyalleri kullanarak yuksek siralarda yer alan ama tiklanmayan parcalarin agirligini dusurun. Zamanla SPLADE skorlari alaniniza daha iyi uyum saglar.

Sifir tiklama cevaplar

Cok tekrar eden sorgular icin cevap kutucugu olusturun. FiD ile bir kere dogru ve kisitli bir cevap hazirlayin, daha sonra ayni sorgular icin dogrudan bu cevap cache uzerinden donsun. Kaynak linklerini her zaman dahil edin.

Cok dilli destek

SPLADE ve FiD icin cok dilli modellere gecerek birden fazla dilde arama yapilabilir. Diller arasi eslestirme gerekiyorsa her dokumanin orijinal dilini ve varsa ceviri versiyonunu indeksleyin. Siralamada kullanici diline oncelik verin.

Maliyet ve bakim

CPU ve GPU dengesi

SPLADE sorgu tarafi genelde CPU ile yeterince hizlidir. FiD asamasi yogunlukta darboğaz olabilir. Gunde on binlerce sorgu icin bir kucuk GPU karti bekleme suresini yariya indirebilir. Aksi halde is parcacigi havuzu ve mikro batching ile CPU kullanimi optimize edilebilir.

Guncelleme stratejisi

Geceleri toplu yeniden indeksleme yerine artimsel guncelleme yapin. Yeni dokumanlarin SPLADE vektorleri aninda hesaplansin ve indekse eklensin. Aylik olarak yeniden egitim yaparak alan terimlerini taze tutun.

Sik yapilan hatalar

Parcalari cok kucuk kesmek baglam kaybina yol acabilir. Aksi halde cok buyuk parcalar da getirme kalitesini dusurur. FiD asamasinda kaynak gosterilmezse guven azalir. Sadece vektor aramaya guvenmek de yanlistir, terim tabanli seyrek yaklasimlar kurumsal belgelerde daha istikrarli calisir.

Kisa kontrol listesi

Belgeleri bol ve temizle. SPLADE ile hizli getirme kur. Yeniden siralayıci ekle. FiD ile kisa ve kaynakli cevap uret. Onbellek kullan. Erisim kontrolunu getirmede uygula. nDCG ve MRR ile izle. Artimsel indeksle ve aylik ince ayar yap.