Teknik Problem
Genel amaçlı modellerin, belirli sektörlerin jargonu (hukuk, tıp, finans, üretim vb.) veya şirkete özel iş mantığı karşısında yetersiz kalması; genel modelleri canlıda çalıştırmanın yüksek API ve donanım maliyetleri getirmesi.
HizmetlerI — Yapay Zekâ Mimarisi ve Model Mühendisliği
DilModeliEğitimi
Mimari Çözüm
Açık kaynaklı gelişmiş temel modelleri (Llama, Mistral vb.) kurumunuza özel verilerle LoRA ve QLoRA gibi parametre verimli ince ayar (PEFT) teknikleri kullanarak eğitiyoruz. Büyük modellerin yeteneklerini, daha küçük ve hızlı çalışabilen modellere aktarmak için model distilasyonu (distillation) uyguluyoruz. Donanım verimliliğini artırmak için modelleri kuantize ediyor (INT8/INT4 seviyesine sıkıştırma) ve özel çıkarım (inference) sunucularında (vLLM, TensorRT-LLM) yapılandırıyoruz.
Operasyonel Çıktı
Kurumun kendi diliyle ve kendi iş mantığıyla tutarlı çalışan, dış bir API'ye bağlı olmadan kendi donanımınızda koşabilen özelleştirilmiş bir model. Kazancın ne kadar olduğu eğitim öncesi ve sonrası aynı ölçüm kümesinde karşılaştırılarak gösteriliyor — rakamı işin sonunda ölçüm veriyor, baştan biz değil.
Başlangıç Koşulları
Bu hizmet, eksik olan şey BİLGİ değil DAVRANIŞ olduğunda devreye girer: model kurumun jargonunu tanımıyorsa, aynı soruyu her seferinde başka biçimde cevaplıyorsa ya da işin kendi mantığını takip etmiyorsa. Sizde olması gereken iki şey var: gerçek işten çıkmış örnek soru-cevap kümesi ve bir cevabın doğru olup olmadığına karar verebilecek bir uzmanın zamanı. İkisi de yoksa eğitimin öğreneceği bir şey yoktur.
Çalışma Biçimi
İlk adım eğitmemek: boşluk bilgide ise RAG hem ucuz hem hızlıdır, önce onu söylüyoruz. Eğitim kararı çıkarsa örnek kümesi ikiye ayrılıyor — eğitim ve ölçüm — ve ölçüm kümesi eğitime hiç girmiyor. Eğitimden ÖNCE mevcut modelin başarısı ölçülüyor; başlangıcı olmayan bir 'daha iyi' cümlesi doğrulanamaz. LoRA/QLoRA ile eğitim, sonra aynı kümede karşılaştırma. Üretime geçiş yalnız karşılaştırma lehte çıkarsa.
Kapsam Dışı
Eğitim bir bilgi kaynağı değildir: model yeni olguları güvenilir biçimde ezberlemez, o iş Kurumsal RAG Mimarisi'nin. Verinizdeki hatayı da düzeltmez — hatalı örnekle eğitilen model hatayı öğrenir. Paylaşma ya da kullanma hakkınız olmayan veriyle eğitim yapmıyoruz. Örnek kümesi yetersizse bunu söyleyip duruyoruz; yetersiz veriyle yapılan eğitim, işe yaramadığı ancak aylar sonra anlaşılan bir maliyettir.