HizmetlerI — Yapay Zekâ Mimarisi ve Model Mühendisliği

Şirkete Özel Dil Modeli Eğitimi

Hangi sorunu çözüyor?

Genel amaçlı modellerin, belirli sektörlerin jargonu (hukuk, tıp, finans, üretim vb.) veya şirkete özel iş mantığı karşısında yetersiz kalması; genel modelleri canlıda çalıştırmanın yüksek API ve donanım maliyetleri getirmesi.

Nasıl kuruyoruz?

Açık kaynaklı gelişmiş temel modelleri (Llama, Mistral vb.) kurumunuza özel verilerle LoRA ve QLoRA gibi parametre verimli ince ayar (PEFT) teknikleri kullanarak eğitiyoruz. Büyük modellerin yeteneklerini, daha küçük ve hızlı çalışabilen modellere aktarmak için model distilasyonu (distillation) uyguluyoruz. Donanım verimliliğini artırmak için modelleri kuantize ediyor (INT8/INT4 seviyesine sıkıştırma) ve özel çıkarım (inference) sunucularında (vLLM, TensorRT-LLM) yapılandırıyoruz.

Ne değişiyor?

Kurumun kendi diliyle ve kendi iş mantığıyla tutarlı çalışan, dış bir API'ye bağlı olmadan kendi donanımınızda koşabilen özelleştirilmiş bir model. Kazancın ne kadar olduğu eğitim öncesi ve sonrası aynı ölçüm kümesinde karşılaştırılarak gösteriliyor — rakamı işin sonunda ölçüm veriyor, baştan biz değil.

Ne zaman başlanır?

Bu hizmet, eksik olan şey BİLGİ değil DAVRANIŞ olduğunda devreye girer: model kurumun jargonunu tanımıyorsa, aynı soruyu her seferinde başka biçimde cevaplıyorsa ya da işin kendi mantığını takip etmiyorsa. Sizde olması gereken iki şey var: gerçek işten çıkmış örnek soru-cevap kümesi ve bir cevabın doğru olup olmadığına karar verebilecek bir uzmanın zamanı. İkisi de yoksa eğitimin öğreneceği bir şey yoktur.

Nasıl çalışıyoruz?

İlk adım eğitmemek: boşluk bilgide ise RAG hem ucuz hem hızlıdır, önce onu söylüyoruz. Eğitim kararı çıkarsa örnek kümesi ikiye ayrılıyor — eğitim ve ölçüm — ve ölçüm kümesi eğitime hiç girmiyor. Eğitimden ÖNCE mevcut modelin başarısı ölçülüyor; başlangıcı olmayan bir 'daha iyi' cümlesi doğrulanamaz. LoRA/QLoRA ile eğitim, sonra aynı kümede karşılaştırma. Üretime geçiş yalnız karşılaştırma lehte çıkarsa.

Ne zaman uygun değil?

Eğitim bir bilgi kaynağı değildir: model yeni olguları güvenilir biçimde ezberlemez, o iş Kurumsal RAG Mimarisi'nin. Verinizdeki hatayı da düzeltmez — hatalı örnekle eğitilen model hatayı öğrenir. Paylaşma ya da kullanma hakkınız olmayan veriyle eğitim yapmıyoruz. Örnek kümesi yetersizse bunu söyleyip duruyoruz; yetersiz veriyle yapılan eğitim, işe yaramadığı ancak aylar sonra anlaşılan bir maliyettir.