Büyük Dil Modelleri (LLM), milyarlarca parametre kullanarak insan dilini anlama ve üretme yeteneğine sahip yapay zeka sistemleridir. Temelinde 2017 yılında Google tarafından tanıtılan Transformer mimarisi yatar.
LLM'ler Nasıl Öğrenir?
Bu modeller "Next Token Prediction" (Bir sonraki kelimeyi tahmin etme) mantığıyla çalışır. İnternetteki trilyonlarca cümle ile beslenen model, kelimeler arasındaki istatistiksel olasılıkları öğrenir.
- Pre-training: Ham verinin işlendiği aşama.
- Fine-tuning: Modelin belirli görevler için özelleştirilmesi.
- RLHF: İnsan geri bildirimiyle modelin hizalanması.