2025 itibarıyla görsel dil modelleri (VLM) artık proof-of-concept (POC) aşamasını geride bırakmış durumda. Görsel kodlayıcıların gelişmesi, daha geniş bağlam pencereleri ve gelişmiş muhakeme yeteneklerinin eklenmesi sayesinde OCR, belge VQA, video analizi ve nesne lokalizasyonu gibi görevler tek bir multimodal model üzerinden çözülebiliyor. Birkaç yıl önce farklı sistemlerin birlikte çözmeye çalıştığı pek çok problem artık tek bir model ve doğal dil talimatlarıyla yönetilebiliyor.

Bu yazıda güncel VLM mimarilerine, 2025 döneminde öne çıkan modellere ve benchmark sonuçlarının ne söylediğine teknik bir perspektiften bakacağız.

Mimari Yaklaşımlar

VLM modellerinin nasıl çalıştığını anlamak için önce kullanılan temel mimari yaklaşımlara bakmak gerekiyor. Günümüzde modeller üç ana mimari yaklaşım etrafında şekilleniyor.

Vision Encoder + MLP Adaptör

Bugün en yaygın kullanılan mimari bu yaklaşım. LLaVA ile popüler hale gelen bu yapıda önceden eğitilmiş bir vision encoder görüntüyü patch embedding dizisine dönüştürür. CLIP veya SigLIP gibi encoder’lar bu görev için sıklıkla kullanılır. Daha sonra bu embedding’ler bir MLP projeksiyon katmanı aracılığıyla LLM’in embedding uzayına aktarılır ve metin tokenlarıyla birlikte modele verilir. Bu mimarinin popüler olmasının nedeni görece basit olması ve mevcut LLM’lerle kolayca entegre edilebilmesidir. Son yıllarda yapılan geliştirmeler de çoğunlukla bu yapıyı daha verimli hale getirmeye odaklanıyor.

Örneğin Qwen2.5-VL modeli [1] her dört vision tokenını tek bir embedding’e sıkıştırarak token maliyetini düşürür. Bu, özellikle yüksek çözünürlüklü görüntülerde önemli bir avantaj sağlar. DeepSeek-VL ise farklı bir optimizasyon kullanır: büyük görüntüler 1024×1024 boyutlarında parçalara bölünerek ayrı ayrı işlenir ve daha sonra sonuçlar birleştirilir.

Qwen2.5-VL, LLaMA 3.2 Vision, PaliGemma 2 ve DeepSeek-VL bu mimariyi kullanan modeller arasında yer alır.

Cross Attention Füzyonu

Bir diğer yaklaşım Flamingo mimarisinden gelen cross attention tabanlı füzyondur. Bu yöntemde görsel embedding’ler doğrudan giriş dizisine eklenmek yerine modelin ara katmanlarına cross attention mekanizması ile enjekte edilir. BLIP-2 modelinde kullanılan Q-Former modülü bu yaklaşımın iyi bilinen bir örneğidir.

Q-Former sabit sayıda öğrenilebilir sorgu embedding kullanarak görsel bilgiyi sıkıştırır ve LLM ile daha kontrollü bir şekilde etkileşime girmesini sağlar.

Bu yöntem token sayısını daha iyi kontrol etmeye yardımcı olur. Ancak eğitim süreci daha karmaşık olduğu için birçok modern model daha basit olan MLP adaptör yaklaşımına yönelmiştir.

Encoder-Free Decoder

Bazı modeller ise tamamen farklı bir yaklaşım dener. Fuyu ve EVE gibi modeller ayrı bir vision encoder kullanmadan ham piksel verisini doğrudan LLM decoder’a verir.

Bu yaklaşım teorik olarak daha esnek görünür çünkü görüntü çözünürlüğü veya encoder sınırlamaları ortadan kalkar. Ancak pratikte eğitim daha yavaş yakınsar ve performans çoğu zaman encoder tabanlı modellere göre daha düşük kalır. Bu nedenle encoder-free mimariler şu anda araştırma tarafında ilgi görse de production sistemlerde daha az kullanılıyor.

Model Karşılaştırması

Bu mimarileri kullanan modeller pratikte nasıl ayrışıyor? Güncel tabloya bakıldığında iki ana grup öne çıkıyor: kapalı kaynak ve açık kaynak modeller.