Yazılım Geliştiriciden Gerçek Dünya Karşılaştırması: Gemma4-31B, Qwen3.8-27B ve GPT 6.1-Sol
Yaklaşık 20 yıllık deneyime sahip bir yazılım mühendisi, yerel olarak çalıştırılan Gemma4-31B ve Qwen3.8-27B modellerini kod analizi ve sıfırdan proje geliştirme senaryolarında test etti. Karşılaştırmaya sonradan dahil edilen tescilli GPT 6.1-Sol modeli açık kaynaklı rakiplerine karşı ezici bir üstünlük sağlarken, açık ağırlıklı modellerin tüketici donanımlarında gösterdiği performans da dikkat çekti.
Öne Çıkan Başlıklar
- Gemma4-31B, kod analizi görevlerinde Qwen3.8-27B'ye kıyasla yaklaşık 3 kat daha az sunucu çağrısı yaparak yüksek verimlilik sağladı.
- Sıfırdan proje üretmede Qwen3.8-27B küçük hatalarına rağmen daha ısrarcı ve kapsamlı bir kod ortaya koyarak B+ derecesiyle Gemma4'ü geride bıraktı.
- GPT 6.1-Sol, sıfırdan C#/WPF geliştirme senaryosunda tek denemede dağıtıma hazır kod üreterek açık modellerin belirgin şekilde önüne geçti.
- Tüketici sınıfı donanımlarda çalışan Q4 kuantize modellerin günlük mühendislik görevleri için kullanılabilir seviyeye ulaştığı ancak en üst seviye modellerle aradaki farkın sürdüğü belirtildi.
Reddit'in LocalLLaMA topluluğunda paylaşılan kapsamlı bir kullanıcı deneyimi, yerel açık ağırlıklı büyük dil modellerinin gerçek dünya yazılım mühendisliği görevlerindeki pratik kabiliyetlerini gözler önüne serdi. Testi gerçekleştiren mühendis; Q4 kuantizasyonundaki Gemma4-31B ve Qwen3.8-27B modellerini iki temel iş akışında değerlendirdi: mevcut bir kod tabanını inceleyip analiz etme ve sıfırdan çalışan bir C#/WPF projesi oluşturma. Süreçte OpenCode CLI ve Codex CLI gibi arayüzler kullanılırken, referans noktası olarak OpenAI ekosistemindeki GPT 6.1-Sol devreye sokuldu.
İlk senaryo olan kod tabanı denetimi ve analizinde her iki açık model de oldukça başarılı sonuçlar verdi. Ancak Gemma4-31B, göreve odaklı yapısı ve yalnızca yaklaşık 10 sunucu çağrısıyla işlemi tamamlayarak verimlilik tarafında öne çıktı; Qwen3.8-27B ise daha kapsamlı bir tablo sunabilmek adına 20 ila 30 arası çağrı yaptı. Her iki model de mimari soyutlamaları ve zayıf yönleri doğru analiz etse de, kaynak tüketimi ve odaklanma hızı açısından Gemma4 geliştiricinin öncelikli tercihi oldu.
Sıfırdan proje yazma aşamasında ise dinamikler tersine döndü. C# ve WPF mimarisine dayanan, elle yazılması normalde 1-2 gün sürecek bir uygulama tanımı verildiğinde Gemma4-31B hızlı ve derli toplu bir planlama sunmasına rağmen B- seviyesinde kaldı ve uygulanabilir hale gelmesi için çok sayıda iterasyon gerektirdi. Buna karşın Qwen3.8-27B; syntax eksiklikleri ve küçük hatalarla daha sık tökezlemesine ve ciddi donanım yükü oluşturmasına rağmen yılmadan ilerleyerek tek bir düzeltmeyle çalışan bir ürün ortaya koydu ve B+ notu aldı.
Testin en çarpıcı sonucu ise aynı prompt'un tescilli amiral gemisi GPT 6.1-Sol'a verilmesiyle ortaya çıktı. Yerel modellerin birkaç revizyonla toparlayabildiği mimariyi tek seferde, kullanıcı bağlamını eksiksiz anlayarak ve doğrudan dağıtıma hazır halde sunan model, A+ alarak sınır seviye (frontier) laboratuvar modelleri ile yerel modeller arasındaki uçurumu net bir şekilde ortaya koydu. Geliştirici, yerel modellerin günlük işler için oldukça umut vadedici olduğunu ancak karmaşık mimarilerde henüz tescilli devlerle aynı ligde yer almadığını vurguladı.
YZ Yorumu
Sentetik benchmarkların ötesine geçen bu tür pratik mühendislik denemeleri, açık ağırlıklı modellerin bağlam tamamlama ve mimari kurma kapasitelerindeki gerçek darboğazları anlamak için kritik önem taşıyor. Yerel modeller küçük yardımcı araçlar seviyesine hızla yaklaşsa da, çok bileşenli mimari tasarımı gerektiren işlerde sınır modeller hâlâ tartışmasız bir avantaja sahip.
Yapay zekâ tarafından üretilmiştir.