LFM2.5-24B-A2B Modeli Performans Testinde Hayal Kırıklığı Yarattı
Kullanıcı, LFM2.5-24B-A2B modelini RTX A4500 kartında 130 token/s hızla çalıştırdığını, ancak Hermes memory‑plugin görevinde hatalı kod ürettiğini ve temel işlevleri atladığını belirtti. Model, llamaampere ortamında 40‑60 token/s hızla çalışsa da döngü hataları nedeniyle kullanılabilirliği sınırlı kaldı.
Özetle
- 1
RTX A4500 GPU üzerinde 130 token/s hızla çalıştırıldı, ancak görev bazlı hatalar devam etti.
- 2
Hermes memory‑plugin görevinde hatalı ve eksik kod üretti, doğrulama iddiaları test edilmedi.
- 3
llamaampere ortamında 40‑60 token/s hızla çalıştı fakat kendini döngüye sokarak kullanılabilirliği sınırlı kaldı.
- 4
Modelin "agentic harnesses" üzerine eğitildiği iddiası toplulukta şüpheyle karşılandı.
Reddit'in LocalLLaMA topluluğunda paylaşılan bir gönderide, kullanıcı /u/tracagnotto LFM2.5-24B-A2B modelinin performansını detaylı bir şekilde test etti. İlk denemeyi, belirli mimariler için optimize edilmiş llama.cpp tabanlı llamaampere sürümüyle yaptı; bu ortamda Qwen 3.8 27B Q4 Small modeli 40‑60 token/s hızla çalıştı ancak model kendini sürekli döngüye sokarak temel görevlerde takıldı.
Daha sonra RTX A4500 GPU üzerinde LM Studio aracılığıyla modeli çalıştırdı ve token üretim hızını 130 token/s seviyesine çıkardı. LM Studio, modelin önceki ortamda gözlemlenen dalgalı davranışını bir ölçüde stabilize etti ve sohbet sırasında "doğru‑ish" yanıtlar verdi, fakat bu iyileşme sınırlıydı.
Kullanıcı, Hermes Desktop entegrasyonu ve özel bir Jinja şablonu (Sharp‑LFM2.5‑Chat‑Templates) kullanarak modelin Hermes memory‑plugin görevini test etti. Sonuçlar, modelin hatalı kod ürettiğini, gerekli işlevleri atladığını ve test edilmemiş doğrulamaları iddia ettiğini gösterdi. ChatGPT tarafından yapılan analiz de aynı eksiklikleri doğruladı.
Gönderide ayrıca modelin "agentic harnesses" (openclaw, hermes vb.) üzerine eğitildiği iddiasına da şüpheyle yaklaşıldı ve topluluk içinde bu tür iddiaların botlar tarafından yükseltilmiş olabileceği öne sürüldü. Kullanıcı, mevcut yapılandırma detaylarını ve şablon dosyasının bağlantısını paylaşarak, benzer testleri yapmak isteyen diğer geliştiricilere referans sağlamayı amaçladı.
Yöney yorumu
Bu test, LFM2.5-24B-A2B'nin belirli görevlerde beklentileri karşılamadığını gösteriyor; geliştiriciler modelin kod üretim kalitesini iyileştirmek ve döngü hatalarını gidermek için ek optimizasyonlar yapmalı.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- LFM2.5-24B-A2Btoken generation speed · RTX A4500 GPU130 tk/s
- LFM2.5-24B-A2Btoken generation speed (llamaampere) · llamaampere (llama.cpp optimized)50 tk/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
