Pi Agent'ta LFM2.5-24B-A2B Modelinden Çok Etkilendim

Reddit topluluğu üyesi Thrumpwart, LiquidAI'nin yeni LFM2.5-24B-A2B modelini indirip Pi Agent içinde denediğini ve beklentileri aşan bir performans sergilediğini belirtti. Kullanıcı, daha önce Ornith 1.5-35B modelini çeşitli iş akışlarında, özellikle AI-Council içinde Pi Agent ile kullandığını ve bu modelin güvenilir, içgörü sağlayan bir "çalışkan" olduğunu ifade etti.

LFM2.5-24B-A2B modelini Ornith'in yerine birkaç iş akışına entegre eden Thrumpwart, modelin çok iyi bir hız sunduğunu rapor etti: ROCm destekli AMD W7900 GPU üzerinde llama.cpp'in en yeni sürümünde yaklaşık 95 token/saniye (tps) sürdürülebilir bir performans elde edildi. Modelin Q8 kuantizasyonu, tam 128 k bağlamda 30 GB VRAM tüketiyor ve bu da büyük bağlamları işleyebilme kapasitesini gösteriyor.

Kullanıcı, modelin mekanik görevlerde ve uzun süren yinelemeli işlemlerde sorunsuz çalıştığını, "görevleri bitirmeden durmayan" bir dayanıklılık sergilediğini vurguladı. Ayrıca, daha karmaşık içgörü gerektiren AI-Council modunda da performansını daha uzun vadeli testlerle değerlendireceğini ve sonuçları paylaşacağını belirtti.

Thrumpwart, LiquidAI ekibine teşekkür ederek, bu modelin kendi "chonky boi" (büyük GPU) üzerinde sıkça kullanılacağını ve düşük maliyetli (CAD 0,02) bir seçenek olarak diğer kullanıcıların da denemesini önerdi.