Flint 40B-A2.5B, Ornith 1.5 35B-A3B ve Nemotron 3.5 Lightning Modelleri Üzerinde Atomik Kodlama Benchmarkı

Atomic Agent v0.6.10 ve Opus 5.5 planlayıcısı kullanılarak, 20 saniyelik bir Halloween zincir reaksiyonunu Three.js ile kodlamak için aynı prompt, kuantizasyon ve ayarlar altında üç model paralel çalışan işçi olarak denetlendi. Her model Q8_0 GGUF formatında, llama.cpp b11803 ile RTX PRO 6000 Blackwell 96 GB GPU üzerinde çalıştırıldı; her bir slot 64 K bağlam kapasitesine sahipti.

Performans ölçümleri, duvar süresi, tek istek decode hızı, üç işçi aynı anda decode hızı, prefill hızı, model istek sayısı ve maksimum bağlam gibi metrikleri içeriyor. Flint 40B-A2.5B 7:36 duvar süresi, 244 t/s tek istek decode ve 5 230 t/s prefill hızıyla en kısa sürede tamamlandı. Ornith 1.5 35B-A3B 9:04 duvar süresi ve daha düşük hızlar gösterirken, Nemotron 3.5 Lightning 30:32 duvar süresiyle en uzun süreyi harcadı; ancak 295 t/s tek istek decode ve 7 670 t/s prefill gibi en yüksek token işleme hızına sahipti.

Maliyet açısından, Opus planlayıcısının harcaması Flint için 0,41 $, Ornith için 0,49 $ ve Nemotron için 0,95 $ olarak belirlendi. Flint sadece 6 düzeltme ihtiyacı duyarken, Ornith 14 ve Nemotron 16 düzeltme yaptı. Nemotron, yüksek token üretimi (397 K yerel üretim) ve 369 model isteği nedeniyle planlama dalgalarını iki katına çıkardı; edit başarı oranı ise %17 seviyesindeydi. Flint ise 74 K token üretip 164 istekle daha az turda işi tamamladı ve sadece iki yazım hatası ve bir değişken bildirimsizliği gibi küçük hatalar içeriyordu.

Deney tek bir çalıştırma ile sınırlı olduğundan varyans ölçülmedi ve NVFP4/MLX gibi farklı donanımlarda sonuçlar değişebilir. Sonuçlar, ham token/saniye hızının duvar süresini doğrudan tahmin etmediğini, edit başarı oranı ve planlama dalgalarının toplam verimliliği belirlediğini gösteriyor.