graphsignal-top: Açık Kaynak Graphsignal Profiler ile GPU İnferans İzleme Aracı
Graphsignal ekibi, GPU tabanlı LLM servislerinin performansını anlık izleyebilen yeni bir komut satırı aracı graphsignal-top'u duyurdu. Araç, GPU kullanımını, bellek, güç tüketimi, çekirdek zaman dağılımını ve her bir kernel'in okunabilir adını saniyeler içinde göstererek geliştiricilere anlık içgörü sağlıyor.
Öne Çıkan Başlıklar
- graphsignal-top, GPU kullanımını, bellek, güç ve throttling gibi metrikleri saniyeler içinde anlık gösteriyor.
- Kernel'ler okunabilir isim ve kategoriyle sıralanıyor; en çok zaman harcayanlar son 5 saniyede listeleniyor.
- Uzaktan izleme desteği (--host, SSH port‑forward) sayesinde dağıtık ortamlarda da kullanılabiliyor.
- Qwen3‑32B modeli üzerinde yapılan testte NCCL all‑reduce'in GPU zamanının %25'ini ve duvar zamanının %50'sini oluşturduğu tespit edildi.
Geçtiğimiz haftalarda Graphsignal profili açık kaynak olarak yayınlanmıştı; vllm, sglang gibi servisleri graphsignal-run ile sarmalayıp ölçüm verilerini JSON olarak dışa aktarabiliyordu. Kullanıcılar bu JSON çıktısını manuel olarak incelemek zorunda kalırken, ekip yeni bir üst seviye izleme aracı graphsignal-top'u geliştirdi. Bu araç, aynı anda iki terminalde çalıştırılabiliyor: birinde graphsignal-run ile servis başlatılıyor, diğerinde ise graphsignal-top komutuyla gerçek zamanlı GPU istatistikleri gösteriliyor.
graphsignal-top, zaman içinde GPU kullanım oranı, bellek tüketimi, güç ve throttling durumlarını, çalışan ve bekleyen istek sayısını, token/saniye ve TTFT/TPOT p50/p95 gibi LLM performans metriklerini sunuyor. Ayrıca GPU zamanını kernel, grafik, memcpy ve senkronizasyon gibi kategorilere ayırıyor ve son 5 saniyede en çok zaman harcayan kernel'leri okunabilir isim ve kategoriyle sıralıyor. CUDA grafik yeniden oynatmaları, veri transferleri ve senkronizasyonları için ayrı sekmeler bulunuyor.
Araç, iki RTX PRO 6000 GPU üzerinde Qwen3‑32B modelinin PCIe üzerinden çalıştırıldığı bir senaryoda test edildi. Sonuçlar, NCCL all‑reduce işleminin GPU zamanının dörtte birini ve duvar zamanının yarısını host senkronizasyonunun beklemesiyle harcadığını gösterdi; bu bilgi tek bir bakışta anlaşılabiliyor. graphsignal-top, uzaktan da kullanılabiliyor; --host parametresiyle başka bir makinedeki profilere bağlanabilir ya da SSH üzerinden port yönlendirme ile erişim sağlanabilir. Tek bir anlık görüntü almak isteyenler için --once seçeneği mevcut.
Kod ve belgeler GitHub üzerindeki https://github.com/graphsignal/graphsignal adresinde bulunuyor. Araç, LLM servis sağlayıcıları, araştırmacılar ve GPU performansını optimize etmek isteyen geliştiriciler için açık kaynaklı, hafif ve genişletilebilir bir çözüm sunuyor.
YZ Yorumu
graphsignal-top, LLM hizmeti sunan ekiplerin performans darboğazlarını hızlıca tespit etmesini sağlayarak geliştirme döngüsünü kısaltacak. Açık kaynak olması, topluluk katkılarıyla daha fazla model ve altyapıya uyarlanabilirliğini artıracak.
Yapay zekâ tarafından üretilmiştir.