25 Ekim 2026 PazarSayı № 298
VI Araç & SDKTopluluk

Legacy GPU'lar için yüksek performanslı llama.cpp çatalı: Kepler Desteği, CUDA Graphs ve Windows NCCL!

Geliştirici TheSpicyBoi123, eski NVIDIA Kepler ve diğer pre‑Ampere GPU'larda llama.cpp çalıştırmak için bir çatal oluşturdu. CuBLAS uyumluluğu, CUDA Graphs ve Windows NCCL entegrasyonu sayesinde 4 x Tesla K40c üzerinde 35‑55 tps arasında token üretim hızı elde edildi ve NCCL ile %5‑10 ek performans artışı sağlandı.

Reddit LocalLLaMA kaynağından derlendi · · 1 dk okuma

Orijinal haber ↗
Görsel: Reddit LocalLLaMA

Özetle

  1. 1

    CuBLAS compute‑type seçimi hatası giderildi; Kepler GPU'larda llama.cpp artık başlatılabiliyor.

  2. 2

    CUDA Graphs entegrasyonu sayesinde 4 x Tesla K40c üzerinde token hızı 35 tps'den 55 tps'ye yükseldi.

  3. 3

    Windows NCCL desteği eklenerek dağıtık işleme %5‑10 performans artışı ve 60 tps üzeri throughput sağlandı.

llama.cpp projesinin geliştiricileri, eski nesil NVIDIA GPU'ların (Kepler, Maxwell, Pascal, Volta vb.) artık çöp olarak görülmemesi gerektiğini savunarak performans iyileştirmeleri üzerine çalıştı. TheSpicyBoi123, cuBLAS'ın compute‑type seçiminde yaşanan uyumsuzlukları gideren bir yamayı ana dalına ekledi ve bu sayede Kepler tabanlı Tesla K40c kartları ilk defa modelin çalıştırılmasını sağladı.

Yapılan iyileştirmeler arasında CUDA Graphs desteği de bulunuyor; aynı donanımda bu özellik etkinleştirildiğinde token üretim hızı 35 tps'den 55 tps'ye yükseldi. Ayrıca Windows ortamında NCCL (NVIDIA Collective Communications Library) entegrasyonu, dağıtık işleme performansını %5‑10 oranında artırarak throughput değerinin 60 tps'nin üzerine çıkmasını mümkün kıldı. Bu sonuçlar, P.P. (prompt processing) aşamasında 70‑100 tps arasında değişen hızlarla da destekleniyor.

Proje kodları GitHub'da iki ayrı repo altında sunuluyor: ana geliştirme çatalı "llama‑on‑legacy‑gpu" ve Windows NCCL uyumlu versiyon "nccl‑on‑windows". Geliştiriciler, topluluktan geri bildirim, yeniden üretilebilir benchmark ve ek katkılar bekliyor. Bu tür bir destek, eski donanım sahiplerinin yapay zeka modellerini hâlâ verimli bir şekilde çalıştırabilmelerine olanak tanıyarak e‑atık sorununu da hafifletmeyi hedefliyor.

İlgi duyan kullanıcılar, Kepler, Maxwell, Pascal ve Volta gibi mimarileri kullanan sistemlerde denemeler yaparak sonuçları paylaşabilir. Geniş bir test yelpazesi, farklı model ve kuantizasyon seviyeleriyle (ör. Q8_0) daha kesin performans tablolarının oluşturulmasını sağlayacak.

Yöney yorumu

Bu güncellemeler, eski NVIDIA donanımını hâlâ kullanan araştırmacılar ve geliştiriciler için maliyet tasarrufu sağlayarak model çalıştırma esnekliğini artırıyor. Ancak performans artışı, modern GPU'larla kıyaslandığında hâlâ sınırlı kalıyor, bu yüzden geniş çaplı benimsenmesi zaman alabilir.

Yapay zekâ tarafından üretilmiştir.

Haberdeki skorlar

Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.

  • Qwen3.6-35B-A3B (Q8_0 quantization)tokens per second · 4x Tesla K40c (compute capability 3.5), cuBLAS fix
    35 tps
  • Qwen3.6-35B-A3B (Q8_0 quantization)tokens per second · 4x Tesla K40c, CUDA graphs enabled
    55 tps
  • Qwen3.6-35B-A3B (Q8_0 quantization)tokens per second · 4x Tesla K40c, Windows NCCL integration
    60 tps
Devamı kaynakta

Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.

VI

Aynı bölümden

Tümü →
VI Araç & SDK

Tarayıcıda Çalışan 4 Küçük Sinir Ağıyla Ritm Oyunu: Struna

Yerel olarak çalışan dört küçük sinir ağı, bir şarkıyı tarayıcı sekmesinde analiz ederek tamamen offline bir ritim oyunu oluşturuyor. BeatNet, Basic Pitch, Spleeter ve SwiftF0 modelleri, şarkının ritmi, notaları, vokal ayrımı ve ses perdesini gerçek zamanlı olarak işliyor ve oyun dünyasını şekillendiriyor.

Özetle 3 madde
  1. BeatNet, Basic Pitch, Spleeter ve SwiftF0 modelleri tarayıcı içinde ONNX Runtime Web ile çalıştırılıyor.
  2. Tüm ses işleme tamamen yerel; hiçbir veri sunucuya gönderilmiyor.
  3. Modeller toplamda ~22 MB ve bir kez yüklendikten sonra önbelleğe alınıyor, düşük performanslı cihazlar için DSP yedekleme mevcut.

Reddit LocalLLaMA

VI Araç & SDK

AbliteratedOutTheBox Strata Portu Duyuruldu

Geliştirici, llama.cpp tabanlı bir inference‑zamanı abliteration motorunu Strata platformuna taşıdığını duyurdu. Yeni araç, büyük VRAM gereksinimi olmadan abliterated modelleri çalıştırmayı hedefliyor ve topluluktan geri bildirim bekliyor.

Özetle 3 madde
  1. AbliteratedOutTheBox motoru, inference‑zamanı abliteration sayesinde VRAM ihtiyacını azaltıyor.
  2. Motor, llama.cpp tabanlı bir fork olarak Strata platformuna deneysel bir port sağladı.
  3. Tam model davranışı ve yanıt kalitesi henüz doğrulanmadığından topluluk geri bildirimi bekleniyor.

Reddit LocalLLaMA

VI Araç & SDK

LitPivot: Araştırma Fikirlerini Dinamik Bağlamlandırma ile Geliştiren Yeni Araç

Allen Institute for AI ve University of Pennsylvania iş birliğiyle geliştirilen LitPivot, araştırmacıların literatürle etkileşim içinde fikirlerini yeniden şekillendirmesine olanak tanıyan bir sistem. Araştırma önerisinin problem, katkı ve değerlendirme bölümlerini ayrı facet'ler olarak ele alıp, ilgili makalelerden alıntılarla desteklenen eleştiriler ve revizyon önerileri sunuyor.

Özetle 3 madde
  1. LitPivot, araştırma önerisini problem, katkı ve değerlendirme facet'lerine ayırarak ilgili literatürle eş zamanlı değerlendirme imkanı sunuyor.
  2. 17 araştırmacı üzerinde yapılan laboratuvar çalışması, LitPivot ile geliştirilen önerilerin literatüre daha iyi yerleştirildiğini ve yenilikçilik açısından üstün olduğunu gösterdi.
  3. Araç, sadece erken aşama fikir üretiminde değil, mevcut projelerin olgunlaşma sürecinde de kullanılabiliyor ve facet'ler arası tutarlılığı otomatik olarak işaretliyor.

Hugging Face