14 Ekim 2026 ÇarşambaSayı № 287

Bölüm VI

Araç & SDK

Geliştiricinin alet çantası

API'ler, SDK'lar, kütüphaneler ve açık kaynak projeler.

31 haber · son haber 13 Ekim

VI Araç & SDK

SonicBoom v0.0.1 ile RTX 3050'da 52 tok/s dekode hızı

SonicBoom, C++/CUDA tabanlı yerel bir tensör çalışma zamanı olarak v0.0.1 sürümünü yayınladı. Aynı quantize edilmiş GGUF dosyasını kullanan llama.cpp ile kıyaslandığında, RTX 3050 8 GB laptopta dekode hızını %14 artırarak 51.65 token/s'ye ulaştı. Bu performans artışı, çekirdek kernel'lerden bağımsız, üst katmanda çalışan bir grafik derleyiciden kaynaklanıyor.

Özetle 3 madde
  1. SonicBoom, aynı quantize kernel'lerini kullanarak llama.cpp'den %14 daha yüksek dekode hızı sağladı.
  2. Grafik derleyicisi, aktivasyonları tek seferlik quantize edip CUDA Graph ile yeniden oynatarak işlem süresini kısalttı.
  3. Prefill performansı hâlâ llama.cpp gerisinde; geliştirme yol haritasında MLIR kod üretimi ve spekülatif dekode bulunuyor.

Reddit LocalLLaMA4 skor

VI

Bölümdeki haberler

VI Araç & SDK

AnythingLLM, Ollama'dan Lemonade ve llama.cpp'ye geçişini duyurdu

AnythingLLM ekibi, yerleşik Lemonade SDK'sının topluluk tarafından benimsenmesinden duyulan heyecanı paylaşıyor ve platformun Ollama yerine Lemonade ve llama.cpp tabanlı bir mimariye taşındığını açıkladı.

Özetle 3 madde
  1. AnythingLLM, Ollama yerine Lemonade ve llama.cpp tabanlı bir altyapıya geçiş yaptı.
  2. Lemonade gömülü SDK'sının topluluk tarafından benimsenmesi ve kullanılmaya başlanması.
  3. Geçiş, daha düşük maliyet, düşük gecikme ve açık kaynak avantajları sunmayı hedefliyor.

Reddit LocalLLaMA

VI Araç & SDK

Basalt: Qwen 3.8 Flash Next için Hızlı Blackwell Çıkarım Motoru ve Ücretsiz Görüntü Desteği

Basalt, Qwen 3.8 Flash Next modelini Blackwell optimizasyonlarıyla çalıştıran yeni bir çıkarım motoru. Görüntü işleme yeteneği, encoder'ı yalnızca ihtiyaç anında VRAM'e yükleyerek bellek tüketimini neredeyse sıfıra indiriyor.

Özetle 3 madde
  1. Basalt, Qwen 3.8 Flash Next modelini Blackwell optimizasyonlarıyla çalıştıran hızlı bir çıkarım motoru.
  2. "--vision dynamic" özelliği, görüntü kodlayıcısını yalnızca ihtiyaç anında VRAM'e yükleyerek bellek tüketimini %0'a yaklaştırıyor.
  3. Basalt çekirdekleri, llama.cpp'ye kıyasla 3 kat daha hızlı çalışıyor ve açık kaynak olarak geliştiricilere sunuluyor.

Reddit LocalLLaMA

VI Araç & SDK

llama.cpp WebGPU arka ucuyla tarayıcıda 80B MoE modeli Qwen3-Next gerçek zamanlı yanıt veriyor

llama.cpp, WebGPU desteğini genişleterek MoE (Mixture of Experts) modellerini tarayıcıda çalıştırabiliyor. 80 milyar parametreli Qwen3-Next modeli, diskten uzmanları dinamik olarak getirerek Chrome sekmesinde yanıt üretebiliyor. Bu, büyük dil modellerinin bulut dışı, tarayıcı tabanlı kullanımına yeni bir kapı aralıyor.

Özetle 3 madde
  1. llama.cpp'nin WebGPU backend'i, MoE modellerini tarayıcıda dinamik olarak diskten uzmanları getirerek çalıştırabiliyor.
  2. 80B Qwen3-Next modeli 2.9 tok/s hızla yanıt üretebiliyor; bu, tarayıcıda bu büyüklükte bir modelin çalıştırılmasının ilk kanıtı.
  3. Sayfalama mekanizması yeni buffer tipi ve slot‑mapped shader'lar ekleyerek ggml-webgpu'yi genişletiyor.

Reddit LocalLLaMA3 skor

VI Araç & SDK

Açık kaynak Cotypist/Granola hibrit: Gemma 4 E2B ile otomatik tamamlama (≈50 ms/öneri) ve toplantı notları bağlamı

Yerel bir masaüstü uygulaması, toplantı notlarını bağlam olarak kullanarak yazım ve dikte sırasında otomatik tamamlama sağlıyor. Geliştirici, farklı model ve kuantizasyon denemeleri sonrası Gemma 4 E2B’nin 6‑bit sürümünün kalite ve gecikme açısından en iyi dengeyi sunduğunu belirtiyor.

Özetle 3 madde
  1. Gemma 4 E2B base Q6_K modeli, ortalama 50 ms öneri süresiyle düşük gecikme sağlıyor.
  2. Uygulama, yerel toplantı notlarından iki faktöre kadar bağlam ekleyerek otomatik tamamlama sunuyor.
  3. LokalBot, Cotabby’ye karşı 32.7 % doğrulukla %2 puanlık bir üstünlük elde etti (782 kelime tahmini).

Reddit LocalLLaMA1 skor

VI Araç & SDK

Yerel AI Çalışma İstasyonunda Model Değişimini Otomatikleştiren VRAM Zamanlayıcı vramble Geliştirildi

Yerel yapay zeka deneyleri için kurulan bir çalışma istasyonunda, modellerin VRAM ihtiyacını tek tek yönetmek zorlayıcı hale gelmişti. Bu sorunu çözmek amacıyla geliştirilen açık kaynaklı vramble, model yükleme ve boşaltma işlemlerini otomatikleştirerek öncelik tabanlı bir kuyruk sistemi sunuyor.

Özetle 3 madde
  1. vramble, model yükleme ve boşaltma işlemlerini otomatikleştirerek VRAM yönetimini kolaylaştırıyor.
  2. Öncelik tabanlı kuyruk sistemi sayesinde farklı iş akışları sorunsuz bir şekilde sıraya alınıyor.
  3. Qwen 27B modeli, vramble ile 200+ token/s hızına ulaşarak beklenenden daha yüksek performans gösterdi.

Reddit LocalLLaMA1 skor

VI Araç & SDK

AskCyph Health Explorer: AlphaGenome ve MedGemma 1.5 4B ile DNA Analizi WebGPU Üzerinde

AskCyph Health Explorer, DeepMind'in AlphaGenome API'si ve tarayıcıda WebGPU üzerinden çalışan MedGemma 1.5 4B modelini birleştirerek DNA mutasyonlarının hastalıklara etkisini interaktif ve gizlilik odaklı bir şekilde sunuyor. Kullanıcı verileri tamamen yerel cihazda işleniyor, klinik bilgiler ise NCBI ClinVar, openFDA ve ClinicalTrials.gov gibi güvenilir kaynaklardan çekiliyor.

Özetle 3 madde
  1. AlphaGenome API'si, düzenleyici varyant etkileri ve splicing bozulmalarını gerçek zamanlı olarak tahmin ediyor.
  2. MedGemma 1.5 4B modeli, ONNX Runtime Web ve WebGPU sayesinde %100 yerel, gizlilik odaklı bir açıklayıcı olarak çalışıyor.
  3. Klinik veriler NCBI ClinVar, openFDA ve ClinicalTrials.gov gibi açık kaynaklardan çekilerek deterministik grounding sağlanıyor.

Reddit LocalLLaMA

VI Araç & SDK

graphsignal-top: Açık Kaynak Graphsignal Profiler ile GPU İnferans İzleme Aracı

Graphsignal ekibi, GPU tabanlı LLM servislerinin performansını anlık izleyebilen yeni bir komut satırı aracı graphsignal-top'u duyurdu. Araç, GPU kullanımını, bellek, güç tüketimi, çekirdek zaman dağılımını ve her bir kernel'in okunabilir adını saniyeler içinde göstererek geliştiricilere anlık içgörü sağlıyor.

Özetle 3 madde
  1. graphsignal-top, GPU kullanımını, bellek, güç ve throttling gibi metrikleri saniyeler içinde anlık gösteriyor.
  2. Kernel'ler okunabilir isim ve kategoriyle sıralanıyor; en çok zaman harcayanlar son 5 saniyede listeleniyor.
  3. Uzaktan izleme desteği (--host, SSH port‑forward) sayesinde dağıtık ortamlarda da kullanılabiliyor.

Reddit LocalLLaMA

VI Araç & SDK

LLM'nizle birlikte gelen ücretsiz çok-modlu gömme modeli: vLLM eklentisi ve upstream PR

NuMind, vLLM üzerinde çalışan bir eklenti aracılığıyla mevcut LLM'lerden çok-modlu metin ve görsel gömme vektörleri elde etmeyi mümkün kılıyor. Eklenti, son dekoder katmanının gizli durumunu OpenAI‑API uyumlu bir yanıt içinde sunarak yerel RAG ve semantik arama gibi senaryolara hızlı bir başlangıç sağlıyor.

Özetle 3 madde
  1. vLLM üzerinden çalışan LLM'lerin son gizli durum vektörü, tek bir API çağrısıyla gömme olarak sunulabiliyor.
  2. Eklenti, Apache‑2.0 lisanslı ve OpenAI‑API uyumlu, max_tokens=1 parametresiyle çalışıyor.
  3. NuExtract3 adlı 4 B açık‑ağırlıklı model, belge ve görselden yapılandırılmış (JSON/Markdown) çıktı üretebiliyor.

Reddit LocalLLaMA

VI Araç & SDK

LSearch: Windows için Embedding Destekli Spotlight Arama Uygulaması

Scutoidzz, Windows ortamına entegre çalışan bir Spotlight arama aracı LSearch'i duyurdu. Uygulama, 270M'lık embeddinggemma‑2 modeli ve iki adet Qwen 3.5 4B modelinden oluşan bir MoE (Mixture‑of‑Experts) mimarisiyle kod tamiri ve ajan‑tabanlı görevleri destekliyor.

Özetle 3 madde
  1. LSearch, 270M'lık embeddinggemma 2 modeliyle bağlamsal metin araması sağlıyor.
  2. İki ayrı Qwen 3.5 4B modeli, kodlama ve ajan‑tabanlı görevler için ince ayar yapılarak MoE yapısına birleştirildi.
  3. 16 GB RAM üzerindeki sistemlerde model otomatik indirilip kurulabiliyor, böylece kullanıcı müdahalesi minimuma indirildi.

Reddit LocalLLaMA

VI Araç & SDK

VectorDash: EmbeddingGemma‑2 Tabanlı Tam Windows Arama Değiştiricisi

VectorDash, EmbeddingGemma 2 modelini kullanarak Windows 11 için tam kapsamlı bir arama motoru sunuyor. Anlam temelli ve kelime bazlı aramaları fotoğraf, ses, video, PDF ve Office dosyaları üzerinde gerçekleştirebilen uygulama, çok dilli ve kod arama desteği de sağlıyor.

Özetle 3 madde
  1. EmbeddingGemma 2 tabanlı anlamsal arama, fotoğraf, ses, video, PDF ve Office dosyalarında sayfa ve zaman damgası ile sonuç veriyor.
  2. Full ve Quick indeksleme modları birleştirilerek hem derin içerik analizi hem de hızlı dosya‑adı taraması sağlanıyor.
  3. Evrensel başlatıcı özelliği sayesinde uygulama çalıştırma, ayar erişimi ve doğrudan matematik hesaplamaları yapılabiliyor.

Reddit LocalLLaMA

VI Araç & SDK

Güvenilir ve iyi tasarlanmış yerel model tabanlı AI arama için neler yapıyorsunuz?

OpenWebUI'nin yerleşik web arama özelliği, bulut tabanlı Claude ve Gemini gibi hizmetlerin akıcılığına ulaşamıyor ve gecikme sorunları yaşıyor. Kullanıcılar, yerel LLM'lerle hızlı, tutarlı ve doğru bilgi sunan bir arama entegrasyonu arayışında. Reddit topluluğu, hangi UI, arama sağlayıcıları ve model/kuantizasyon kombinasyonlarının bu ihtiyacı karşılayabileceği konusunda deneyimlerini paylaşıyor.

Özetle 3 madde
  1. OpenWebUI, Text Generation Web UI ve Ollama gibi UI'lar, yerel LLM entegrasyonu için popüler seçeneklerdir.
  2. DuckDuckGo API, SerpAPI ve kendi ElasticSearch/MeiliSearch kurulumları, hızlı ve özelleştirilebilir arama sağlayıcıları olarak öne çıkıyor.
  3. LLaMA‑2 7B, Mistral‑7B ve Mixtral‑8x7B modelleri, 4‑bit GGML (Q4_K_M) gibi agresif kuantizasyonlarla bellek tasarrufu sağlarken tutarlı özetler üretebiliyor.

Reddit LocalLLaMA

VI Araç & SDK

GamePause: VRAM'ı otomatik boşaltan ve yerel LLM'leri geri yükleyen hafif Windows aracı

Yerel büyük dil modellerini (LLM) sürekli çalıştıran kullanıcılar, oyun oynarken VRAM sıkıntısı yaşıyordu. Bu sorunu çözmek için geliştirilen GamePause, oyun başladığında modelleri otomatik olarak boşaltıp, oyun bittiğinde geri yükleyerek kesintisiz bir deneyim sunuyor.

Özetle 3 madde
  1. GamePause, oyun başladığında LM Studio ve Ollama gibi yerel LLM'leri otomatik olarak durdurup VRAM'ı boşaltıyor.
  2. Oyun bittiğinde modeller otomatik olarak yeniden yükleniyor; per‑oyun kuralları ve manuel kontrol seçenekleri mevcut.
  3. Rust ile geliştirilmiş, MIT lisanslı ve tamamen açık kaynak; telemetri ve hesap gerektirmiyor.

Reddit LocalLLaMA

12 / 30 haber