Şirket İçin 4x 6000 Blackwell GPU Sunucu Kurulumu
Bir şirket, 40 kişilik ekip için yerel AI hizmetlerini tek bir 4U sunucuda topladı. Sunucu, dört adet 6000 Blackwell MaxQ GPU, 384 GB DDR5 RAM ve AMD EPYC 9275F işlemciyle çalışıyor ve Deepseek V4 Flash, Qwen 3.8 ve K2‑Horizon gibi modelleri barındırıyor.
Özetle
- 1
4x NVIDIA 6000 Blackwell MaxQ GPU ve 384 GB DDR5 RAM ile yüksek performanslı bir AI sunucusu kuruldu.
- 2
Deepseek V4 Flash (1 M token), Qwen 3.8 27B ve K2‑Horizon 7B modelleri LXC konteynerlerinde çalıştırılıyor.
- 3
BiFrost API yönlendiricisi sayesinde 10 geliştirici ayrı API anahtarlarıyla modelleri kullanabiliyor.
Şirket, 10 geliştiriciyi de içinde barındıran 40 kişilik bir ekip için yerel AI hizmetlerini tek bir 4U sunucu üzerinden sunuyor. Sunucu, dört adet NVIDIA 6000 Blackwell MaxQ GPU, 384 GB DDR5 bellek ve 24 çekirdekli AMD EPYC 9275F işlemciden oluşuyor; Proxmox tabanlı bir sanallaştırma ortamı kullanılarak her model ve uygulama LXC konteynerlerinde, CUDA 13.3 ve Debian 13 ile çalıştırılıyor.
Ana model olarak Deepseek V4 Flash vLLM ile 1 M token bağlam uzunluğuna sahip bir yapılandırma (GPU kullanım oranı %55, TP4) tercih edilirken, yedek model olarak Qwen 3.8 27B Q8, 265 K bağlam uzunluğu ve llama.cpp ile; daha hafif bir mini model olarak ise K2‑Horizon 7B Q6, 64 K bağlam ve Q8 formatı kullanılıyor. Gömme ve yeniden sıralama görevleri için Geofront/BGE‑M3‑GGUF (BF16) ve sinjab/bge‑reranker‑v2‑m3‑F16‑GGUF modelleri llama.cpp üzerinden çalıştırılıyor.
Geliştiriciler, BiFrost adlı OpenAI uyumlu API yönlendiricisi aracılığıyla kendi API anahtarlarıyla modelleri kullanabiliyor. Otomasyon için n8n, ses transkripsiyonu için Whisper ve Vexa AI, Teams entegrasyonu ve karar‑todo çıkarımı gibi iş akışları sağlanıyor. Kullanıcı arayüzü olarak OpenWebUI, ChatGPT benzeri bir web arayüzü sunuyor; ancak en ileri düzey ajan özellikleri devre dışı bırakılmış durumda. Tavily entegrasyonu sayesinde web aramaları da mümkün.
Sunucunun toplam maliyeti yaklaşık 55 000 € olarak belirtilmiş ve yedek bir sunucu için iki adet 6000 Blackwell MaxQ GPU daha planlanıyor. Görsel ve video üretimi için ComfyUI, pazarlama materyalleri oluşturuluyor. Bu altyapı, şirket içinde AI‑odaklı iş akışlarını merkezi bir noktadan yöneterek maliyet etkinliği ve ölçeklenebilirlik sağlıyor.
Yöney yorumu
Bu tür bir yerel AI altyapısı, şirket içi veri gizliliği ve maliyet kontrolü açısından önemli bir avantaj sunuyor; geliştiriciler de yüksek performanslı modelleri doğrudan erişebilir hâle geliyor. Ancak, yüksek başlangıç yatırımı ve bakım gereksinimleri, sadece belirli ölçeklerdeki organizasyonlar için uygulanabilir.
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
