RTX 3090 FE sahiplerine uyarı: LLM çalıştırmak VRAM'ı aşırı ısıtıyor

Nvidia RTX 3090 Founders Edition kartları, özellikle LLM'lerin token üretim aşamasında VRAM okuma kapasitesini tam olarak kullanarak aşırı ısınma eğilimi gösteriyor. Reddit topluluğu LocalLLaMA'da paylaşılan bir deneyde, stok fan ve güç eğrileri altında VRAM sıcaklığının sadece birkaç saniye içinde 112 °C'ye ulaştığı tespit edildi; bu değer üreticinin sürekli kullanım için belirlediği 96 °C sınırının çok üzerindeydi.

Kullanıcı, Qwen 3.8B‑27B modelini (5.1 bpw) thireus‑gguf‑tool‑suite ile çalıştırarak farklı güç kısıtlamaları ve fan ayarlarını test etti. 270 W güç sınırı ve fanın %100 hızda tutulması, VRAM sıcaklığını güvenli seviyelere (≤96 °C) geri çekti ancak bu konfigürasyon, modelin işleme hızını yaklaşık %30 oranında düşürdü. Nvidia'nın düşük güç seviyelerinde saat hızını düşürme (undervolting) mekanizması, 300 W üzerindeki güçlerde devreye girdiği için bu aşamada sıcaklık sorununu çözmedi.

Daha yüksek güç limitleriyle de test yapıldı: 290 W'de VRAM sıcaklığı 100 °C, 328 W'de 104 °C ve 353 W'de 108 °C olarak ölçüldü. Kullanıcı, MTP (Multi‑Token Prediction) özelliğinin açık olmasının sıcaklık artışını daha da tetiklediğini, kapalı denemelerin ise daha kötü sonuçlar verebileceğini öne sürdü. Sonuç olarak, 3090 FE sahiplerinin LLM çalıştırırken güç sınırını 270 W civarında tutmaları ve fanı tam hızda çalıştırmaları önerildi.

Bu bulgular, yüksek bellek kapasiteli GPU'ların LLM yükleri altında termal yönetim stratejilerinin yeniden gözden geçirilmesi gerektiğini gösteriyor. Özellikle ev kullanıcıları ve araştırmacılar, kartlarını aşırı ısıdan korumak için manuel fan kontrolü ve güç kısıtlaması gibi yöntemleri uygulamalı.