Motorlarınız Sırayla Çalışıyorsa 24 GB Yeterli

Yerel LLM topluluğu, RTX 4090 gibi yüksek bellek kapasiteli bir ekran kartını birden fazla yapay zeka motoru arasında paylaşmakta sıkıntı yaşadığını belirtiyor. Özellikle Linux ortamında bir node sürecinin terk edilmesi, comfyUI'nin otomatik başlatılması ve 500 MB VRAM tutması gibi sorunlar, Strata gibi motorların bellek talebini karşılayamamasına yol açıyordu.

Bu problemleri çözmek amacıyla geliştirilen Berth, GPU'yu izleyen bir servis olarak çalışıyor. Kullanıcıların bir motoru başlatıp kapatmalarını manuel olarak yönetmelerine gerek kalmadan, motorlar arasında sorunsuz bir geçiş sağlıyor. VRAM tamamen her fonksiyon için ayrılıyor; böylece "VRAM squatters" (bellek hırsızları) ortadan kalkıyor ve çakışmalar önleniyor.

Berth, aynı RTX 4090'ı birden fazla cihazda kullanan geliştiriciler için de ideal. Örneğin, gece boyunca Hermes motoru çalıştırılırken, gündüz saatlerinde kart başka bir iş istasyonuna devredilebilir. Ayrıca Berth, motorları bir API üzerinden sunarak Strata, PolyStrata ve diğer özel motorların dinamik olarak yüklenmesini mümkün kılıyor. Bu sayede oyun oynarken ya da özel iş akışları yürütürken kartın başka bir süreç tarafından ele geçirilmesi riski ortadan kalkıyor.

Projenin kaynak kodu GitHub üzerinden erişilebilir (https://github.com/T-Crypt/berth) ve topluluk tarafından aktif olarak test ediliyor. Kullanıcılar, Ninfer-4090 (llama-swap), Strata, comfyUI, OpenWebUI gibi popüler motorları sorunsuz bir şekilde aynı GPU üzerinde sırayla çalıştırabiliyorlar.