NVIDIA Cosmos3-H-Dreams: Klinik Cerrahi Simülasyonunda Gerçek Zamanlı Üretken Görüntüleme
NVIDIA, Cosmos3-H-Dreams adlı yeni bir üretken simülatörle klinik cerrahi sahnelerini gerçek zamanlı olarak canlandırıyor. Model, gerçek ameliyat kayıtlarından öğrenerek enzimatik kontrol ve doku deformasyonlarını anlık olarak yansıtıyor ve tek bir RTX PRO 6000 GPU’da çalışabiliyor.
Özetle
- 1
Cosmos3-H-Dreams, klinik kolesistektomi kayıtlarından öğrenerek gerçek zamanlı, eylem‑koşullu cerrahi sahneler üretebilen ilk üretken simülatör.
- 2
Model, 16 milyar parametreli Cosmos3-H-Embodied-Nano temeli üzerine 28 eylem boyutlu bir kontrol setiyle çalışıyor ve tek RTX PRO 6000 GPU’da akıcı bir şekilde çalışıyor.
- 3
FlashDreams akış‑inference kütüphanesi ve FadeMem cache‑konsolidasyonu sayesinde uzun roll‑out’larda düşük gecikme ve tutarlı dikkat geçmişi sağlanıyor.
NVIDIA, Cosmos3-H-Dreams'i duyurarak üretken yapay zekâ tabanlı cerrahi simülasyonun bir sonraki aşamasını tanıttı. Önceki Cosmos-H-Dreams sürümü, dVRK masaüstü dikiş uygulamaları için video ve robot kinematiğiyle eğitilmişti; yeni sürüm ise CMR Surgical Versius platformunda kaydedilen klinik kolesistektomi görüntülerinden öğrenerek iki enstrüman (sol Cadiere tutucu ve sağ monopolar kanca) kontrolüne dayalı gerçek zamanlı sahne üretimi sağlıyor. Model, 16 milyar parametreli Cosmos3-H-Embodied-Nano temeli üzerine, 28 eylem boyutlu (poz, kavrama, enerji ve joystick girdileri) bir öğretmen‑öğrenci eğitim hattı ile geliştirildi.
Eğitim sürecinde, öğretmen model 24 ila 72 kare (2,4‑7,2 saniye) uzunluğunda gelecekteki çerçeveleri tahmin ederken, distilasyon aşaması bu modeli neden‑sonuç ilişkisine dayalı bir öğrenciye dönüştürerek blok‑blok video üretimini mümkün kılıyor. Öğrenci model iki farklı sürümde sunuluyor: dört adımlı denoising ve iki adımlı denoising; ikincisi daha hızlı ancak görsel kalite açısından bir miktar gerileme içeriyor. Gerçek zamanlı akış, FlashDreams kütüphanesi ve uyarlanmış FadeMem modülü sayesinde uzun roll-out’larda artan dikkat geçmişi (key/value cache) etkili bir şekilde yönetiliyor.
Cosmos3-H-Dreams, sadece görsel gerçekçilikle sınırlı kalmayıp, enstrüman hareketlerine tutarlı doku tepkileri üretme yeteneğiyle de öne çıkıyor. Kullanıcılar aynı başlangıç karesinden farklı eylem dizileriyle yeni sahneler oluşturabiliyor, bu da modelin eğitim verisinde bulunmayan hareketleri genelleme kapasitesini gösteriyor. NVIDIA, bu araştırma simülatörünün klinik bir doğrulama aşamasında olmadığını vurgularken, cerrahi robotik politikaları, sayısal fiziksel simülasyonlarla entegrasyon ve çoklu enstrüman desteği gibi gelecekteki araştırma yönlerini de paylaşıyor.
Geliştiriciler, sunulan dört‑ve‑iki‑adımlı checkpoint’leri kendi veri setlerine uyarlayabilir; NVIDIA, veri hazırlama, öğretmen ince ayarı ve Self‑Forcing distilasyonu için adım‑adım bir rehber sağlıyor. Bu sayede akademik ve endüstriyel araştırmacılar, senkronize video‑kinematik veriyle benzer gerçek zamanlı üretken simülatörler geliştirebilir ve kendi kontrolcü entegrasyonlarını aynı eylem normlarıyla gerçekleştirebilir.
Yöney yorumu
Cosmos3-H-Dreams, cerrahi eğitim ve politika geliştirme alanında gerçek zamanlı görsel geri bildirim sunarak araştırmacıların ve geliştiricilerin daha etkili simülasyon ortamları yaratmasını sağlayacak. Ancak klinik doğrulama aşamasına henüz ulaşmadığı için, pratik tıp uygulamalarına entegrasyonu uzun vadeli bir hedef olarak kalıyor.
Bu haber Hugging Face kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
