Yerel AI Kullanımı Heyecan Verici, Bunaltıcı ve Sinir Kırıcı Olabilir
The Verge yazarının, 256 GB birleştirilmiş belleğe sahip M5 Ultra Mac Studio’da açık kaynaklı Hermes Agent ve 125 milyar parametreli Qwen 3.8 Flash Next modelini çalıştırarak yerel yapay zekâ deneyimini anlatan günlüğü, gizlilik avantajlarıyla birlikte pratik kullanım senaryolarını ve karşılaşılan zorlukları ortaya koyuyor.
Öne Çıkan Başlıklar
- Hermes Agent, macOS, Windows ve Linux’da çalışabilen ücretsiz bir yerel AI ajanı olarak Qwen 3.8 Flash Next gibi 125 milyar parametreli modelleri çalıştırabiliyor.
- 256 GB birleştirilmiş belleğe sahip M5 Ultra Mac Studio, büyük modelleri yerel ortamda çalıştırmak için yeterli güce sahip.
- Yerel AI, kişisel veri gizliliği sayesinde e‑posta, takvim, finansal kayıt ve Steam kütüphanesi gibi hassas görevlerde bulut hizmetlerine bağımlılığı ortadan kaldırıyor.
- Uygulama geliştirme ve otomasyon (ör. laptop benchmark testleri) hâlâ zorluklar içeriyor; sistem hataları ve model kararlılığı sorunları devam ediyor.
Antonio G. Di Benedetto, kişisel verilerini bulut hizmetlerine vermekten çekindiği için yerel AI çözümlerine yöneldiğini ve bu süreci bir günlük şeklinde belgelediğini belirtiyor. Apple’ın yeni Mac Studio serisinin yerel AI performansını vurgulaması ve RTX Spark tabanlı Windows makinelerinin 128 GB RAM’e kadar çıkması, yazarın deneme platformu olarak seçtiği M5 Ultra Mac Studio’nun 256 GB birleştirilmiş belleği sayesinde neredeyse her açık kaynak modelini çalıştırabilmesine olanak tanıdı. Hermes Agent, macOS, Windows ve Linux’da çalışabilen ücretsiz bir AI ajanı olarak kuruldu; yazar, model seçicisi üzerinden Qwen 3.8 Flash Next (125 milyar parametre, yaklaşık 105 GB) modelini seçerek ilk denemesini yaptı.
İlk testlerde Hermes, Telegram botu aracılığıyla telefon üzerinden kontrol edilebildi ve yazar, sabah e‑posta ve takvim taraması yapan bir günlük brifing oluşturdu. Başlangıçta macOS’un uyku modunda olması brifingin başarısız olmasına yol açtı, ancak sorunu çözerek rutin hâle getirdi. Daha sonra, Steam kütüphanesindeki 400'den fazla oyunu türlerine göre otomatik sınıflandırmak için Hermes’e Steam Web API anahtarı verildi; ajan sadece birkaç dakikada oyunları istenen kategorilere ayırdı ve anahtar kolayca iptal edildi.
Yerel AI’nın gizlilik avantajı, yazarın finansal kayıtları analiz etmesi ve yeni bir laptop için teknik karşılaştırma tablosu oluşturması gibi hassas görevlerde de ortaya çıktı; bu veriler buluta gönderilmediği için güvenli bir ortam sağlandı. En büyük otomasyon hedefi, laptop benchmark testlerini bir dizi Python betiğiyle otomatikleştirmek; bu hâlâ geliştirme aşamasında ve bazı adımlar hâlâ elle yapılmak zorunda. Yazar, yerel AI’nın hâlâ kusursuz bir asistan olmadığını, günlük brifingin gibi görevlerin zaman zaman kırıldığını ve sistemin bir araç olarak görülmesi gerektiğini vurguluyor.
YZ Yorumu
Yerel AI’nın yükselişi, veri gizliliği ve maliyet etkinliği arayan geliştiriciler için yeni bir ekosistem yaratırken, hâlâ olgunlaşma aşamasında olduğu için entegrasyon ve kararlılık sorunlarıyla karşılaşılabilir.
Yapay zekâ tarafından üretilmiştir.