OpenAI, 1 Milyardan Fazla Kullanıcıyı Destekleyen Çevrim İçi Depolama Platformu 'Habitat'ın Mimarisini Açıkladı
OpenAI, haftalık 1 milyardan fazla aktif kullanıcıya ve saniyede 70 milyondan fazla isteğe yanıt veren merkezi çevrim içi depolama mimarisi 'Habitat'ın perde arkasını paylaştı. DevDay 2023'te basit bir istemci kütüphanesi olarak doğan sistem, günümüzde 40 farklı coğrafi bölgede 500 petabayttan fazla veriyi yöneten devasa bir dağıtık servis mimarisine dönüştü.
Öne Çıkan Başlıklar
- Habitat platformu saniyede 70 milyondan fazla isteği işliyor ve haftalık 1 milyardan fazla aktif kullanıcıya hizmet veriyor.
- Sistem, yaklaşık 40 coğrafi bölgeye dağıtılmış vaziyette 500 petabaytın (PB) üzerinde veriyi yönetiyor.
- İstemci kütüphanesi modelinden bağımsız mikroservis mimarisine geçilerek dağıtım riskleri ve operasyonel kırılganlıklar azaltıldı.
- OpenAI, servis katmanında Python'ın getirdiği ek yükü stratejik bir teknik borç olarak kabul edip hız kazanmayı tercih etti.
- Şirket, gelecekteki dil optimizasyonu ve kod yeniden yazımı için kendi yapay zekâ kodlama modellerine (Codex ve GPT) güvendiğini vurguladı.
OpenAI mühendislik ekibi, ChatGPT, Codex ve API ürünlerinin temelini oluşturan çevrim içi depolama katmanı Habitat'ın teknik evrimini detaylandıran kapsamlı bir analiz yayımladı. Her kullanıcının giriş yapması, yeni bir sohbet başlatması veya sistem ayarlarını sorgulaması arka planda çok sayıda veri tabanı sorgusunu tetikliyor. Bu sorguların gecikmesiz ve kesintisiz çalışması amacıyla geliştirilen Habitat, son üç yılda her yıl 10 kat büyüyen kullanıcı talebini karşılayarak saniyede 70 milyon istek seviyesine ulaştı.
İlk olarak DevDay 2023'te GPTs özelliğini desteklemek üzere küçük bir Python istemci kütüphanesi olarak hayata geçirilen Habitat, temel olarak ürün mühendislerinin veri tabanı yönetimiyle uğraşmasını engellemeyi hedefliyordu. Mühendisler; şema sorguları, yönlendirme, kimlik doğrulama, şifreleme ve bağlantı havuzu (connection pooling) gibi karmaşık alt yapı detaylarıyla uğraşmadan Azure Cosmos DB ve önbellek katmanlarına erişebiliyordu. Ancak OpenAI bünyesindeki mikroservislerin ve trafiğin hızla artması, istemci tarafı (client-side) kütüphane yaklaşımının sınırlarına ulaşmasına yol açtı.
Farklı ekiplerin versiyon güncellemeleri arasındaki uyumsuzluklar, hata ayıklama süreçlerinin günlerce sürmesi ve bölgesel kesinti risklerini izole etme zorunluluğu, OpenAI'ı Habitat'ı bağımsız bir merkezi servise dönüştürmeye yöneltti. Depolama mantığının bağımsız bir servise çekilmesi; gözlemlenebilirlik, merkezi güvenlik politikaları, denetim günlükleri (audit logging) ve veri erişim kontrolü açısından tek bir kontrol noktası sağladı.
Yüksek verim gerektiren bir altyapı servisinde Python kullanmanın CPU, bellek ve ağ gecikmesi açısından ek maliyetler getireceğini kabul eden OpenAI, bunu stratejik bir 'teknik borç' olarak benimsediğini belirtti. Şirket, erken aşamada dil optimizasyonuna odaklanmak yerine ürün ekiplerinin önünü açmayı önceliklendirdi. Ayrıca, ileride ortaya çıkacak olası yeniden yazım (rewrite) ihtiyaçlarının, Codex ve GPT gibi kendi kodlama modellerinin gelişmesi sayesinde çok daha hızlı ve kolay çözüleceği öngörüsünde bulundu.
YZ Yorumu
OpenAI'ın altyapı tasarımındaki pragmatik yaklaşımı, hiper-büyüme dönemlerinde erken optimizasyon yerine ürün geliştirme hızını önceliklendirmenin önemini ortaya koyuyor. Ayrıca, altyapıdaki teknik borçların gelecekte yapay zekâ kodlama modelleriyle kapatılacağına dair aldıkları stratejik risk, üretken yapay zekânın bizzat yazılım mühendisliği süreçlerini nasıl dönüştürdüğünün somut bir kanıtı.
Yapay zekâ tarafından üretilmiştir.