OpenAI, Habitat Depolama Platformunu 1 Milyar Kullanıcıya Hizmet Verecek Şekilde Ölçeklendirdi (Part II)

OpenAI ürünlerinin hızlı ve güvenilir veri erişimi, Habitat adlı depolama platformu üzerinden sağlanıyor. Platform, 40 coğrafi bölgede 1 milyardan fazla kullanıcıya milisaniyeler içinde hizmet vermek zorunda. Bu hedefe ulaşmak için OpenAI, Habitat'ı basit bir Python istemcisinden, küresel ölçekte 500 petabayt veri yöneten bir hizmete dönüştürdü.

İlk aşamalarda tek kiracılı (single‑tenant) sistemler tercih edildi; her ürün ekibi kendi Cosmos DB konteynerini yönetiyordu. Bu yaklaşım, patlama yarıçapını (blast radius) küçültse de kapasite planlamasını zorlaştırdı ve aşırı tahsis (over‑provisioning) maliyetlerini artırdı. Ayrıca, mantıksal bölüm anahtarları (partition keys) çakışmaları ve gürültülü komşu (noisy‑neighbor) sorunları, aynı fiziksel bölümlerdeki performans sınırlamalarına yol açtı.

OpenAI, bu sorunları aşmak için bir dizi deneme yaptı: ayrı konteynerlerle izolasyon sağlandı, zayıf bölümleri (weak partitions) izleyen bir kontrol betiği geliştirildi ve kapasite planlaması ürün ekiplerine devredildi. Ancak, yeni hizmetlerin lansmanında konteynerlerin önceden ölçeklendirilmemesi SEV odalarına yol açtı ve organizasyonel ölçeklenebilirliği sınırladı.

Son aşamada, OpenAI tekrar çok kiracılı bir mimariye yöneldi ve Azure Cosmos DB ekibiyle birlikte sıcak anahtar (hot key) sınırlaması, hizmet kalitesi (QoS) katmanları ve geliştirilmiş sunucusuz (serverless) mod gibi yenilikler ekledi. Bu iyileştirmeler, her fiziksel bölümün 10K RU/s'ye kadar ölçeklenmesini ve RU‑bazlı bölünmelerin otomatik gerçekleşmesini sağladı. Sonuç olarak, tek bir ortak konteynerle kapasite planlaması büyük ölçüde ortadan kalktı, gürültülü komşu olayları ortadan kalktı ve sistem, 10'larca petabayt veri ve 20M QPS'yi sorunsuzca işleyebiliyor. OpenAI ve Azure ekipleri, ortak izleme, test ve doğrudan mühendislik kanallarıyla bu ölçeği sürdürülebilir kılıyor.