Mistral, Timestral 209M Modelini Açık Kaynak Olarak Yayınladı
Mistral AI, sıfır-atış tahmin yeteneği sunan Timestral zaman serisi temel model ailesini duyurdu. 209M parametreli modelin checkpoint'i ve kaynak kodu GitHub üzerinden erişime açıldı, aynı zamanda farklı boyutlarda modeller HuggingFace'de bulunabilir.
Özetle
- 1
Timestral ailesi 5M'den 209M parametreye kadar dört farklı model boyutu sunuyor.
- 2
209M model, 24 katmanlı patch‑tabanlı transformer ve zaman‑ve‑varyate dikkat mekanizmalarıyla tasarlandı.
- 3
Maksimum 32.768 tarihsel adım ve 1.024 adım tahmin ufku tek bir ileri geçişte işlenebiliyor.
- 4
Model 21 kuantil üzerinden probabilistik tahmin üretebiliyor ve eksik değerleri NaN olarak işaretliyor.
- 5
Kaynak kod ve 209M checkpoint'i GitHub'da açık kaynak, modeller ise HuggingFace'de erişime açık.
Mistral, Timestral adını verdiği yeni bir zaman serisi temel model ailesi geliştirdi. Aile, 5M, 28M, 123M ve 209M parametreli dört farklı boyutta sunuluyor ve sıfır-atış (zero-shot) tahmin yeteneğiyle dikkat çekiyor. Bu duyurunun odak noktası, 209M parametreli modelin checkpoint'inin ve ilgili kodların GitHub üzerinden açık kaynak olarak yayınlanmasıdır.
Timestral-209M, patch tabanlı bir transformer mimarisi kullanıyor; modelde zaman dikkat (time attention) ve değişken dikkat (variate attention) mekanizmaları bulunuyor. Toplam 24 katman ve 768 boyutlu gömme (embedding) katmanı mevcut. Girdi verileri, 32 zaman adımından oluşan patch'ler halinde işleniyor ve her patch, değerleriyle birlikte eksik değer göstergeleri (missing-value indicators) üzerinden gömülüyor.
Model, tek değişkenli (univariate) ve çok değişkenli (multivariate) hedef serileri, geçmişe yönelik ve gelecekte bilinen kovaryantları (past-only ve known-future covariates) destekliyor. Sayısal ve kategorik (target-encoded) kovaryantlar kullanılabiliyor; eksik değerler NaN olarak işaretleniyor. Çıktı olarak 21 kuantil (0.01, 0.05, …, 0.99) sağlanıyor, bu da probabilistik tahmin imkanı tanıyor.
Timestral, maksimum 32.768 tarihsel zaman adımına (1.024 patch) kadar bir bağlam uzunluğunu ve tek bir ileri geçişte 1.024 adım (32 patch) kadar bir tahmin ufku (forecast horizon) sunuyor. Daha uzun ufuklar, blok blok tahmin edilerek ve her bloğun medyan tahmini bağlama eklenerek elde edilebiliyor. Çıktıların üretilmesi PyTorch üzerinde CPU ya da GPU kullanılarak gerçekleştirilebiliyor. Model ve farklı boyutlardaki sürümler HuggingFace platformunda (Timestral-209M, Timestral-123M, Timestral-28M, Timestral-5M) yayınlandı, bu da araştırmacıların ve geliştiricilerin kolayca erişimini sağlıyor.
Yöney yorumu
Timestral ailesi, zaman serisi analitiği ve tahmin uygulamalarında daha erişilebilir ve esnek bir temel sunarak geliştiricilerin ve veri bilimcilerin modelleri hızlıca denemelerine olanak tanıyacak.
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
