Aleph Alpha, 1M bağlam uzunluğuna sahip açık ağırlıklı Kolibri modelini duyurdu

Aleph Alpha, Kolibri adlı yeni bir ikili (İngilizce‑Almanca) Mixture‑of‑Experts (MoE) transformer modeli tanıttı. Model, toplam 78,1 milyar parametreye sahipken, her token için yalnızca 3,46 milyar parametre aktif hâle geliyor ve bağlam uzunluğu bir milyon tokena kadar çıkıyor. Ağırlıklar, Apache 2.0 lisansı altında Hugging Face platformundan indirilebiliyor, bu da hükümet ve düzenleyici sektörlerde veri egemenliğini koruyarak yerel (on‑prem) çalıştırma imkânı sağlıyor.

Kolibri, 768 Nvidia B200 GPU’da 21 gün boyunca 20 trilyon token üzerinden temel eğitim aldı, ardından uzun‑bağlam adaptasyonu için ek 24 trilyon token işlendi. Mimari olarak 384 uzman (expert) katmanı bulunuyor; her token için altı uzman aktif hâle geliyor. 50 katmanın 10'unda tam dikkat (full attention) uygulanırken, geri kalan 40 katmanda maliyeti kontrol altında tutmak için 512 tokenlık kaydırmalı pencere (sliding window) kullanılıyor. Adaptasyon aşamasında bağlam uzunluğu 256 000 tokena kadar çıkarıldı, ancak kullanıcılar modelin 1 048 576 tokena kadar hizmet vermesini ayarlayabiliyor.

Almanca, eğitim verisinin %21,3'ünü oluşturuyor ve 128 000 girişli iki dilli bir kelime hazinesiyle destekleniyor; tokenizer, Almanca bileşik kelimeleri koruyacak şekilde tasarlandı. Model, dört farklı akıl yürütme (reasoning) seviyesi (hiçbiri, düşük, orta, yüksek) ve araç çağrısı (tool calling) yeteneği sunuyor. Özellikle Almanca, matematik, kodlama, uzun‑bağlam ve ajan‑tabanlı görevler için özelleştirildi; kamu yönetimi, otomotiv, yarı iletken, endüstriyel teknoloji ve uzay sektörlerine yönelik değerlendirme paketleri de içeriyor.

Şirketin kendi testlerinde Kolibri, İngilizce genel puanında 75,5, Almanca genel puanında 70,8 elde etti. AIME 2025 benchmark'ında 96,9, LiveCodeBench v6'da 85,9 ve BFCL v4'te ise 61,4 puan aldı. Ayrıca, belge temelli sorularda (AA‑Omniscience) yanlış cevabı vermekten kaçınma oranı %44'e ulaştı (önceki Kolibri Origin %14,8 iken) ve şirketin M/A grounding skorunda 0,23 elde etti. Aleph Alpha, bu sonuçların modelin aktif parametre sayısının dört katına kadar olan rakiplerle eşdeğer performans gösterdiğini iddia ediyor.