OpenAI, yapay zeka modellerinin çıkarım (inference) süreçleri için geliştirdiği Jalapeño adlı özel entegre devrenin (ASIC) ilk performans sonuçlarını açıkladı. Salı günü Hot Chips konferansında sunulan bulgulara göre çip, mevcut Nvidia çözümlerine kıyasla hem enerji verimliliği hem de yanıt hızı açısından önemli bir ilerleme sunuyor.
OpenAI donanımdan sorumlu başkan Richard Ho, Jalapeño'nun "her iki dünyanın en iyisini" birleştirdiğini belirtti. Tipik olarak yapay zeka sistemleri düşük gecikme veya yüksek verimlilik arasında seçim yapmak zorunda kalırken, Jalapeño her ikisini de sağlıyor. SemiAnalysis'in InferenceX benchmark platformunda gerçekleştirilen testlerde Jalapeño, GPT-OSS 120B, DeepSeek R1 ve Kimi K2.5 1T modelleriyle test edildi. Sonuçlara göre çip, watt başına 1,5 ila 1,9 kat daha fazla yapay zeka işi gerçekleştirirken, uçtan uca gecikme tarafında 1,7 ila 3,6 kat daha düşük değerler elde etti.
Tasarımda veri hareketi minimize edildi
Jalapeño'nun temel tasarım felsefesi, çıkarım süreci sırasında
bellek ve işlem birimleri arasında gereksiz veri taşımasını
azaltmak. Broadcom ile ortaklaşa geliştirilen çip, prefill ve
iletişim aşamaları sırasında meydana gelen gecikmeleri minimize
etmek için özel olarak tasarlandı. Model durumu ve KV cache'i yerel
tutarak gerekli işlem, bellek ve ağ kombinasyonunun her çıkarım
aşaması için etkinleştirilmesi sağlanıyor. Çip, TSMC'nin N3P üretim
süreciyle yapılıyor ve HBM4 bellek kullanarak paket başına 15,4
TB/s bellek bant genişliği sunuyor.
Hesaplama tarafında Jalapeño, yapay zeka modellerinde yoğun
kullanılan matris işlemleri için özel motorlar içeriyor. MXFP adlı
düşük hassasiyetli sayısal format desteği sayesinde veriler 4 bit
seviyesine kadar sıkıştırılabiliyor. Çip ayrıca kontrol işlemleri
için 64 bit skaler çekirdekler ve daha yüksek hassasiyet gerektiren
hesaplamalar için FP32/INT32 vektör çekirdekleri barındırıyor.
Çok yıllı dağıtım planı
OpenAI, Jalapeño'yu çok nesilden oluşan bir platform olarak konumlandırıyor. Çip, 2026 sonunda küçük hacimlerle devreye alınacak, ancak 2027'den itibaren daha geniş çaplı dağıtım başlayacak. Ho, şirketin Jalapeño ile tüm çip yığınını değiştirmeyi planlamadığını, Nvidia gibi güçlü ortaklarla birlikte çalışmaya devam edeceğini ifade etti. OpenAI, Jalapeño'nun ikinci ve üçüncü nesillerini geliştirmeye hazırlanıyor. OpenAI, Gluon kernel programlama dili aracılığıyla donanım ve yazılımı entegre bir şekilde optimize etmeyi hedefliyor.
