Qwen3 Next 80B FP8, ultra uzun bağlam ve yüksek verimli çıkarım için tasarlanmış güncel bir sürüm olarak öne çıkıyor. Alibaba nın Qwen ekibi, Instruct ve Thinking olmak üzere iki eğitim sonrası varyantı FP8 kuantize ağırlıklarla yayınladı. Bu sürümler, performansı artırırken dağıtımı kolaylaştırmayı hedefliyor ve sglang ile vLLM nightly yapıları için net notlar içeriyor.
FP8 paketleri, BF16 sürümlerinin yansıması niteliğinde ve aynı kıyaslamaları referans alıyor. Yani ek bir değerlendirme koşusu değil, daha çok pratikte bant genişliği ve gecikme avantajı kazandıran hafif bir dağıtım seçeneği sunuyor. Bu yaklaşım, özellikle maliyet duyarlı üretim iş yüklerinde belirgin kazanımlar sağlayabilir.
Qwen3 Next 80B FP8 nedir?
Model, Gated DeltaNet ile Gated Attention katmanlarını dönüşümlü kullanan hibrit bir yığına sahip. Bu yığın, aşırı seyrek Karışım Uzmanlar MoE mimarisiyle birleştirilerek parametre verimliliği ve yüksek aktarım hızları sağlıyor. 80B toplam parametre bütçesinden, her bir token için yaklaşık 3B parametre etkinleşiyor.
Yerleşim, 48 katmanın 12 blok halinde düzenlenmesiyle açıklanıyor. Her blokta 3 kez Gated DeltaNet ardından MoE, sonrasında 1 kez Gated Attention ardından MoE yapısı yer alıyor. MoE tarafında 512 uzman bulunuyor ve 10 uzman yönlendirme ile 1 paylaşılan uzman etkinleştiriliyor. Bu tasarım, yüksek akış ve düşük gecikmeyi hedefliyor.
Uzun bağlam nasıl sağlanır?
Doğal bağlam penceresi 262144 token. RoPE ölçeklemesi YaRN kullanılarak yaklaşık 1010000 token seviyesinde doğrulama yapılmış durumda. Bu sayede çok uzun belgeler, geniş arama uzayı ve bellek yoğun görevler daha stabil bir şekilde işlenebiliyor.
FP8 ne kazandırır yüksek verimli çıkarım için?
Yayınlanan ağırlıklar, ince taneli FP8 olarak paketleniyor ve blok boyutu 128. Bu yaklaşım, bellek bant genişliği baskısını azaltıp throughput artışı sunabilir. FP8 sürümleri performans kolaylığı için sağlanıyor, değerlendirme sonuçları BF16 ile aynı referansı kullanıyor.
FP8 paketleri, sglang ve vLLM nightly yapıları üzerinde dağıtım notlarıyla geliyor. Doğru CUDA ve derleme uyuşmasıyla, FP8 çekirdekleri pratikte üstün GPU doygunluğu ve daha yüksek isabetli toplu iş verimi sağlayabilir.
| Bileşen | Değer |
|---|---|
| Toplam parametre | 80B |
| Etkin parametre token başına | Yaklaşık 3B |
| Katman düzeni | 48 katman 12 blok 3x Gated DeltaNet ardından MoE ve 1x Gated Attention ardından MoE |
| Bağlam penceresi | 262144 doğal YaRN ile yaklaşık 1010000 doğrulanmış |
| Gizli boyut | 2048 |
| Dikkat başlıkları | Q 16 KV 2 kafa boyutu 256 |
| DeltaNet başlıkları | V 32 QK 16 kafa boyutu 128 |
| MoE düzeni | 512 uzman 10 yönlendirme 1 paylaşılan |
| Kuantizasyon | FP8 ince taneli blok 128 |
| Varyantlar | Instruct ve Thinking |
Kimler Qwen3 Next 80B FP8 den faydalanır?
Yüksek trafikli LLM servis sağlayıcıları, uzun doküman işleyen kurumsal ekipler ve araştırma laboratuvarları bu sürümden yarar sağlar. MoE verimliliği sayesinde maliyet hassasiyeti yüksek iş yüklerinde dengeli kalite performans profili elde edilir.
Çok uzun bağlamlı soru cevap, yeniden alma destekli oluşturma, çok döngülü akıl yürütme ve düşük gecikmeli sohbet servisleri öne çıkan alanlar. Ayrıca sglang ve vLLM ekosistemleriyle çok kiracılı ve dinamik toplu iş senaryoları kolaylaşır.
Qwen3 Next 80B FP8 ile yayınlama adımları neler?
Nightly sürümlerde FP8 desteğini doğrulayın ve uygun CUDA ile sürücü eşleşmesini sağlayın. Tensor paralelleştirme ve pipeline paralelleştirme ayarlarını modelin 48 katman yapısına göre dengeleyin.
- KV cache veri tipini dikkatle seçin FP8 ağırlıklar ile BF16 aktivasyonlar dengesi genellikle iyi sonuç verir.
- Toplu iş boyutunu GPU doygunluğu için aşamalı arttırın gecikme hedeflerini gözetin.
- YaRN ölçeklemesinde aşırı uzun bağlamlarda kalite regresyonu için işaretleyiciler ekleyin.
- Instruct ve Thinking varyantlarını görev türüne göre A B test ile eşleştirin.
FP8 paketleri pratik dağıtım ve performans kolaylığı için sunulur. Nihai hız ve kalite profili donanım topolojisi ve çerçeve yapılandırmasına bağlıdır.
Sara Global olarak, üretim ölçeğinde LLM dağıtımlarında mimari tasarımdan DevOps otomasyonuna kadar tüm aşamalarda yanınızdayız. Qwen3 Next 80B FP8 gibi ileri mimarilerde, kapasite planlama ve gözlemlenebilirlik stratejileriyle toplam sahip olma maliyetini düşürmenize yardımcı oluruz.
