Qwen 3.8 27B dalam BF16 penuh pada satu M3 Ultra Mac Studio 96 GB.
Bobot 54,74 GB • puncak 58,09 GB 21,51 tok/s dengan decoding spekulatif MTP asli—63% lebih cepat dibandingkan tanpa drafter dalam pengujian saya. Video ini menggunakan potongan streaming yang diberi stempel waktu nyata. Resep Memeluk Wajah Tepat ↓
Qwen 3.8 adalah pengubah permainan!
Performanya setara dengan model Opus terbaru. Sangat terkesan dengan kemampuan di sini.
Akhirnya menguji Alibaba_Qwen Qwen 3.8 27B pada dua GPU RTX 5090.
🔥 Mendapatkan sekitar 120–130 token/detik dengan vLLM, UnslothAI NVFP4, MTP asli, dan target konteks 150 ribu. Output pengkodeannya terlihat sangat bagus.
Setelah menerapkan Qwen 3.8-27B secara lokal, saya mempelajari pengetahuan lain
Dgx spark tidak cocok untuk menjalankan model Dense Arsitektur model yang berbeda memiliki persyaratan throughput yang berbeda untuk daya komputasi dan bandwidth memori yang mendasarinya. Jika model padat tidak melakukan kuantifikasi dan manajemen KV dengan baik, sekuat apa pun perangkat kerasnya, model tersebut tidak akan berfungsi. Benar saja, latihan mendatangkan ilmu yang sejati, yuk rasakan kecepatannya.
Sudah sampai ujung arsip
Semua qwen38