Akhirnya menguji Alibaba_Qwen Qwen 3.8 27B pada dua GPU RTX 5090.
🔥 Mendapatkan sekitar 120–130 token/detik dengan vLLM, UnslothAI NVFP4, MTP asli, dan target konteks 150 ribu. Output pengkodeannya terlihat sangat bagus.
Setelah menerapkan Qwen 3.8-27B secara lokal, saya mempelajari pengetahuan lain
Dgx spark tidak cocok untuk menjalankan model Dense Arsitektur model yang berbeda memiliki persyaratan throughput yang berbeda untuk daya komputasi dan bandwidth memori yang mendasarinya. Jika model padat tidak melakukan kuantifikasi dan manajemen KV dengan baik, sekuat apa pun perangkat kerasnya, model tersebut tidak akan berfungsi. Benar saja, latihan mendatangkan ilmu yang sejati, yuk rasakan kecepatannya.
QWEN 3.8:27b menjadikan ini sebagai one shot prompt untuk saya dalam jarak 20m!
Semua sambil berjalan secara lokal di mesin saya. Agak gila
Tugas Agen: Instal K3 di slicervm Anda sendiri
Kiri: DeepSeek V4 Flash 0731 - 2x DGX Sparks Kanan: Qwen 3.8 27B (FP8) - 1x RTX 6000 Pro 40 (ish) tok/dtk gen vs 88 tok/dtk Mengapa keduanya terasa “lambat”? Berpikir alias "varian" - mereka menghabiskan banyak uang untuk berpikir.
Sudah sampai ujung arsip
Semua qwen38