Setelah menerapkan Qwen 3.8-27B secara lokal, saya mempelajari pengetahuan lain
Dgx spark tidak cocok untuk menjalankan model Dense Arsitektur model yang berbeda memiliki persyaratan throughput yang berbeda untuk daya komputasi dan bandwidth memori yang mendasarinya. Jika model padat tidak melakukan kuantifikasi dan manajemen KV dengan baik, sekuat apa pun perangkat kerasnya, model tersebut tidak akan berfungsi. Benar saja, latihan mendatangkan ilmu yang sejati, yuk rasakan kecepatannya.
QWEN 3.8:27b menjadikan ini sebagai one shot prompt untuk saya dalam jarak 20m!
Semua sambil berjalan secara lokal di mesin saya. Agak gila
Tugas Agen: Instal K3 di slicervm Anda sendiri
Kiri: DeepSeek V4 Flash 0731 - 2x DGX Sparks Kanan: Qwen 3.8 27B (FP8) - 1x RTX 6000 Pro 40 (ish) tok/dtk gen vs 88 tok/dtk Mengapa keduanya terasa “lambat”? Berpikir alias "varian" - mereka menghabiskan banyak uang untuk berpikir.
Perintah yang sama: Qwen 3.8 FP8 di sebelah kiri, Qwen 3.6 FP8 di sebelah kanan.
Perbedaan selera desainnya pun tidak terlalu jauh. Meskipun sulit untuk mengatakan apakah 3.8 secara khusus disesuaikan untuk tugas ini—tingkat penyempurnaannya hampir tidak nyata.
Sudah sampai ujung arsip
Semua qwen38