Mencoba menjalankan model Qwen 3.8 2-bit secara lokal di Book4 Pro saya yang menjalankan Omarchy✌️
Ini berfungsi, tetapi saya mendapat sekitar 1,2 tkn/detik ... terlalu lambat untuk benar-benar menggunakannya (diharapkan).. ini adalah batas dari apa yang dapat saya jalankan pada perangkat keras saya saat ini... mungkin hanya menunggu model 35B MoE
Hitung model populer terkini dan data perangkat keras: M5 Max Qwen 3.8 27B MLX 4bit (model padat)
Konteks singkat dasarPP sekitar 900-925 tok/sTPS 32-33 tok/s ~32k TPS dan 28-29 tok/dtk Dalam kebanyakan kasus, ada peningkatan yang signifikan setelah mengaktifkan MTP atau DFlash. Pengukuran MTPLX sebenarnya kebanyakan 55-65 tok/sDFlash2, beberapa orang sudah mencapai sekitar 70 tok/s M5 Ultra Hari Ini…
Menu Warcraft III putaran 2
Gemini 3.1 Pro DSV4 Pro GLM 5.3 Grok 4.6 Fabel Sol Kimi K3 Saya punya pendapat tentang mana yang terbaik. Saya pikir ada baiknya melakukan perbandingan 4 persegi dengan Qwen 3.8 juga.
416 tok/s pada 3090. Itulah yang dijanjikan untuk Qwen 3.6 35B-A3B, dan ini adalah satu-satunya kolom di alat tersebut yang harus Anda abaikan.
Alat ini beredar kemarin dan patut mendapat perhatian. Gratis, tanpa registrasi, baca GPU Anda langsung dari browser, 284 perangkat
Sudah sampai ujung arsip
Semua qwen38