FRAMEWIREEnglishDiperbarui Aug 20Kabel langsung
0:00 / 0:00

Teman-teman MLX, apakah kita memiliki jumlah yang bagus untuk menjalankan Qwen 3.8 27B di MBP Pro MAX4?

Its time to replace my Gemma in Hermés. Would love to have local power of almost Opus 4.6 while preserving the speed. Any tips?

dorsianAug 20
0:00 / 0:00
0:00 / 0:00

GILA. Qwen 3.8 27B kini berjalan secara lokal di RTX 4060 hanya dengan VRAM 8 GB.

64,000 token context window using Unsloth's new IQ4_XS quant, only 14.6GB on disk. Prefill hits 150 tokens/sec, decode at 5 tokens/sec via native MTP. Just 25 GPU layers offloaded to stay inside

CyrilXBTAug 2088
0:00 / 0:00

Penyebaran M1 Edisi Pengemis 16G Qwen 3.8-27B laporan pengujian aktual

不出意外,打字机效果,不过智商还可以😄 📊 实测配置与数据 设备:MacBook Pro(M1 / 16GB) 模型:Qwen3.8-27B(UD-Q2_K_XL,9.15GB) GPU:全层 Metal 卸载 内存:稳定在 11 GB 左右 首 Token 延迟:约 850ms 预填充速度:10~12.5 tok/s

LonelyAug 20207