Bermain dengan qwen 3.8 27B hanya di lokal

BadbrainSep 261

Tujuan saya adalah membuka inferensi komoditas.

Not just better local ai, but better ai on cheap commodity hardware... We have made a lot of progress, a P100 GPU (~$100). Running Qwen 3.8 27b at nearly 17 tok/s without speculation. Our goal is 25+ tok/s.

Shannon 🤖☠️Sep 265

Qwen 3.8 27B MLX 4Bit

Ash HartSep 2615

Upaya kedua pada pengeditan ini

Made with Terresect. Qwen 3.8 27b on a Single RTX 6000

WbackdownSep 251