Dan saya melakukan ini dengan Qwen 3.8 27B FP8, sementara saya memberikan colacao kepada anak saya melalui suara dari dapur.
Buku harian sumber terbuka Hari ke-3
Dibuat dengan Terresect, Qwen 3.8 27b di RTX 6000. Kemajuannya sangat lambat.
Bermain dengan qwen 3.8 27B hanya di lokal
Tujuan saya adalah membuka inferensi komoditas.
Not just better local ai, but better ai on cheap commodity hardware... We have made a lot of progress, a P100 GPU (~$100). Running Qwen 3.8 27b at nearly 17 tok/s without speculation. Our goal is 25+ tok/s.
Sudah sampai ujung arsip
Semua qwen38