Buku harian sumber terbuka Hari ke-3
Dibuat dengan Terresect, Qwen 3.8 27b di RTX 6000. Kemajuannya sangat lambat.
Bermain dengan qwen 3.8 27B hanya di lokal
Tujuan saya adalah membuka inferensi komoditas.
Not just better local ai, but better ai on cheap commodity hardware... We have made a lot of progress, a P100 GPU (~$100). Running Qwen 3.8 27b at nearly 17 tok/s without speculation. Our goal is 25+ tok/s.
Sudah sampai ujung arsip
Semua qwen38