Tujuan saya adalah membuka inferensi komoditas.
Bukan hanya AI lokal yang lebih baik, namun AI yang lebih baik pada perangkat keras komoditas murah... Kami telah membuat banyak kemajuan, GPU P100 (~$100). Menjalankan Qwen 3.8 27b dengan kecepatan hampir 17 tok/s tanpa spekulasi. Sasaran kami adalah 25+ tok/dtk.
Second attempt at this edit
Made with Terresect. Qwen 3.8 27b on a Single RTX 6000
Sudah sampai ujung arsip
Semua qwen38