Sebuah 3090 tunggal yang menjalankan Qwen 3.8 27b pada 220 t/s + 150k konteks
Q8 tentang bobot dan cache KV Biarkan bajingan itu berpikir 😈
Kebingungan menjalankan AI secara lokal di perangkat Anda 🔥
Perplexity mengumumkan fitur baru untuk pelanggan Pro dan Max yang disebut Portable Computer, yang berjalan pada perangkat NVIDIA DGX Spark. Maksud saya! Daripada mengirimkan permintaan ke server cloud jarak jauh, Anda dapat menjalankan model AI secara lokal di perangkat itu sendiri. Artinya…
Mencobanya pada satu b70 setelah mengambilnya sebelum menggunakan konfigurasi Anda untuk qwen 3.8 27b, luar biasa.
Saya baru saja berhasil menyelesaikan hal paling keren yang pernah saya lakukan sejauh ini dengan AI menggunakan Qwen 3.8 27B NVFP4 untuk NInfer.
Saya merekayasa baliknya Starlight Precise 2.6, peningkatan video terbaik sehingga saya dapat menjalankannya secara asli di Linux. Itu sebelumnya digunakan di dalam Wine. Tampaknya memang demikian
Sudah sampai ujung arsip
Semua qwen38