Pembaruan pada titik akhir komunitas gratis Qwen 3.8-27B (menjadi agak terlalu lambat)
2x replika H200 (+1 replika) sekarang gunakan decoding spekulatif (70 → 126 tok/s, diukur) pemikiran default sekarang menjadi sedang jika tidak disetel (xhigh membakar token dalam jumlah besar)
Telah menggunakan Qwen 3.8 27B (Q4) secara lokal pada VRAM 64GB.
Inilah putusannya: LAMBAT 18 tps dengan prompt sistem NOL untuk diproses dan itu menurun secara signifikan dengan prompt sistem harness dan seiring dengan bertambahnya jendela konteks. RIP kalau harus kompak. Saya telah menerapkan PRD ini
Benar-benar matang dengan model mereka.
Karena saya cukup timpang, saya meminta untuk menginstal Qwen 3.8-27B untuk saya di 1080 saya... Itu terinstal dan kecepatannya ~1,8 tok./s. Saya kemudian memutuskan untuk meminta Daybreak Blue High menemukan cara meningkatkan kecepatan ke sesuatu yang lebih
Cara menjalankan Qwen 3.8 27b (Opus 4.6) Di Rumah 🏆
Mendorong 30+ tk/s pada Mac M2 Max // 97 tk/s pada 4090 TL;DR: Menggunakan Codex + GPT‑5.6 SOL dengan alasan xHigh, saya menguji Qwen3.8‑27B baru di seluruh perangkat keras lokal saya dan hampir menggandakan kecepatannya melalui spekulatif asli penguraian kode.
Sudah sampai ujung arsip
Semua qwen38