Qwen 3.8 berjalan pada MTPLX

Hermit DaveAug 21

50% lebih banyak konteks terbuka untuk Qwen 3.8 27b Q4_K_XL dflash 2 pada satu RTX 4090 (VRAM 24 GB)

Saya menemukan pajak VRAM tersembunyi di llama.cpp. Dengan menggabungkan drafter DFlash 2 2 bit khusus saya dengan satu flag server yang diabaikan, saya baru saja membuka +80.000 token konteks lainnya. Qwen3.8-27B

AlokAug 2162

Menerapkan qwen 3.8 27b dengan dflash2 pada 2 rtx 5090s

Generasi stabil: ~220 tok/s Kisaran normal: ~190–257 tok/dtk Pengamatan terbaik: ~343 tok/dtk sgl_project dengan dflash2 sangat cepat

RajuGangitlaAug 211

Qwen 3.8 27B sekarang bisa jalan lokal di rtx 4060 8GB?!

Ini yang bikin gue berhenti scroll. Model 27B yang biasanya kedengeran “terlalu besar buat GPU kecil” ternyata bisa dipaksa jalan di RTX 4060 dengan cuma 8GB VRAM menggunakan quantization baru dari Unsloth: IQ4_XS.

stellar protocolAug 211