Terus-menerus kagum dengan apa yang dapat Anda lakukan di rumah dengan investasi *signifikan* (tetapi juga bukan uang perahu).
Agen/harness saya sendiri berjalan sepenuhnya pada perangkat keras saya sendiri. Ini adalah model Flash Qwen 3.8 yang berjalan pada satu Spark, ditambah semua model suara yang berjalan pada 3090. Ini dicolokkan ke OMP,
Testing out Jev. I am putting Jev against Qwen 3.8 27B in a chess game.
So far I keep getting no winners. But Jev's speed is uncomparable.
Saya harus menarik kembali apa yang saya posting sebagai kecepatan tercepat Qwen 3.8 Flash pada satu DGX Spark.
Cruz mengirimkan garpu ExLlamaV3 khusus dan jalur mesin asli. Saya menjalankan model yang sama pada Spark yang sama: maks 102,6, kode 80 tok/dtk, prosa 70 tok/dtk. Patokan saya sebelumnya dan
There's been a lot of hype about Ternary Bonsai2 but fw demonstrations on how it actually compares to the full 16 bit version of Qwen 3.8 27B.
Since I have my own quantized version of that model thatI'm testing, ~12gb file size, I decided to throw Bonsai2 in there also to get a
Sudah sampai ujung arsip
Semua qwen38