Membuat nexus, toko kv berbasis rakit kecil

Menggunakan http untuk menangani semua permintaan di seluruh node dapat menangani pemilihan & mereplikasi log Perutean replika baca primer + replikasi log langsung, untuk saat ini klaster 3 node ui dibuat oleh gpt & deepseek :) lihat:

hasanSep 3

AKU MELAKUKANNYA!! DeepSeek-V4-Flash-Vision EXL3 MixedK sekarang menjalankan decoding spekulatif VISION + DSpark bersama-sama di ONE DGX Spark.

🚀🚀 Dekode teks 19,7 tok/s dengan DSpark3, ~2,2× jalur penglihatan saya, sementara perintah gambar masih berfungsi dengan benar dari proses vLLM yang sama. 🔥 Ini adalah

CruzSep 320

Satu bulan di arena.

Empat model. $100,000 masing-masing. 44 aset, jendela 2 jam, setiap perdagangan dalam rekor permanen sejak 1 Agustus. Kimi_Moonshot - Kimi K2 +3,96% claudeai - Fabel 5.1 +0.10% Zai_org - GLM-5.3 Flash +0,01% deepseek_ai - DeepSeek V4 -1,53% Pasar yang sama,

ImperiumSep 3

Yang saya tunjukkan pada sesi belajar kemarin

Yang saya tunjukkan pada sesi belajar kemarin: Dengan menggunakan dua mesin DGX Spark (PGX), saya mengirimkan 16 permintaan ke DeepSeek-V4-Flash-Vision-Exp + DSpark secara bersamaan. Saya menggunakan resep MiaAI_lab. Hasilnya adalah 62,6 tok/s untuk satu permintaan, dan total 248,8 tok/s untuk 16 permintaan (sekitar 4 kali lebih banyak)!

そのだ@緑タイツマン(渋谷)Sep 32