Dengan 3090, saya mengendarai Qianwen 3.8-27B di vLLM ke 64 saluran bersamaan, dan totalnya melebihi 1.000 tok/s.

开源项目 HyperQwen：单卡 24G，3090 限 250W 实测。 单人聊天约 127 tok/s，64 并发合计约 1035 tok/s，最长可开到 15 万上下文。 两条命令就能起：docker compose --profile single 或 batch。

Qwen AI FansOct 281.5K