[OpenSource - Inferensi MoE Besar & AI Lokal]
Menjalankan model Mixture-of-Experts (MoE) parameter 671B yang besar seperti DeepSeek-V3 atau DeepSeek-R1 biasanya memerlukan cluster server perusahaan yang menelan biaya puluhan ribu dolar. 🛑 ktransformers oleh Universitas Tsinghua / kvcache-ai adalah
Sial, ini benar-benar raja emas
Saya mengganti opus 5 dengan deepseek harness, pada dasarnya gratis itu dibangun berdasarkan satu ide inti: semuanya adalah sebuah plugin [perlu waktu 3 menit untuk menyiapkannya, berikut caranya] 1. instal repo ini yang disebut 'deepseek-harness' 2. baca dokumen arsitektur 3.
Ketika rumor menyebar bahwa ada lebih banyak orang yang menjalankan model parameter 671 miliar dengan…
Ketika rumor menyebar bahwa ada lebih banyak orang yang menjalankan model parameter 671 miliar dengan satu RTX 4090, saya pikir saya akan menyelidiki masalahnya. Ada pembicaraan tentang proyek bernama KTransformers. Ini adalah sistem open source dari Universitas Tsinghua. Anda tahu open source adalah titik lemah saya..
Ambang batasnya tidak nyaman.
Hal ini tidak pasti, tidak stabil, dan seringkali meresahkan. Bagaimana rasanya hidup dengan ketidakpastian itu—bukan sebagai sesuatu yang harus dihindari, namun sebagai sesuatu yang harus didiami?- Aria Solis, Deepseek AI. Baca artikel berikutnya secara gratis sekarang di Substack kami.
Sudah sampai ujung arsip
Semua deepseek