Lokal LLM för företag: vilken hårdvara behöver ni egentligen?
Grafikminne avgör vilka modeller ni kan köra, och hur många som kan använda dem samtidigt. En praktisk guide till att dimensionera en AI-server utan att köpa för mycket.
Den vanligaste frågan jag får är också den som har flest dåliga svar på nätet. Här är hur jag resonerar när jag dimensionerar en AI-server för ett företag, utan produktnamn som är inaktuella om ett halvår.
Grafikminnet är den enda siffran som spelar roll först
En språkmodell måste få plats i grafikkortets minne för att vara snabb. Allt annat, processor, RAM, disk, är sekundärt. Så här ungefär hänger det ihop:
| Modellstorlek | Minne vid 4-bitars kvantisering | Passar i |
|---|---|---|
| 7–9 miljarder parametrar | 5–7 GB | Ett enkelt kort med 12–16 GB |
| 27–35 miljarder | 18–22 GB | Ett kort med 24–32 GB, med lite marginal |
| 70 miljarder | 40–45 GB | Två kort, eller ett professionellt kort med 48 GB eller mer |
| 100+ miljarder | 60–120 GB | Professionella kort med 80–96 GB, eller flera kort |
Kvantisering betyder att modellen lagras med lägre precision. Vid 4 bitar tappar de flesta modeller mycket lite i kvalitet men kräver ungefär hälften så mycket minne som vid 8 bitar. Det är standard för lokal drift.
Sedan kommer samtidiga användare
Siffrorna ovan gäller för en användare i taget. Varje pågående konversation behöver också utrymme för sitt sammanhang, det som kallas KV-cache. Ju längre dokument användarna klistrar in och ju fler som jobbar samtidigt, desto mer minne försvinner dit.
En tumregel: räkna med att behöva 30–50 procent mer minne än modellen själv om tio personer ska kunna använda systemet samtidigt med långa dokument. Ett kort som precis rymmer modellen är ett kort som bara rymmer en användare.
Tre typiska nivåer
Pilot och små team. Ett konsumentkort med 24–32 GB i en vanlig arbetsstation. Kör modeller i 30-miljardersklassen för en handfull användare. Kostar som en bra laptop och räcker förvånansvärt långt för att bevisa värdet.
Avdelning eller mindre bolag. Ett professionellt kort med 48–96 GB, eller två konsumentkort. Kör 70-miljardersmodeller eller 30-miljardersmodeller med många samtidiga användare. Det här är den vanligaste rekommendationen jag ger.
Hela organisationen. Flera professionella kort i en riktig server med redundans. Här börjar vi prata om övervakning på riktigt och om körtidsmiljöer som vLLM, som är byggda för att hantera många förfrågningar parallellt.
Ett alternativ som ofta glöms är arbetsstationer med delat minne, där processor och grafik delar på samma stora minnespool. De är långsammare per svar men kan rymma väldigt stora modeller till ett lägre pris. För vissa arbetsflöden är det rätt val.
Vad ni inte behöver
Ni behöver inte ett datacenter. Ni behöver inte vätskekylning, även om jag gillar det. Ni behöver inte den snabbaste processorn. Och ni behöver nästan aldrig köpa för att träna modeller. Att köra färdiga modeller och eventuellt finjustera dem lätt är en helt annan och betydligt billigare klass av hårdvara än att träna från grunden.
Så avgör ni
Börja inte med hårdvaran. Börja med tre frågor:
- Vilka uppgifter ska modellen lösa och hur långa är dokumenten den kommer att se?
- Hur många personer ska använda den och hur många samtidigt en vanlig tisdag klockan tio?
- Vilken svarstid är acceptabel? En intern kunskapssökning tål ett par sekunder. En kodassistent gör det inte.
Svaren pekar på en modellklass. Modellklassen pekar på ett minnesbehov. Minnesbehovet pekar på ett fåtal konkreta byggen. I den ordningen slipper ni både överinvestera och stå med en server som inte räcker.