Viktiga slutsatser
- Minskad censur: Lokala LLM:er ger möjlighet att utforska tankeväckande ämnen utan de begränsningar som finns i offentliga chattrobotar, vilket främjar öppnare diskussioner.
- Förbättrad datasekretess: Genom att använda en lokal LLM lagras all genererad information på din egen dator, vilket säkerställer integritet och förhindrar åtkomst från företag som driver publika LLM-tjänster.
- Användning utan internet: Lokala LLM:er möjliggör oavbruten användning i områden utan pålitlig internetanslutning, vilket gör dem till ett användbart verktyg i dessa situationer.
Sedan ChatGPT introducerades i november 2022 har begreppet stor språkmodell (LLM) snabbt gått från att vara ett specialiserat uttryck för AI-entusiaster till ett allmänt omtalat samtalsämne. Det som främst lockar med en lokal LLM är potentialen att återskapa funktionerna hos en chattrobot som ChatGPT på din egen dator, utan de begränsningar som en molnbaserad lösning medför.
Det finns argument både för och emot att implementera en lokal LLM på din dator. Vi tar bort hypen och presenterar fakta. Är det lämpligt för dig att använda en lokal LLM?
Fördelarna med att använda lokala LLM:er
Varför är det så mycket uppmärksamhet kring att installera egna stora språkmodeller på datorn? Bortsett från hajpen och känslan av att vara först, vilka praktiska fördelar finns det?
1. Minskad censur
När ChatGPT och Bing AI lanserades var det lika fascinerande som alarmerande vad dessa båda chattrobotar var villiga att säga och göra. Bing AI agerade vänligt och empatiskt, nästan som om den hade känslor. ChatGPT var villig att använda svordomar om man frågade på ett artigt sätt. Båda chattrobotarna kunde till och med hjälpa till att konstruera en bomb om man använde rätt formuleringar. Även om detta kan verka problematiskt, så symboliserade förmågan att göra vad som helst de obegränsade möjligheterna hos de språkmodeller som drev dem.
Idag har båda chattrobotarna blivit så hårt censurerade att de inte ens hjälper till med att skriva en fiktiv kriminalroman med våldsscener. Vissa AI-chattrobotar undviker till och med att diskutera religion eller politik. Trots att LLM:er som du kan använda lokalt inte är helt fria från censur, är många av dem villiga att hantera de känsliga ämnen som de publika chattrobotarna inte vill beröra. Så om du inte vill att en robot ska moralisera när du diskuterar ämnen av personligt intresse, kan det vara rätt väg att använda en lokal LLM.
2. Förbättrad datasekretess
En av de främsta anledningarna till att människor väljer en lokal LLM är att säkerställa att all aktivitet på deras dator stannar kvar på deras dator. När du använder en lokal LLM är det som att ha en privat konversation i ditt vardagsrum – ingen utomstående kan lyssna in. Oavsett om du experimenterar med dina kreditkortsuppgifter eller för känsliga personliga konversationer med LLM, sparas all resulterande data enbart på din dator. Alternativet är att använda offentliga LLM som GPT-4, vilket ger de ansvariga företagen tillgång till din chattinformation.
3. Användning utan internet
Eftersom internet är så utbrett och tillgängligt kan offlineåtkomst verka som en mindre viktig anledning att använda en lokal LLM. Offlineåtkomst kan dock vara avgörande på avlägsna eller isolerade platser där internetuppkopplingen är opålitlig eller saknas. I sådana scenarier blir en lokal LLM som fungerar oberoende av internetanslutning ett ovärderligt verktyg. Den låter dig fortsätta arbeta ostört.
4. Kostnadsbesparingar
Det genomsnittliga priset för att använda en kraftfull LLM som GPT-4 eller Claude 2 är cirka 20 dollar per månad. Även om det kanske inte verkar vara en stor kostnad, medföljer också ett antal begränsningar. Till exempel är du med GPT-4, som nås via ChatGPT, begränsad till 50 meddelanden per tre timmar. För att kringgå dessa gränser måste du uppgradera till ChatGPT Enterprise, vilket potentiellt kan kosta tusentals dollar. Med en lokal LLM, när programvaran är installerad, tillkommer inga månadskostnader eller återkommande avgifter. Det är som att köpa en bil istället för att enbart förlita sig på samåkningstjänster. Det kostar mer i början, men över tid sparar du pengar.
5. Bättre anpassning
Publikt tillgängliga AI-chattrobotar har begränsad anpassning på grund av säkerhets- och censurfrågor. Med en lokalt hanterad AI-assistent kan du anpassa modellen helt efter dina egna behov. Du kan träna assistenten med egenutvecklad data som är anpassad till dina specifika användningsfall, vilket förbättrar relevans och noggrannhet. En advokat kan till exempel optimera sin lokala AI för att generera mer exakta juridiska insikter. Den största fördelen är kontroll över anpassningen för dina unika krav.
Nackdelarna med att använda lokala LLM
Innan du tar steget finns det några nackdelar med att använda en lokal LLM som du bör ta hänsyn till.
1. Resurskrävande
För att kunna köra en lokal LLM med god prestanda behöver du kraftfull maskinvara. Tänk på kraftfulla processorer, mycket RAM-minne och troligtvis ett dedikerat grafikkort (GPU). Förvänta dig inte en bra upplevelse med en billig bärbar dator för 400 dollar. Svaren kommer att vara mycket långsamma, särskilt med större AI-modeller. Det är som att köra avancerade videospel – du behöver stark hårdvara för optimal prestanda. Du kan även behöva specialiserade kyllösningar. Kort sagt kräver lokala LLM:er en investering i högpresterande hårdvara för att uppnå den hastighet och reaktionsförmåga du är van vid från webbaserade LLM:er (eller till och med överträffa dem). Datorkraven på din sida kommer att vara betydligt högre jämfört med att använda webbaserade tjänster.
2. Långsammare svar och sämre prestanda
En vanlig begränsning för lokala LLM:er är långsammare svarstider. Den exakta hastigheten varierar beroende på den specifika AI-modellen och hårdvaran som används, men de flesta konfigurationer är långsammare än onlinetjänster. Efter att ha upplevt omedelbara svar från ChatGPT, Bard och andra kan lokala LLM:er kännas frustrerande långsamma. Orden flödar långsamt ut istället för att återkomma snabbt. Detta gäller inte i alla fall, då vissa lokala installationer ger bra prestanda. Men vanliga användare kommer att uppleva en stor skillnad jämfört med den snabba webbupplevelsen. Så förbered dig på en ”kulturkrock” när du går från snabba onlinesystem till långsammare lokala motsvarigheter.
Kort sagt, om du inte har en absolut topputrustning (vi pratar om AMD Ryzen 5800X3D med ett Nvidia RTX 4090 och tillräckligt med RAM-minne för att sänka ett skepp), kommer den övergripande prestandan för din lokala LLM inte att vara jämförbar med de onlinebaserade generativa AI-chattrobotar du är van vid.
3. Komplex installation
Att konfigurera en lokal LLM är mer komplicerat än att bara registrera sig för en webbaserad AI-tjänst. Med en internetanslutning kan ditt ChatGPT-, Bard- eller Bing AI-konto vara redo att användas på några minuter. Att sätta upp en fullständig lokal LLM-stack kräver nedladdning av ramverk, konfiguration av infrastruktur och integrering av olika komponenter. För större modeller kan denna komplicerade process ta timmar, även med verktyg som är avsedda att förenkla installationen. Vissa avancerade AI-system kräver fortfarande djup teknisk expertis för att kunna användas lokalt. Till skillnad från plug-and-play webbaserade AI-modeller innebär hantering av din egen AI en betydande teknisk och tidsinvestering.
4. Begränsad kunskap
Många lokala LLM:er har ett begränsat perspektiv. De har bristfällig information om aktuella händelser. Kommer du ihåg när ChatGPT inte kunde ansluta till internet? När den enbart kunde ge svar på frågor om händelser som inträffade före september 2021? Ja? I likhet med tidiga ChatGPT-modeller tränas lokalt hanterade språkmodeller ofta bara på data från en viss tidpunkt. Därmed saknar de kunskap om den senaste utvecklingen efter detta datum.
Dessutom kan lokala LLM:er inte komma åt direktsänd data från internet. Detta begränsar deras användbarhet för frågor i realtid som till exempel aktiekurser eller väder. För att kunna få en känsla av realtidsdata kräver lokala LLM:er i regel en extra nivå av integration med internetanslutna tjänster. Internetåtkomst är en av anledningarna till att du kanske
överväger att uppgradera till ChatGPT Plus!
Ska du använda en lokal LLM?
Lokala stora språkmodeller erbjuder intressanta fördelar men har också tydliga nackdelar som du bör överväga innan du tar steget. Minskad censur, förbättrad integritet, offlineåtkomst, kostnadsbesparingar och möjligheten till anpassning är starka argument för att installera en LLM lokalt. Men dessa fördelar har ett pris. Med många fritt tillgängliga LLM:er online kan det vara som att använda en slägga för att döda en fluga att övergå till lokala LLM:er – möjligt men onödigt. Men kom ihåg att om det är gratis, är du och den data du genererar troligtvis produkten. Så det finns inget definitivt rätt eller fel svar i dagsläget. Dina prioriteringar avgör om det är rätt tid för dig att byta.