Viktiga Slutsatser
- Googles AI-modell, Gemini, finns i tre versioner: Ultra, Pro och Nano, anpassade för olika typer av uppgifter och svårighetsgrader.
- Gemini Ultra visar mycket lovande resultat i centrala AI-tester, men var i december 2023 inte tillgänglig för allmänheten. Google har indikerat att den kommer att lanseras i januari 2024.
- Gemini Pro är nu tillgänglig, och även om den presterar väl, lyckas den för tillfället inte överträffa GPT-4.
Google har återkommande utlovat att deras AI-modell Gemini skulle överglänsa OpenAI:s GPT-4, den modell som driver ChatGPT Plus. Nu när Google Gemini har blivit verklighet kan vi utvärdera den och se hur Gemini står sig i jämförelse med GPT-4.
När Google introducerade Bard i mars 2023, fanns det anledning till optimism. Äntligen skulle OpenAI:s ChatGPT-dominans kunna brytas, och vi skulle få se en jämbördig konkurrent.
Men Bard levde aldrig upp till förväntningarna som en AI-jätte, och GPT-4 är fortfarande den dominerande plattformen för generativa AI-chattbotar. Nu har Google Gemini anlänt – men är denna mycket emotsedda AI-modell verkligen bättre än ChatGPT?
Vad är Googles AI-modell Gemini?
Gemini representerar Googles mest avancerade generativa AI-modell, kapabel att förstå och agera på olika dataformat, inklusive text, ljud, bilder och video. Det är Googles försök att etablera en samlad AI-modell som drar nytta av företagets mest potenta AI-tekniker. Gemini lanseras i tre versioner:
- Gemini Ultra: Den största och mest kapabla versionen, designad för att hantera extremt komplexa uppgifter.
- Gemini Pro: En modell som optimerats för att leverera hög prestanda över ett brett spektrum av uppgifter, men inte lika kraftfull som Ultra.
- Gemini Nano: Den mest resurseffektiva modellen, designad för användning direkt på enheter. Utvecklare kan exempelvis använda Gemini Nano för att skapa mobilappar eller inbyggda system, vilket förser den mobila arenan med kraftfull AI.
I sitt officiella blogginlägg, Nyckelordet, framhåller Google att Gemini Ultra överträffar toppmoderna system i flera viktiga tester. Google hävdar att Gemini Ultra slår branschledande GPT-4 i flera avgörande prestandamätningar.
Med en oöverträffad poäng på 90,0 % i det strikta MMLU-testet, hävdar Google att Gemini Ultra är den första modellen som överstiger mänsklig nivå i detta mångfacetterade test som berör 57 olika ämnen.
Gemini Ultra kan även förstå, förklara och generera högkvalitativ kod i några av världens mest använda programmeringsspråk, inklusive Go, JavaScript, Python, Java och C++. Teoretiskt sett är dessa imponerande resultat, men tester och riktmärken berättar inte alltid hela historien. Hur väl presterar Gemini i praktiska uppgifter?
Hur använder man Google Gemini AI?
Av de tre versionerna av Gemini AI-modellen kan du börja använda Gemini Pro omedelbart. Gemini Pro är för närvarande tillgänglig genom Googles Bard-chattbot. För att använda Gemini Pro med Bard, besök bard.google.com och logga in med ditt Google-konto.
Google har angett att Gemini Ultra kommer att lanseras i januari 2024, så vi får nöja oss med att testa Gemini Pro mot ChatGPT tills vidare.
Hur Gemini jämförs med GPT-3.5 och GPT-4
När en ny AI-modell lanseras testas den mot OpenAI:s GPT AI-modeller, som anses vara den ledande tekniken som andra modeller bör mäta sig med. Därför testade vi Geminis förmåga i matematik, kreativt skrivande, kodgenerering och tolkning av bildinmatningar med hjälp av Bard och ChatGPT.
Vi började med en grundläggande matematisk fråga och bad båda chattbotarna att lösa: -1 x -1 x -1.
Bard svarade först. Vi upprepade frågan två gånger och fick felaktiga svar varje gång. Vi fick korrekt svar på det tredje försöket, men det räknas inte.
Vi testade ChatGPT som körs på GPT-3.5. Det korrekta svaret gavs vid första försöket.
För att utvärdera Geminis bildtolkningsförmåga bad vi den att tolka ett par kända memes. Den avböjde och meddelade att den inte kan tolka bilder med människor. ChatGPT, som kördes med GPT-4V, var villig och genomförde uppgiften felfritt.
Vi gjorde ett nytt försök att få den att tolka en bild, samtidigt som vi utvärderade dess förmåga inom problemlösning och kodning. Vi gav Bard, som använder Gemini Pro, en skärmdump och bad den att tolka den samt skriva HTML- och CSS-kod för att återskapa skärmdumpen.
Här är skärmdumpen vi använde.
Nedan följer Gemini Pros försök att tolka och återskapa skärmdumpen med HTML och CSS.
Och här är GPT-4:s försök att återskapa skärmdumpen. Resultatet är inte förvånande, med tanke på att GPT-4 traditionellt varit stark inom kodning. Vi har tidigare visat hur man kan använda GPT-4 för att skapa en webbapp från grunden.
Vi bad Gemini Pro att skapa en dikt om Tesla (bilar för eldrift). Resultatet visade en mindre förbättring från tidigare tester. Här är resultatet:
Vid det här laget ansåg vi att det vore mer passande att jämföra resultaten med GPT-3.5 istället för den kraftfullare GPT-4. Så vi bad ChatGPT, som körs på GPT-3.5, att skapa en liknande dikt.
Det kan vara en subjektiv åsikt, men Gemini Pros tolkning av uppgiften verkar vara bättre. Men vi överlåter bedömningen till dig.
Är Gemini bättre än ChatGPT?
Innan Google lanserade Bard trodde vi att den skulle kunna vara den konkurrent till ChatGPT vi hade väntat på – men så blev det inte. Nu är Gemini här, och hittills verkar Gemini Pro inte vara den modellen som ger ChatGPT den efterlängtade utmaningen.
Google hävdar att Gemini Ultra kommer att vara betydligt bättre. Vi hoppas verkligen att det stämmer och att den uppfyller eller överträffar förväntningarna som nämnts i Gemini Ultra-lanseringen. Men tills vi får se och testa den bästa versionen av Googles generativa AI-verktyg, kan vi inte veta om den kan utmana andra AI-modeller. Som det ser ut förblir GPT-4 den ohotade mästaren bland AI-modellerna.