Att skapa en maskininlärningsmodell kan vara relativt enkelt, men att hantera hundratals eller tusentals modeller och kontinuerligt förbättra dem är en betydligt mer komplex uppgift.
Det är lätt att förlora överblicken i en sådan situation. Denna utmaning blir än större när man arbetar i team, eftersom det då blir nödvändigt att koordinera och dokumentera allas insatser. För att få struktur på detta krävs att hela teamet följer en gemensam process och dokumenterar sina aktiviteter. Detta är kärnan i MLOps.
Vad är MLOps?
Källa: ml-ops.org
Enligt MLOps.org syftar Machine Learning Operationalization till att skapa en komplett utvecklingsprocess för maskininlärning. Denna process ska möjliggöra design, konstruktion och hantering av reproducerbar, testbar och utvecklingsbar ML-driven mjukvara. I grund och botten handlar MLOps om att tillämpa DevOps-principer på maskininlärning.
Precis som inom DevOps är automatisering en nyckelidé inom MLOps. Målet är att minska manuella steg och öka effektiviteten. MLOps omfattar både Continuous Integration (CI) och Continuous Delivery (CD), precis som DevOps. Dessutom inkluderas Continuous Training (CT), vilket innebär att modeller kontinuerligt tränas om med ny data och distribueras på nytt.
MLOps representerar därmed en ingenjörskultur som förespråkar en systematisk metod för utveckling av maskininlärningsmodeller och automatisering av olika delar av processen. Denna process omfattar vanligtvis datautvinning, analys, förberedelse, modellträning, utvärdering, modellservering och övervakning.
Fördelar med MLOps
Generellt sett är fördelarna med att tillämpa MLOps-principer likartade de fördelar man får med standardiserade arbetsrutiner. Några av dessa fördelar är:
- En väldefinierad process skapar en plan över alla viktiga steg i modellutvecklingen, vilket säkerställer att inga avgörande moment missas.
- Processens steg som kan automatiseras identifieras och implementeras. Detta minskar mängden repetitivt arbete och ökar utvecklingstakten. Automatisering minimerar även risken för mänskliga fel samtidigt som arbetsbördan reduceras.
- Det blir enklare att bedöma hur långt en modell har kommit genom att identifiera vilket steg i processen modellen befinner sig i.
- Teamkommunikationen förbättras eftersom alla använder samma terminologi för de olika stegen i utvecklingsprocessen.
- Samma process kan användas för att utveckla många modeller, vilket ger struktur och kontroll över utvecklingsprocessen.
Sammanfattningsvis handlar MLOps om att tillhandahålla en metodisk och automatiserad metod för modellutveckling inom maskininlärning.
Plattformar för att bygga rörledningar
För att underlätta implementeringen av MLOps i era processer finns det en rad plattformar tillgängliga. Dessa plattformar, även om deras individuella funktioner kan variera, hjälper er i huvudsak att göra följande:
- Lagra alla modeller tillsammans med tillhörande metadata, som konfigurationer, kod, noggrannhet och experimentresultat. Detta inkluderar även olika versioner av modeller för versionshantering.
- Lagra metadata för dataset, till exempel de data som använts för att träna modeller.
- Övervaka modeller i produktion för att upptäcka problem som modellförändringar.
- Distribuera modeller i produktion.
- Bygga modeller i miljöer med lite eller ingen kodning.
Låt oss titta närmare på några av de mest framstående MLOps-plattformarna.
MLFlow
MLFlow är en mycket populär plattform för hantering av maskininlärningslivscykler. Den är gratis och öppen källkod och erbjuder följande funktioner:
- Spårning för att registrera maskininlärningsexperiment, kod, data, konfigurationer och resultat.
- Projekt för att paketera kod på ett sätt som gör det enkelt att reproducera.
- Distribution för att implementera maskininlärning.
- Ett register för att lagra alla modeller i ett centralt arkiv.
MLFlow integreras med populära maskininlärningsbibliotek som TensorFlow och PyTorch, samt med plattformar som Apache Spark, H20.ai, Google Cloud, Amazon SageMaker, Azure Machine Learning och Databricks. Det fungerar också med olika molnleverantörer som AWS, Google Cloud och Microsoft Azure.
Azure Machine Learning
Azure Machine Learning är en komplett maskininlärningsplattform som hanterar de olika aktiviteterna i en MLOps-pipeline. Dessa aktiviteter inkluderar dataförberedelse, konstruktion och träning av modeller, validering, implementering samt hantering och övervakning av implementerade modeller.
Med Azure Machine Learning kan du bygga modeller med din valda IDE och ramverk, som PyTorch eller TensorFlow.
Plattformen integreras även med ONNX Runtime och DeepSpeed för att optimera träning och inferens, vilket leder till förbättrad prestanda. Den använder AI-infrastruktur på Microsoft Azure, som kombinerar NVIDIA GPU:er och Mellanox-nätverk, för att hjälpa dig att bygga kluster för maskininlärning. Med Azure Machine Learning kan du skapa ett centralt register för att lagra och dela modeller och dataset.
Azure Machine Learning integreras med Git och GitHub Actions för att skapa arbetsflöden. Plattformen stöder också hybrid- eller molnkonfigurationer och kan integreras med andra Azure-tjänster som Synapse Analytics, Data Lake, Databricks och Security Center.
Google Vertex AI
Google Vertex AI är en enhetlig plattform för data och AI. Den erbjuder verktyg för att bygga både skräddarsydda och förtränade modeller och fungerar som en helhetslösning för MLOps-implementering. Plattformen integreras med BigQuery, Dataproc och Spark för att möjliggöra smidig dataåtkomst under träning.
Utöver ett API erbjuder Google Vertex AI en verktygsmiljö med lite eller ingen kod, vilket gör den användbar även för icke-utvecklare som affärs- och dataanalytiker och ingenjörer. API:et gör det möjligt för utvecklare att integrera plattformen med befintliga system.
Med Google Vertex AI kan du också skapa generativa AI-applikationer med Generative AI Studio. Det gör det snabbt och enkelt att distribuera och hantera infrastruktur. Google Vertex AI är väl lämpad för att säkerställa databeredskap, funktionsteknik, träning och hyperparameterjustering, modellservering, modellinställning och förståelse, modellövervakning och modellhantering.
Databricks
Databricks är en dataplattform som gör att du kan förbereda och bearbeta data. Med Databricks kan du hantera hela livscykeln för maskininlärning, från experiment till produktion.
Databricks tillhandahåller en hanterad version av MLFlow som inkluderar funktioner som dataloggning och versionering av ML-modeller, experimentspårning, modellvisning, ett modellregister och spårning av mätetal. Modellregistret ger möjlighet att lagra modeller för reproducerbarhet, och registret hjälper dig att hålla koll på modellversioner och var de befinner sig i livscykeln.
Att distribuera modeller med Databricks är enkelt och kan göras med ett enda klick. Plattformen ger dig REST API-slutpunkter för att göra förutsägelser. Databricks integreras väl med befintliga förtränade generativa modeller och stora språkmodeller, som de från Transformers-biblioteket.
Databricks erbjuder kollaborativa anteckningsböcker som stöder Python, R, SQL och Scala. Dessutom förenklar plattformen hanteringen av infrastruktur genom att tillhandahålla förkonfigurerade kluster som är optimerade för maskininlärningsuppgifter.
AWS SageMaker
AWS SageMaker är en molntjänst från AWS som ger dig verktyg för att utveckla, träna och distribuera maskininlärningsmodeller. SageMakers primära syfte är att automatisera det repetitiva manuella arbete som ingår i att bygga en maskininlärningsmodell.
Som ett resultat erbjuder plattformen verktyg för att bygga en produktionspipeline för maskininlärningsmodeller genom att utnyttja olika AWS-tjänster, som Amazon EC2-instanser och Amazon S3-lagring.
SageMaker fungerar med Jupyter Notebooks installerade på en EC2-instans, tillsammans med alla vanliga paket och bibliotek som behövs för att koda en maskininlärningsmodell. För data kan SageMaker hämta data från Amazon Simple Storage Service.
Som standard får du tillgång till implementeringar av vanliga maskininlärningsalgoritmer som linjär regression och bildklassificering. SageMaker inkluderar också en modellmonitor som ger kontinuerlig och automatisk finjustering för att hitta de parametrar som ger bäst prestanda för dina modeller. Implementeringen är också förenklad, eftersom du enkelt kan distribuera din modell till AWS som en säker HTTP-slutpunkt som du kan övervaka med CloudWatch.
DataRobot
DataRobot är en populär MLOps-plattform som erbjuder stöd för hantering av olika steg i maskininlärningslivscykeln, som dataförberedelse, ML-experiment, validering och modellstyrning.
Den har verktyg för att automatisera pågående experiment med olika datakällor, testa tusentals modeller och utvärdera de bästa för distribution i produktion. Plattformen stöder byggandet av modeller för olika typer av AI-applikationer, inklusive tidsserier, naturlig språkbehandling och datorseende.
Med DataRobot kan du bygga modeller med färdiga lösningar, vilket innebär att du inte behöver skriva kod. Alternativt kan du välja ”kod först”-alternativet och implementera modeller med anpassad kod.
DataRobot inkluderar anteckningsböcker för att skriva och redigera kod. Du kan också använda API:et för att utveckla modeller i en valfri IDE. Via det grafiska användargränssnittet kan du spåra experimenten för dina modeller.
Run AI
Run AI fokuserar på att lösa problemet med underutnyttjande av AI-infrastruktur, särskilt GPU:er. Plattformen främjar synligheten av all infrastruktur och säkerställer att den utnyttjas effektivt under träning.
För att åstadkomma detta placerar sig Run AI mellan din MLOps-programvara och företagets hårdvara. Under detta lager körs alla träningsjobb med Run AI. Plattformen schemalägger sedan när varje jobb ska köras.
Det spelar ingen roll om hårdvaran är molnbaserad, som AWS och Google Cloud, lokal eller en hybridlösning. Run AI fungerar som ett abstraktionslager för maskininlärningsteam genom att erbjuda en plattform för GPU-virtualisering. Du kan köra uppgifter från Jupyter Notebook, bash-terminalen eller fjärransluten PyCharm.
H2O.ai
H2O är en distribuerad maskininlärningsplattform med öppen källkod. Den möjliggör samarbete mellan team och skapandet av ett centralt arkiv för modeller där dataforskare kan experimentera och jämföra olika modeller.
Som MLOps-plattform erbjuder H2O ett antal viktiga funktioner. Plattformen förenklar modellimplementering till en server som en REST-slutpunkt. H2O tillhandahåller olika distributionsalternativ som A/B-testning, Champion-Challenger-modeller och enkel implementering av en modell.
Under träningsprocessen lagrar och hanterar plattformen data, artefakter, experiment, modeller och implementeringar, vilket gör modellerna reproducerbara. Den möjliggör även behörighetshantering på grupp- och användarnivå för att styra modeller och data. Under körningen tillhandahåller H2O övervakning i realtid för modellförändringar och andra driftmätetal.
Paperspace Gradient
Gradient hjälper utvecklare i alla stadier av maskininlärningsutvecklingen. Plattformen erbjuder Jupyter-baserade anteckningsböcker med öppen källkod för modellutveckling och träning i molnet med kraftfulla GPU:er. Detta gör att du snabbt kan utforska och skapa prototyper av modeller.
Implementeringspipelines kan automatiseras genom att skapa arbetsflöden. Dessa arbetsflöden definieras genom att beskriva uppgifter i YAML. Med arbetsflöden blir det enkelt att replikera implementeringar och visa modeller, vilket leder till skalbarhet.
Sammantaget tillhandahåller Gradient behållare, maskiner, data, modeller, mätvärden, loggar och hemligheter för att hjälpa dig att hantera de olika stegen i utvecklingspipelinen för maskininlärningsmodeller. Dina pipelines körs på Gradient-kluster, som finns antingen i Paperspace Cloud, AWS, GCP, Azure eller andra servrar. Du kan interagera med Gradient med hjälp av CLI eller SDK programmatiskt.
Slutord
MLOps är en effektiv och mångsidig metod för att bygga, distribuera och hantera maskininlärningsmodeller i stor skala. MLOps är användarvänligt, skalbart och säkert, vilket gör det till ett bra val för organisationer av alla storlekar.
I den här artikeln har vi gått igenom vad MLOps är, varför det är viktigt att implementera det, vad det innebär och vi har diskuterat några av de populäraste MLOps-plattformarna.
Om du vill lära dig mer kan du läsa vår jämförelse av Dataricks vs. Snowflake.