Apache Kafka är en meddelandeströmningstjänst som tillåter olika applikationer i ett distribuerat system att kommunicera och dela data genom meddelanden.
Det fungerar som ett pub/undersystem där producentapplikationer publicerar meddelanden och konsumentsystem prenumererar på dem.
Apache Kafka gör det möjligt för dig att anta en löst kopplad arkitektur mellan de delar av ditt system som producerar och konsumerar data. Detta gör det enklare att designa och hantera systemet. Kafka förlitar sig på Zookeeper för metadatahantering och synkronisering av olika delar av klustret.
Innehållsförteckning
Funktioner hos Apache Kafka
Apache Kafka har blivit populär bland annat för att vara det
- Skalbar genom kluster och partitioner
- Snabb kapabel att utföra 2 miljoner skrivningar per sekund
- Behåller ordningen i vilka meddelanden skickas
- Pålitlig genom sitt system av repliker
- Den kan uppgraderas utan stilleståndstid
Låt oss nu utforska några av de vanliga användningsfallen för Kafka.
Vanliga användningsfall av Apache Kafka
Kafka används ofta för att bearbeta big data, registrera och aggregera händelser såsom knappklick för analys, och kombinera loggar från olika delar av ett system till en central plats.
Det hjälper till att möjliggöra kommunikation mellan olika applikationer i ett system och realtidsbearbetning av data från IoT-enheter.
Låt oss nu kolla in de detaljerade stegen för att installera Kafka på Windows och Linux.
Installerar Kafka på Windows
Kontrollera först om Java är installerat på din maskin för att installera Apache Kafka på Windows. Öppna kommandotolken i administratörsläge och ange kommandot:
java --version
Om Java är installerat bör du få JDK-versionsnumret som för närvarande är installerat.
Om du får ett felmeddelande som säger att kommandot inte kändes igen, installerades inte Java och du måste installera Java. För att installera Java, gå till Adoptium.net och klicka på nedladdningsknappen.
Detta bör ladda ner Java-installationsfilen. När nedladdningen är klar, kör installationsprogrammet. Detta bör öppna installationsprompten.
Tryck på Nästa upprepade gånger för att välja standardalternativen. Installationen bör sedan börja. Verifiera installationen genom att stänga kommandotolken, öppna en annan kommandotolk i administratörsläge och ange kommandot:
java --version
Den här gången bör du skaffa den JDK-version du just installerade. När installationen är klar kan vi börja installera Kafka.
För att installera Kafka, gå först till Kafkas webbplats.
Klicka på länken så bör du komma till sidan Nedladdningar. Ladda ner de senaste tillgängliga binärfilerna.
Detta kommer att ladda ner Kafka-skript och binärer paketerade i .tgz-fil. Efter nedladdningen måste du extrahera filerna från .tgz-arkivet. För att extrahera kommer jag att använda WinZip, som kan laddas ner från WinZip-webbplatsen.
Efter att ha extraherat filen, flytta den till C: så att filsökvägen blir C:kafka
Öppna sedan kommandotolken i administratörsläge och starta Zookeeper genom att först navigera till Kafka-katalogen. Och kör filen zookeeper-server-start.bat med zookeeper.properties som konfigurationsfil
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
När Zookeeper körs måste vi lägga till den körbara filen wmic som Kafka använder i vårt system PATH,
set PATH=C:WindowsSystem32wbem;%PATH%;
Efter detta startar du Apache Kafka-servern genom att öppna en annan kommandotolkssession i administratörsläge och navigera till mappen C:kafka
cd C:kafka
Börja sedan Kafka med att springa
binwindowskafka-server-start.bat configserver.properties
Med detta borde Kafka vara igång. Du kan anpassa serveregenskaper, till exempel var loggarna skrivs i filen server.properties.
Installerar Kafka på Linux
Se först till att ditt system är uppdaterat genom att uppdatera alla paket
sudo apt update && sudo apt upgrade
Kontrollera sedan om Java är installerat på din maskin genom att köra
java --version
Om java är installerat ser du versionsnumret. Men om det inte är det kan du installera det med apt.
sudo apt install default-jdk
Efter detta kan vi installera Apache Kafka genom att ladda ner binärfilerna från webbplatsen.
Öppna din terminal och navigera till mappen där nedladdningen sparades. I mitt fall måste jag navigera till mappen Nedladdningar.
cd Downloads
Väl i nedladdningsmappen, extrahera de nedladdade filerna med tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Navigera till den extraherade mappen
cd kafka_2.13-3.3.1.tgz
Lista kataloger och filer.
Väl i mappen, starta en Zookeeper-server genom att köra skriptet zookeeper-server-start.sh som finns i bin-katalogen i den extraherade mappen.
Skriptet kräver en Zookeeper-konfigurationsfil. Standardfilen heter zookeeper.properties och finns i underkatalogen config.
Så för att starta servern, använd kommandot:
bin/zookeeper-server-start.sh config/zookeeper.properties
Med Zookeeper igång kan vi starta Apache Kafka-servern. Skriptet kafka-server-start.sh finns också i bin-katalogen. Kommandot förväntar sig också en konfigurationsfil. Standard är server.properties lagrade i konfigurationsfilen.
bin/kafka-server-start.sh config/server.properties
Detta borde få Apache Kafka igång. Inuti bin-katalogen hittar du många skript för att göra saker som att skapa ämnen, hantera producenter och hantera konsumenter. Du kan också anpassa serveregenskaperna i filen server.properties.
Slutord
I den här guiden gick vi igenom hur man installerar Java och Apache Kafka. Även om du kan installera och hantera Kafka-kluster manuellt, kan du också använda hanterade alternativ som Amazon Web Services och Confluent.
Därefter kan du lära dig databehandling med Kafka och Spark.