Introduktion till Apache Kafka
Apache Kafka är en distribuerad meddelandekö-tjänst som skapar möjlighet för olika applikationer i ett komplext system att kommunicera och dela information via meddelanden. Systemet är konstruerat som en publicerings- och prenumerationsplattform. Det innebär att applikationer, som fungerar som producenter, skickar ut meddelanden, medan andra applikationer (konsumenter) kan prenumerera på dessa meddelanden.
Denna arkitektur främjar en lös koppling mellan de delar av systemet som genererar och de som konsumerar data, vilket underlättar design och underhåll. Kafka använder Zookeeper för att hantera metadata och synkronisera olika komponenter inom klustret.
Funktioner hos Apache Kafka
Kafkas popularitet grundar sig i flera distinkta egenskaper:
- Skalbarhet: Kan hantera stora datamängder genom kluster och partitioner.
- Hög hastighet: Förmåga att bearbeta upp till 2 miljoner skrivoperationer per sekund.
- Ordning: Bevarar ordningen på de meddelanden som skickas.
- Tillförlitlighet: Implementerar replikering för ökad säkerhet.
- Uppgraderingar utan avbrott: Systemet kan uppgraderas utan nedtid.
Låt oss nu utforska några av de vanligaste användningsområdena för Kafka.
Vanliga användningsområden för Apache Kafka
Kafka används flitigt för bearbetning av stora datamängder, loggning och sammanställning av händelser, som exempelvis klick för analysändamål. Det nyttjas även för att samla in loggar från olika systemdelar till en central plats.
Systemet underlättar kommunikationen mellan olika applikationer i ett komplext system och möjliggör realtidsbearbetning av data från IoT-enheter.
Nedan följer en detaljerad guide för att installera Kafka på både Windows och Linux.
Installation av Kafka på Windows
För att installera Apache Kafka på Windows, kontrollera först att Java är installerat. Du gör det genom att öppna kommandotolken som administratör och skriva följande kommando:
java --version
Om Java är installerat, ska du få versionsnumret på din JDK. Om du får ett felmeddelande om att kommandot inte känns igen, behöver du installera Java. Gå till Adoptium.net och ladda ner installationsfilen.
När filen är nedladdad, kör installationsprogrammet. Du kommer då att se installationsprompten.
Klicka på ”Nästa” flera gånger för att acceptera standardalternativen. Installationen påbörjas därefter. Verifiera installationen genom att stänga kommandotolken och öppna en ny som administratör. Skriv sedan:
java --version
Nu ska versionen av den nyligen installerade JDK:n visas. När Java är installerat, kan du påbörja installationen av Kafka.
Gå till Kafkas webbplats för att ladda ner de senaste binärfilerna.
Du kommer då till nedladdningssidan. Ladda ner de senaste binärfilerna som är tillgängliga.
Dessa filer laddas ner som en .tgz-fil, som innehåller Kafka-skript och binärfiler. Du måste packa upp filerna. Jag använder WinZip för detta, som kan laddas ner från WinZips webbplats.
När filerna är uppackade, flytta dem till C: så att sökvägen blir C:\kafka
Öppna kommandotolken som administratör, navigera till Kafka-katalogen och starta Zookeeper genom att köra filen zookeeper-server-start.bat med konfigurationsfilen zookeeper.properties:
cd C:\kafka bin\windows\zookeeper-server-start.bat config\zookeeper.properties
När Zookeeper körs behöver vi lägga till den körbara wmic-filen, som Kafka använder, till systemets PATH.
set PATH=C:\Windows\System32\wbem;%PATH%;
Starta nu Apache Kafka-servern genom att öppna en ny kommandotolk som administratör, navigera till C:\kafka och kör:
cd C:\kafka
Starta sedan Kafka med kommandot:
bin\windows\kafka-server-start.bat config\server.properties
Nu ska Kafka vara igång. Du kan anpassa serveregenskaperna, till exempel var loggarna ska sparas, i filen server.properties.
Installation av Kafka på Linux
Börja med att uppdatera ditt system:
sudo apt update && sudo apt upgrade
Kontrollera sedan om Java är installerat:
java --version
Om Java är installerat visas versionsnumret. Om inte, installera det med:
sudo apt install default-jdk
När Java är installerat kan vi ladda ner Apache Kafka från webbplatsen.
Öppna terminalen och navigera till mappen där nedladdningen sparades. I mitt fall är det mappen ”Downloads”.
cd Downloads
Packa upp den nedladdade filen med kommandot tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Navigera sedan till den uppackade mappen:
cd kafka_2.13-3.3.1
Lista kataloger och filer.
I den här mappen startar du en Zookeeper-server genom att köra skriptet zookeeper-server-start.sh som finns i bin-katalogen. Skriptet behöver en Zookeeper-konfigurationsfil, som standard är zookeeper.properties i underkatalogen config.
Starta servern med kommandot:
bin/zookeeper-server-start.sh config/zookeeper.properties
Med Zookeeper igång kan vi starta Apache Kafka-servern. Skriptet kafka-server-start.sh finns också i bin-katalogen. Det här skriptet förväntar sig också en konfigurationsfil, som standard är server.properties i config-mappen.
bin/kafka-server-start.sh config/server.properties
Nu ska Apache Kafka vara igång. I bin-katalogen finns flera skript för att hantera exempelvis ämnen, producenter och konsumenter. Du kan även anpassa serveregenskaperna i filen server.properties.
Avslutande ord
I den här guiden har vi gått igenom hur man installerar Java och Apache Kafka. Du kan välja att installera och hantera Kafka manuellt eller använda hanterade tjänster som de som erbjuds av Amazon Web Services och Confluent.
Som nästa steg kan du utforska databearbetning med Kafka och Spark.