Apache Kafka är en kraftfull, distribuerad plattform som hanterar realtidsdataflöden genom att agera som ett distribuerat commit-loggsystem. Den används för allt från data pipelines till strömmande analys och är byggd för hög genomströmning och låg fördröjning.
Kafka utvecklades ursprungligen på LinkedIn och är idag ett av Apache Software Foundations mest använda projekt.
Apache Kafka fungerar genom att skriva händelser till partitionerade loggar – kallade topics – där producenter eller konsumenter kan interagera utan att styra varandras flöden. Detta ger både hållbarhet och möjlighet till exakt en gång-leverans, vilket innebär att meddelanden varken försvinner eller dupliceras. Denna partitioneringsmodell gör också att Kafka kan skala horisontellt när behovet ökar.
Byggt i Java och Scala, kan Kafka användas via officiella klientbibliotek i flera språk och har ett stort ekosystem av verktyg, gränssnitt och connectors – både officiella och community-drivna.
Tack vare sin tillförlitlighet, prestanda och flexibilitet används Kafka av över 80 % av Fortune 100-företag i branscher som finans, telekom, logistik och tillverkning. Med funktioner som Connect, Streams och tiered storage fortsätter Kafka att vara en ledande plattform för moderna, dataintensiva applikationer.