Kafka Connect
Data Ingestion, CDC, Ausspielen von Datenströmen, Realtime-ETL

Remote Schulung: 100% DSGVO konform

Alle Schulungen bieten wir 100% DSGVO konform mit unserem eigenen, in Deutschland betriebenen Schulungssystem an.
Sie benötigen lediglich einen Webbrowser, wir stellen Video/Audio, Präsentation und Praxisumgebung ohne zusätzliche Softwareinstallation bei Ihnen bereit. Alle Datenübertragungen erfolgen selbstverständlich verschlüsselt.
Bitte sprechen Sie uns an, wir erklären Ihnen gerne die Details und Konditionen.


Kafka ist eine mächtige Plattform, die sich immer größerer Beliebtheit erfreut. Herausstechende Eigenschaften der Plattform sind:

  • Verarbeitung großer Datenmengen in Echtzeit

  • Horizontale Skalierbarkeit bei gleichzeitigem Erhalt der Nachrichtenreihenfolge

  • Entkopplung von Sender und Empfänger durch die dauerhafte Speicherung der Nachrichten

  • Starke Garantien bezüglich Replizierung und Ausfallsicherheit

Um die Kerntechnologie Apache Kafka hat sich ein großes Ökosystem verschiedenster Anwendungen und Technologien entwickelt, die auf der Messaging-Middleware aufbauen und deren Stärken und Fähigkeiten nutzen.

Kafka Connect ermöglicht es Datenströme aus Apache Kafka in andere Systeme auszuspielen und/oder Daten aus diesen einzulesen und in Apache Kafka als Datenstrom bereitzustellen. Kafka Connect kann die Daten dabei zwischen verschiedenen Formaten konvertieren und falls nötig einfache Transformationen auf den Datensätzen durchführen. Da Kafka Connect auf die Eigenschaften von Apache Kafka zurückgreift, können mit der Technologie mit geringem Aufwand fehlertolerante und skalierbare Workflows für die Verarbeitung von großen Datenmengen in Echtzeit aufgebaut werden.

Schulungsziel

In dieser Schulung lernen Sie anhand praktischer Beispiele die Funktionsweise und die Verwendung von Kafka Connect. Sie lernen:

  • wie Sie mit Kafka Connect Datenströme aus externen Quellen erzeuge

  • wie Sie mit Kafka Connect Datenströme in externe Senken ausspiele

  • wie Sie die einzulesenden bzw. auszuspielenden Daten zwischen den benötigten Formaten konvertieren

  • wie Sie Transformationen auf die verarbeiteten Datensätze anwenden, um diese für die weitere Verarbeitung aufzubereiten

  • was beim Betrieb einer auf Kafka Connect basierenden Anwendung zu beachten ist

Nach der Teilnahme an dieser Schulung sind Sie in der Lage mit Kafka Connect Extract-Transform-Load Prozesse aufzubauen, die die Daten in Echtzeit verarbeiten. Sie können Daten aus anderen Systemen mit Hilfe von Kafka Connect in Apache Kafka als Datenstrom verfügbar machen und Datenströme aus Apache Kafka in ander System ausspielen. Sie sind in der Lage, eine auf Kafka Connect basierende Anwendung zu erstellen und zu betreiben.

Zielgruppe

  • Software-Architekten, die ein eine auf Batches basierende Architektur auf Data-Streaming umstellen wollen

  • Dev-Ops & Administratoren, die Legacy Systeme über Datenströme in eine Data-Streaming Architektur integrieren wollen

  • Data Analysten, die Daten einer Data-Streaming Architektur für die Offline-Analyse in ein Datenbanksystem überspielen wollen (ETL)

  • Software-Entwickler, die einen Überblick über die technischen möglichkeiten für die Anbindung von Legacy-Systemen in einer auf Data-Streaming basierenden Anwendung erhalten möchten

Vorkenntnisse

Kafka Schulung: Schema Management (oder vergleichbares Vorwissen), Kafka Schulung: Hands-On (hilfreich), Vorkenntnisse Linux/Shell (hilfreich), Docker/Docker-Compose (hilfreich)

Dauer

1 Tage

Ort

Inhouse / Online / offene Schulung

Sprache

Deutsch, Englisch auf Anfrage

Anzahl Teilnehmer

Empfohlen: Inhouse bis zu 8 TN / Online bis zu 6 TN

Themen

  • Grundlagen / Architektur

    • Connector

    • Converter

    • Tasks

    • Workers

    • Standalone vs. Distributed Worker

    • Zusammenspiel mit Apache Kafka

    • Kafka Connect vs. Producer-/Consumer-API vs. Kafka Streams

  • Verwendung

    • Standalone vs. Distributed Worker

    • Die Connect REST-API

    • Einbindung von Connectoren

    • Datenkonvertierung in Kafka Connect

    • Single Message Transforms

    • Fehlerbehandlung & Monitoring

  • Praxis-Beispiele

    • Eine einfache Realtime ETL-Pipeline mit Kafka Connect

    • Change-Data-Capture mit Kafka Connect

Unsere Schulungen bieten wir auch als Inhouse Schulung an. Damit haben Sie die Möglichkeit die Schwerpunkte der Schulung zu beeinflussen und die Gruppenzusammensetzung für Ihren Schulungsbedarf zu optimieren.
Nehmen Sie Kontakt mit uns auf und stimmen den für Sie passenden Zeitraum ab.

Für spezielle Fragestellungen oder gezielte Unterstützung bieten wir sowohl Workshops als auch Beratung an - senden Sie uns einfach eine Anfrage und schildern Sie Ihren Bedarf.

Zur Desktop Version des Artikels