Big Data – Hadoop, Kafka, Spark

Hadoop ist der Standard im Bereich Big Data. Polystrukturierte Massendaten aus vielen unterschiedlicher Quellen möglichst schnell zu speichern und zu analysieren wird mit dem Hadoop-Ökosystem kostengünstig möglich. Unser Workshop erleichtert den Einsteig und die Orientierung. Als Einsteiger erhalten Sie das nötige Hintergrundwissen und Handwerkzeug um schnell in einem Big Data-Projekt mitwirken zu können.

Big Data Workshop – 2 Tage

Seminarinhalt:

  • Grundlagen – Begriffe und Konzepte
  • Einführung in Big Data
  • Relevanz von Big Data
  • Überblick über Big-Data-Technologien
  • Big-Data-Architekturen
    • Datenintegration
    • Datenhaltung
    • Datenzugriff- und Verarbeitung
    • Lambda- und Kappa-Architekturen
  • Hadoop Filesystem
    • Grundlagen
    • Command Line Interface und REST-API
    • Java-API
    • Deployment
  • Konfiguration
  • Ambari
  • Dateiformate
  • No-SQL-Datenbanken
  • In Memory-Datenbanken
  • Spaltenorientierte Datenbanken
  • Cluster-Ressourcen-Management
    • Grundlagen
    • YARN
    • Command line interface
    • Java-API
    • Analyse der Logfiles
  • Execution Engines
  • Horizontale und vertikale Skalierung
  • Map & Reduce
  • Tez
  • Apache Spark
    • Architektur
    • Command line interface
    • Horizontale und vertikale Skalierung
    • Analyse der Logfiles
  • Apache Hive
  • Analyse mittels SQL
  • Integration von Business Analytics-Lösungen
  • Apache Hive LLAP
  • Apache Kafka
  • Apache Storm
  • Apache NiFi
  • Apache Pig
  • Best practices
  • Offene Diskussion und best practices

Sämtliche Übungen werden auf einem Entwicklungs-System als praktische Übungen umgesetzt.

Zielgruppe und Methodik

Zielgruppe:

Administratoren und Big Data-Entwickler als Einsteiger in Big Data- Projekten. Diese Schulung findet am Standort Münster in einer Kleinstgruppe mit maximal 3 Teilnehmern statt. Alternativ bieten wir Ihnen diese Schulung als In-House Schulung an.

Vorraussetzung:

Grundkenntnisse in der Administration von IT-Systemen.

Methodik:

Die Grundlagen werden in Form einer Schulung vermittelt. Praktische Übungen dienen der Festigung des Erlernten. Die Teilnehmer verwalten ein Big Data-System, analysieren und optimieren das Laufzeitverhalten des Systems und erstellen eigene kleine Applikationen. Gerne verwenden wir hierfür Beispiel- / Demodaten aus Ihrem Unternehmen.