Advanced Streaming Big Data with Spark - eLearning

4.950,00 SEK

  • 25 timmar
eLearning

Kliv in i realtidsdatabehandling med kursen Streaming Big Data with Spark, utformad för att hjälpa dig bygga högpresterande, skalbara datapipelines som bearbetar information i samma ögonblick som den uppstår. Den här kursen introducerar dig till Apache Sparks streamingfunktioner och gör det möjligt för dig att arbeta med kontinuerliga dataflöden för moderna analys- och beslutsstödsystem.

Viktiga funktioner

Språk

Kurs och material på engelska

Nivå

Mellannivå – Avancerad nivå

Åtkomst

1 års tillgång till utbildningsplattformen

9 timmar videor på begäran

med 25+ timmars rekommenderad studietid

38 guidade praktiska övningar

13 automatiskt rättade prov

33 repetitionsquiz

3 verkliga projekt

Certifikat

Intyg om genomförd utbildning ingår

Hero

Lärandemål

I slutet av den här kursen kommer du att kunna förstå:

Körtid

Få en fullständig förståelse för Sparks runtime-arkitektur

DataFrame

Utför grundläggande DataFrame‑operationer och funktioner i Spark

Ström

Lär dig grunderna i strömbehandling med Spark

Kafka

Utforska direktintegrering av Spark Streaming med Apache Kafka

Amazon

Arbeta med Spark Streaming med Amazon Kinesis

Ansök

Förstå och tillämpa sliding window-operationer i strömbehandling

Hero

Kursöversikt

  1. Spark-körtiden

    Lektion 01

    • Förstå Spark RDD
    • Förstå Spark DataFrame
    • Översikt över Spark-körningsarkitektur
  2. ETL med Spark

    Lektion 02

    • Karttransformationer
    • Förvandlingarna
    • Grundläggande åtgärder
    • Transformationer av nyckel-värde-par
    • Join-operationer
    • Numeriska RDD‑operationer och samplingsfunktioner
    • Partitionering i Spark
    • Styrning av partitioner i Spark
    • Använda externa program med Spark
  3. SparkSQL och DataFrames

    Lektion 03

    • Spark SQL-arkitektur
    • Översikt över DataFrame-API
    • Skapa DataFrames
    • DataFrame-datamodell och scheman
    • Grundläggande DataFrame-operationer
    • DataFrame-funktioner
    • Mängdoperationer och aggregeringar i DataFrames
    • Lagring och utmatning av DataFrame
    • DEMO av Spark SQL och DataFrames
  4. Introduktion till strömbehandling med Spark

    Lektion 04

    • Introduktion till Spark Streaming
    • Introduktion till DStreams
    • DStream-operationerna
  5. Tillståndsbaserad bearbetning med Spark Streaming

    Lektion 05

    • Statliga verksamheter
    • Introduktion till Event Sourcing
    • Demonstration av tillståndsbaserad streaming med Spark
  6. Glidande fönsteroperationer med Spark Streaming

    Lektion 06

    • Fönsteroperationer
    • Fönsterfunktioner
    • DEMO Fönsterbaserade operationer med Spark Streaming
  7. Introduktion till Structured Streaming   

    Lektion 07

    • Översikt över strukturerad strömning
    • Utdata­lägen och utlösning med Structured Streaming
    • DEMO Introduktion till Structured Streaming
  8. Introduktion till Apache Kafka

    Lektion 08

    • Översikt och arkitektur för Apache Kafka
    • Meddelandehantering med Kafka
    • Demo: Lokal installation av Apache Kafka
  9. Kafka-integrering med Spark Streaming    

    Lektion 09

    Använda Spark Streaming med Apache Kafka

  10. Att använda mottagaransatsen

    Lektion 10

    • Demo: Lokal installation av Apache Kafka
    • Att använda den direkta metoden
    • DEMO av Spark Streaming med Apache Kafka med direktmetoden
  11. Kafka-integrering med Structured Streaming

    Lektion 11

    • Strukturerad strömning och Kafka
    • Läsa och skriva data till Kafka med Structured Streaming
    • DEMO Kafka och Structured Streaming
  12. Använda Spark Streaming med Kinesis 

    Lektion 12

    • Använda Amazon Kinesis Producer- och klientbibliotek
    • DEMO Introduktion till Amazon Kinesis
  13. Använda Spark Streaming med Kinesis

    Lektion 13

    • Använda Spark Streaming med Amazon Kinesis
    • DEMO Använda Spark Streaming med Amazon Kinesis
    • Använda Structured Streaming med Amazon Kinesis
    • DEMO Använda Structured Streaming med Amazon Kinesis
  14. Ytterligare Spark Streaming-integrationer

    Lektion 14

    • Spark Streaming med MQTT
    • Spark Streaming och Apache Flume
    • Spark Streaming och Twitter
    • Spark Streaming och Snowflake
    • DEMO Strukturerad strömning med Snowflake
Avancerad strömmande big data med Spark

Vem bör anmäla sig till det här programmet?

Dataingenjörer som arbetar med realtidsdatasystem

Big data-specialister och Spark-utvecklare

Mjukvaruingenjörer som går över till dataingenjörsroller

Data scientists som är intresserade av strömmingsanalys

Backendutvecklare som bygger datatunga applikationer

IT-specialister som arbetar med storskaliga distribuerade system

Starta kursen nu

Förutsättningar

  • Grundläggande förståelse för programmering (helst Java, Scala eller Python)
  • Förtrogenhet med big data-koncept och distribuerade system
  • Grundläggande kunskaper om databehandling eller analysarbetsflöden
  • Förståelse för databaser och SQL (hjälpsamt men inte obligatoriskt)
  • Ingen tidigare erfarenhet av Spark Streaming krävs.

Uttalanden

Licensiering och ackreditering

Denna kurs erbjuds i enlighet med Partnerprogramavtalet och uppfyller kraven i licensavtalet

Likabehandlingspolicy

Kandidater uppmuntras att kontakta AVC för vägledning och stöd under hela processen för att ordna anpassningar.


Vanliga frågor

Contact background

Behöver du en skräddarsydd företagsintern utbildning eller grupputbildning?

Begär ett företagsinternt utbildningsprogram som skräddarsys specifikt för ditt team. Vi erbjuder flexibla anpassningsmöjligheter i linje med dina affärsmål, samt konkurrenskraftiga priser för större grupper. Fyll i formuläret nedan, så tar våra experter inom företagsutbildning fram den perfekta lösningen för dig.