Advanced Streaming Big Data with Spark - eLearning

4.950,00 SEK

  • 25 hours
eLearning

Kliv in i realtidsdatabehandling med kursen Streaming Big Data with Spark, utformad för att hjälpa dig bygga högpresterande, skalbara datapipelines som bearbetar information i samma ögonblick som den uppstår. Den här kursen introducerar dig till Apache Sparks streamingfunktioner och gör det möjligt för dig att arbeta med kontinuerliga dataflöden för moderna analys- och beslutsstödsystem.

Viktiga funktioner

Språk

Kurs och material på engelska

Nivå

Mellannivå – Avancerad nivå

Åtkomst

1 års tillgång till utbildningsplattformen

9 timmar videor på begäran

med 25+ timmars rekommenderad studietid

38 guidade praktiska övningar

13 automatiskt rättade prov

33 repetitionsquiz

3 verkliga projekt

Certifikat

Intyg om genomförd utbildning ingår

Hero

Lärandemål

I slutet av den här kursen kommer du att kunna förstå:

Körtid

Få en fullständig förståelse för Sparks runtime-arkitektur

DataFrame

Utför grundläggande DataFrame‑operationer och funktioner i Spark

Ström

Lär dig grunderna i strömbehandling med Spark

Kafka

Utforska direktintegrering av Spark Streaming med Apache Kafka

Amazon

Arbeta med Spark Streaming med Amazon Kinesis

Ansök

Förstå och tillämpa sliding window-operationer i strömbehandling

Hero

Kursöversikt

  1. Spark-körtiden

    Lektion 01

    • Förstå Spark RDD
    • Förstå Spark DataFrame
    • Översikt över Spark-körningsarkitektur
  2. ETL med Spark

    Lektion 02

    • Karttransformationer
    • Förvandlingarna
    • Grundläggande åtgärder
    • Transformationer av nyckel-värde-par
    • Join-operationer
    • Numeriska RDD‑operationer och samplingsfunktioner
    • Partitionering i Spark
    • Styrning av partitioner i Spark
    • Använda externa program med Spark
  3. SparkSQL och DataFrames

    Lektion 03

    • Spark SQL-arkitektur
    • Översikt över DataFrame-API
    • Skapa DataFrames
    • DataFrame-datamodell och scheman
    • Grundläggande DataFrame-operationer
    • DataFrame-funktioner
    • Mängdoperationer och aggregeringar i DataFrames
    • Lagring och utmatning av DataFrame
    • DEMO av Spark SQL och DataFrames
  4. Introduktion till strömbehandling med Spark

    Lektion 04

    • Introduktion till Spark Streaming
    • Introduktion till DStreams
    • DStream-operationerna
  5. Tillståndsbaserad bearbetning med Spark Streaming

    Lektion 05

    • Statliga verksamheter
    • Introduktion till Event Sourcing
    • Demonstration av tillståndsbaserad streaming med Spark
  6. Glidande fönsteroperationer med Spark Streaming

    Lektion 06

    • Fönsteroperationer
    • Fönsterfunktioner
    • DEMO Fönsterbaserade operationer med Spark Streaming
  7. Introduktion till Structured Streaming   

    Lektion 07

    • Översikt över strukturerad strömning
    • Utdata­lägen och utlösning med Structured Streaming
    • DEMO Introduktion till Structured Streaming
  8. Introduktion till Apache Kafka

    Lektion 08

    • Översikt och arkitektur för Apache Kafka
    • Meddelandehantering med Kafka
    • Demo: Lokal installation av Apache Kafka
  9. Kafka-integrering med Spark Streaming    

    Lektion 09

    Använda Spark Streaming med Apache Kafka

  10. Att använda mottagaransatsen

    Lektion 10

    • Demo: Lokal installation av Apache Kafka
    • Att använda den direkta metoden
    • DEMO av Spark Streaming med Apache Kafka med direktmetoden
  11. Kafka-integrering med Structured Streaming

    Lektion 11

    • Strukturerad strömning och Kafka
    • Läsa och skriva data till Kafka med Structured Streaming
    • DEMO Kafka och Structured Streaming
  12. Använda Spark Streaming med Kinesis 

    Lektion 12

    • Använda Amazon Kinesis Producer- och klientbibliotek
    • DEMO Introduktion till Amazon Kinesis
  13. Använda Spark Streaming med Kinesis

    Lektion 13

    • Använda Spark Streaming med Amazon Kinesis
    • DEMO Använda Spark Streaming med Amazon Kinesis
    • Använda Structured Streaming med Amazon Kinesis
    • DEMO Använda Structured Streaming med Amazon Kinesis
  14. Ytterligare Spark Streaming-integrationer

    Lektion 14

    • Spark Streaming med MQTT
    • Spark Streaming och Apache Flume
    • Spark Streaming och Twitter
    • Spark Streaming och Snowflake
    • DEMO Strukturerad strömning med Snowflake
Avancerad strömmande big data med Spark

Vem bör anmäla sig till det här programmet?

Dataingenjörer som arbetar med realtidsdatasystem

Big data-specialister och Spark-utvecklare

Mjukvaruingenjörer som går över till dataingenjörsroller

Data scientists som är intresserade av strömmingsanalys

Backendutvecklare som bygger datatunga applikationer

IT-specialister som arbetar med storskaliga distribuerade system

Starta kursen nu

Förutsättningar

  • Grundläggande förståelse för programmering (helst Java, Scala eller Python)
  • Förtrogenhet med big data-koncept och distribuerade system
  • Grundläggande kunskaper om databehandling eller analysarbetsflöden
  • Förståelse för databaser och SQL (hjälpsamt men inte obligatoriskt)
  • Ingen tidigare erfarenhet av Spark Streaming krävs.

Uttalanden

Licensiering och ackreditering

Denna kurs erbjuds i enlighet med Partnerprogramavtalet och uppfyller kraven i licensavtalet

Likabehandlingspolicy

Kandidater uppmuntras att kontakta AVC för vägledning och stöd under hela processen för att ordna anpassningar.


Vanliga frågor

Contact background

Behöver du företagslösningar eller LMS-integration?

Hittade du inte kursen eller programmet som skulle passa för ditt företag? Behöver du LMS-integration? Skriv till oss! Vi löser det!