Advanced Streaming Big Data with Spark - eLearning
4.950,00 SEK
- 25 timmar
Kliv in i realtidsdatabehandling med kursen Streaming Big Data with Spark, utformad för att hjälpa dig bygga högpresterande, skalbara datapipelines som bearbetar information i samma ögonblick som den uppstår. Den här kursen introducerar dig till Apache Sparks streamingfunktioner och gör det möjligt för dig att arbeta med kontinuerliga dataflöden för moderna analys- och beslutsstödsystem.
Viktiga funktioner
Språk
Kurs och material på engelska
Nivå
Mellannivå – Avancerad nivå
Åtkomst
1 års tillgång till utbildningsplattformen
9 timmar videor på begäran
med 25+ timmars rekommenderad studietid
38 guidade praktiska övningar
13 automatiskt rättade prov
33 repetitionsquiz
3 verkliga projekt
Certifikat
Intyg om genomförd utbildning ingår

Lärandemål
I slutet av den här kursen kommer du att kunna förstå:
Körtid
Få en fullständig förståelse för Sparks runtime-arkitektur
DataFrame
Utför grundläggande DataFrame‑operationer och funktioner i Spark
Ström
Lär dig grunderna i strömbehandling med Spark
Kafka
Utforska direktintegrering av Spark Streaming med Apache Kafka
Amazon
Arbeta med Spark Streaming med Amazon Kinesis
Ansök
Förstå och tillämpa sliding window-operationer i strömbehandling

Kursöversikt
Spark-körtiden
Lektion 01
- Förstå Spark RDD
- Förstå Spark DataFrame
- Översikt över Spark-körningsarkitektur
ETL med Spark
Lektion 02
- Karttransformationer
- Förvandlingarna
- Grundläggande åtgärder
- Transformationer av nyckel-värde-par
- Join-operationer
- Numeriska RDD‑operationer och samplingsfunktioner
- Partitionering i Spark
- Styrning av partitioner i Spark
- Använda externa program med Spark
SparkSQL och DataFrames
Lektion 03
- Spark SQL-arkitektur
- Översikt över DataFrame-API
- Skapa DataFrames
- DataFrame-datamodell och scheman
- Grundläggande DataFrame-operationer
- DataFrame-funktioner
- Mängdoperationer och aggregeringar i DataFrames
- Lagring och utmatning av DataFrame
- DEMO av Spark SQL och DataFrames
Introduktion till strömbehandling med Spark
Lektion 04
- Introduktion till Spark Streaming
- Introduktion till DStreams
- DStream-operationerna
Tillståndsbaserad bearbetning med Spark Streaming
Lektion 05
- Statliga verksamheter
- Introduktion till Event Sourcing
- Demonstration av tillståndsbaserad streaming med Spark
Glidande fönsteroperationer med Spark Streaming
Lektion 06
- Fönsteroperationer
- Fönsterfunktioner
- DEMO Fönsterbaserade operationer med Spark Streaming
Introduktion till Structured Streaming
Lektion 07
- Översikt över strukturerad strömning
- Utdatalägen och utlösning med Structured Streaming
- DEMO Introduktion till Structured Streaming
Introduktion till Apache Kafka
Lektion 08
- Översikt och arkitektur för Apache Kafka
- Meddelandehantering med Kafka
- Demo: Lokal installation av Apache Kafka
Kafka-integrering med Spark Streaming
Lektion 09
Använda Spark Streaming med Apache Kafka
Att använda mottagaransatsen
Lektion 10
- Demo: Lokal installation av Apache Kafka
- Att använda den direkta metoden
- DEMO av Spark Streaming med Apache Kafka med direktmetoden
Kafka-integrering med Structured Streaming
Lektion 11
- Strukturerad strömning och Kafka
- Läsa och skriva data till Kafka med Structured Streaming
- DEMO Kafka och Structured Streaming
Använda Spark Streaming med Kinesis
Lektion 12
- Använda Amazon Kinesis Producer- och klientbibliotek
- DEMO Introduktion till Amazon Kinesis
Använda Spark Streaming med Kinesis
Lektion 13
- Använda Spark Streaming med Amazon Kinesis
- DEMO Använda Spark Streaming med Amazon Kinesis
- Använda Structured Streaming med Amazon Kinesis
- DEMO Använda Structured Streaming med Amazon Kinesis
Ytterligare Spark Streaming-integrationer
Lektion 14
- Spark Streaming med MQTT
- Spark Streaming och Apache Flume
- Spark Streaming och Twitter
- Spark Streaming och Snowflake
- DEMO Strukturerad strömning med Snowflake

Vem bör anmäla sig till det här programmet?
Dataingenjörer som arbetar med realtidsdatasystem
Big data-specialister och Spark-utvecklare
Mjukvaruingenjörer som går över till dataingenjörsroller
Data scientists som är intresserade av strömmingsanalys
Backendutvecklare som bygger datatunga applikationer
IT-specialister som arbetar med storskaliga distribuerade system
Förutsättningar
- Grundläggande förståelse för programmering (helst Java, Scala eller Python)
- Förtrogenhet med big data-koncept och distribuerade system
- Grundläggande kunskaper om databehandling eller analysarbetsflöden
- Förståelse för databaser och SQL (hjälpsamt men inte obligatoriskt)
- Ingen tidigare erfarenhet av Spark Streaming krävs.
Uttalanden
Licensiering och ackreditering
Denna kurs erbjuds i enlighet med Partnerprogramavtalet och uppfyller kraven i licensavtalet
Likabehandlingspolicy
Kandidater uppmuntras att kontakta AVC för vägledning och stöd under hela processen för att ordna anpassningar.
Vanliga frågor

Behöver du en skräddarsydd företagsintern utbildning eller grupputbildning?
Begär ett företagsinternt utbildningsprogram som skräddarsys specifikt för ditt team. Vi erbjuder flexibla anpassningsmöjligheter i linje med dina affärsmål, samt konkurrenskraftiga priser för större grupper. Fyll i formuläret nedan, så tar våra experter inom företagsutbildning fram den perfekta lösningen för dig.
