Advanced Streaming Big Data with Spark - eLearning
4.950,00 SEK
- 25 hours
Kliv in i realtidsdatabehandling med kursen Streaming Big Data with Spark, utformad för att hjälpa dig bygga högpresterande, skalbara datapipelines som bearbetar information i samma ögonblick som den uppstår. Den här kursen introducerar dig till Apache Sparks streamingfunktioner och gör det möjligt för dig att arbeta med kontinuerliga dataflöden för moderna analys- och beslutsstödsystem.
Viktiga funktioner
Språk
Kurs och material på engelska
Nivå
Mellannivå – Avancerad nivå
Åtkomst
1 års tillgång till utbildningsplattformen
9 timmar videor på begäran
med 25+ timmars rekommenderad studietid
38 guidade praktiska övningar
13 automatiskt rättade prov
33 repetitionsquiz
3 verkliga projekt
Certifikat
Intyg om genomförd utbildning ingår

Lärandemål
I slutet av den här kursen kommer du att kunna förstå:
Körtid
Få en fullständig förståelse för Sparks runtime-arkitektur
DataFrame
Utför grundläggande DataFrame‑operationer och funktioner i Spark
Ström
Lär dig grunderna i strömbehandling med Spark
Kafka
Utforska direktintegrering av Spark Streaming med Apache Kafka
Amazon
Arbeta med Spark Streaming med Amazon Kinesis
Ansök
Förstå och tillämpa sliding window-operationer i strömbehandling

Kursöversikt
Spark-körtiden
Lektion 01
- Förstå Spark RDD
- Förstå Spark DataFrame
- Översikt över Spark-körningsarkitektur
ETL med Spark
Lektion 02
- Karttransformationer
- Förvandlingarna
- Grundläggande åtgärder
- Transformationer av nyckel-värde-par
- Join-operationer
- Numeriska RDD‑operationer och samplingsfunktioner
- Partitionering i Spark
- Styrning av partitioner i Spark
- Använda externa program med Spark
SparkSQL och DataFrames
Lektion 03
- Spark SQL-arkitektur
- Översikt över DataFrame-API
- Skapa DataFrames
- DataFrame-datamodell och scheman
- Grundläggande DataFrame-operationer
- DataFrame-funktioner
- Mängdoperationer och aggregeringar i DataFrames
- Lagring och utmatning av DataFrame
- DEMO av Spark SQL och DataFrames
Introduktion till strömbehandling med Spark
Lektion 04
- Introduktion till Spark Streaming
- Introduktion till DStreams
- DStream-operationerna
Tillståndsbaserad bearbetning med Spark Streaming
Lektion 05
- Statliga verksamheter
- Introduktion till Event Sourcing
- Demonstration av tillståndsbaserad streaming med Spark
Glidande fönsteroperationer med Spark Streaming
Lektion 06
- Fönsteroperationer
- Fönsterfunktioner
- DEMO Fönsterbaserade operationer med Spark Streaming
Introduktion till Structured Streaming
Lektion 07
- Översikt över strukturerad strömning
- Utdatalägen och utlösning med Structured Streaming
- DEMO Introduktion till Structured Streaming
Introduktion till Apache Kafka
Lektion 08
- Översikt och arkitektur för Apache Kafka
- Meddelandehantering med Kafka
- Demo: Lokal installation av Apache Kafka
Kafka-integrering med Spark Streaming
Lektion 09
Använda Spark Streaming med Apache Kafka
Att använda mottagaransatsen
Lektion 10
- Demo: Lokal installation av Apache Kafka
- Att använda den direkta metoden
- DEMO av Spark Streaming med Apache Kafka med direktmetoden
Kafka-integrering med Structured Streaming
Lektion 11
- Strukturerad strömning och Kafka
- Läsa och skriva data till Kafka med Structured Streaming
- DEMO Kafka och Structured Streaming
Använda Spark Streaming med Kinesis
Lektion 12
- Använda Amazon Kinesis Producer- och klientbibliotek
- DEMO Introduktion till Amazon Kinesis
Använda Spark Streaming med Kinesis
Lektion 13
- Använda Spark Streaming med Amazon Kinesis
- DEMO Använda Spark Streaming med Amazon Kinesis
- Använda Structured Streaming med Amazon Kinesis
- DEMO Använda Structured Streaming med Amazon Kinesis
Ytterligare Spark Streaming-integrationer
Lektion 14
- Spark Streaming med MQTT
- Spark Streaming och Apache Flume
- Spark Streaming och Twitter
- Spark Streaming och Snowflake
- DEMO Strukturerad strömning med Snowflake

Vem bör anmäla sig till det här programmet?
Dataingenjörer som arbetar med realtidsdatasystem
Big data-specialister och Spark-utvecklare
Mjukvaruingenjörer som går över till dataingenjörsroller
Data scientists som är intresserade av strömmingsanalys
Backendutvecklare som bygger datatunga applikationer
IT-specialister som arbetar med storskaliga distribuerade system
Förutsättningar
- Grundläggande förståelse för programmering (helst Java, Scala eller Python)
- Förtrogenhet med big data-koncept och distribuerade system
- Grundläggande kunskaper om databehandling eller analysarbetsflöden
- Förståelse för databaser och SQL (hjälpsamt men inte obligatoriskt)
- Ingen tidigare erfarenhet av Spark Streaming krävs.
Uttalanden
Licensiering och ackreditering
Denna kurs erbjuds i enlighet med Partnerprogramavtalet och uppfyller kraven i licensavtalet
Likabehandlingspolicy
Kandidater uppmuntras att kontakta AVC för vägledning och stöd under hela processen för att ordna anpassningar.
Vanliga frågor

Behöver du företagslösningar eller LMS-integration?
Hittade du inte kursen eller programmet som skulle passa för ditt företag? Behöver du LMS-integration? Skriv till oss! Vi löser det!
