Spark Structured Streaming - przetwarzanie strumieni danych

Zapraszamy na pierwsze spotkanie w ramach grupy Big Data community Łódź!

Będzie okazja abyśmy poznali (póki co w formie online), ale też porozmawiali o Big Data. Na dobry start zaczniemy od wykładu Patryka Pilarskiego o przetwarzaniu strumieni danych.

Słowo o nim:

Jednym z kryteriów przydatności informacji jest ich aktualność. Możliwość szybkiego podejmowania decyzji ze względu na napływające informacje stanowi często o przewadze konkurencyjnej. Aby sprostać wymaganiom biznesu potrzebne są więc narzędzia do przetwarzania strumieni danych. Takie narzędzie - Spark Structured Streaming - oferuje Apache Spark. Dołącz do webinaru i zobacz jak utworzyć połączenie z Apache Kafka, oraz w jaki sposób zdefiniować proste jak i złożone transformacje danych w ruchu. W ramach spotkania dowiesz się między innymi jak zdefiniować różne agregacje na strumieniach, takie jak np. okna sesyjne (session window), czym różni się czas zdarzenia od czasu przetwarzania, oraz do czego służy watermarking.