Sparkathon – Developing Hadoop YARN Applications in Scala

WAŻNE: Koniecznie zainstaluj Hadoop 2.7.3 lub (lepiej) Hadoop 3.0.0-alpha2. Pobierz Hadoop 3.0.0-alpha2 z https://archive.apache.org/dist/hadoop/common/hadoop-3.0.0-alpha2 (lub zainstaluj wersję na Twój system operacyjny, np. brew na macOS). Dobrze byłoby, abyś przed spotkaniem odpalił jednowęzłowy klaster YARN (skorzystaj z YARN on a Single Node). Sparkathon w Warszawie z Apache Spark 2.1.0 / Scala[masked] /sbt[masked] / IntelliJ IDEA[masked] (ze Scala plugin!). Koniecznie musisz do nas wpaść i spróbować swoich sił w rozszerzaniu możliwości swoich i Sparka! Celem spotkania jest nauka Scali i Sparka (lub odwrotnie) w miłej atmosferze. Wszyscy mile widziani - początkujący i zaawansowani - i każdy powinien znaleźć coś dla siebie. Będziemy rozszerzali możliwości platformy Spark, więc tworzenie własnych formatów korzystając z DataSource API w Spark SQL lub job schedulers czy streaming sinks to norma. Nie martw się, to naprawdę proste w takim gronie! "Ludzie i technologie" - tego nie można nie lubić! Pracujemy w parach i postanowiliśmy, że od tego spotkania będziemy wszyscy pracowali nad jednym tematem, chyba że para (już samodzielnie) postanowi inaczej. Jest z czego wybierać i uczyć się Scali i Sparka. Na spotkania przychodzi 5-8 osób. Daje to okazję do rozmowy o Sparku i Scali w zasadzie do woli. Pomysły do oprogramowania zbieramy w dokumencie Spark-a-thon - Development Activities (aktualizowany na bieżąco, więc polecamy przeglądać historię zmian). Weź laptopa z Java SE 8, sbt[masked], i IntelliJ IDEA (z wtyczką do Scali). Pobierz kody źródłowe Sparka z the Spark repo lub po prostu skorzystaj z Spark 2.1.0. The real fun is on master! Polub nas na Facebooku! RTuj na twitterze. Pytania? Uwagi? Sugestie? Skorzystaj z możliwości komentowania poniżej! Official language: Polish + Scala.