Deep Learning - Multimodalne transformatory w Swifcie
Rok 2020 na pewno zapamiętamy jako Rok Multimodalnych Transformatorów ;-)
Po publikacji "Attention is All You Need" w 2017 transformatory zaczęły wypierać sieci rekurencyjne najpierw w tłumaczeniu maszynowym, potem w obszarze przetwarzania języka naturalnego (BERT, RoBERTa, GPT). W tym roku pojawiają się w obszarach rozpoznawania obiektów, przetwarzania wideo, czy generowania obrazów, kosząc dotychczasowe rozwiązania na prawo i lewo.
W międzyczasie Chris Lattner (twórca LLVM i Swifta) zapowiada zdetronizowanie Pythona w Deep Learningu przez swoje dzieło, rozwijane przez kilkuosobowy zespół w Google w ramach projektu "Swift for Tensorflow".
Choć "Swift for Tensorflow" jest projektem we wczesnej fazie rozwoju, sprawdziliśmy, że nadaje się już do nietrywialnych zastosowań. Na najbliższym spotkaniu pokażemy, jak użyć transformatora do rozpoznania i opisania ruchu ludzkiej sylwetki, w Swifcie, na platformie Colab.
Spotkamy się online, na platformie Zoom.
Wymagania:
* aplikacja Zoom
* przeglądarka Google Chrome
* konto Google / Gmail
Materiały:
* https://github.com/wojtekcz/language2motion
* https://www.tensorflow.org/swift
* http://colab.research.google.com
* Learning a bidirectional mapping between human whole-body motion and natural language using deep recurrent neural networks (https://arxiv.org/abs/1705.06400)
* Attention Is All You Need (https://arxiv.org/abs/1706.03762)
Bio prezentera:
Wojtek Czarnowski to koszaliński programista z ponad 20-letnim doświadczeniem. Kilka lat temu w Krzemowej Dolinie zafascynował się uczeniem maszynowym i zdecydował się na naukę nowego zawodu, trenera wielowarstwowych sieci neuronowych ;-) Brał udział w komercyjnych projektach zajmując się rozumieniem języka naturalnego, neuronowym tłumaczeniem maszynowym z języka angielskiego na polski, rozpoznawaniem obrazów i generowaniem realistycznych animacji przy pomocy sieci rekurencyjnych. Wykorzystuje w tym celu Python, PyTorch i Tensorflow. Jest współautorem serii praktycznych zajęć prezentujących zastosowania sieci neuronowych na Polsko-Japońskiej Akademii Technik Komputerowych w Warszawie.
https://www.linkedin.com/in/wojtekcz/
Dziękujemy Michałowi Wawrzyniukowi za udział w projekcie Language2Motion i Krzysiowi Kowalewskiemu za pomoc w przygotowaniu demo i prezentacji.
https://www.linkedin.com/in/michal-wawrzyniuk-b6563416
https://www.linkedin.com/in/krzysztof-kowalewski-917a51b1/
