Talks #4: LLMy, czyli duże modele językowe

Miejsce: biuro Pearson: Nobel Tower, Poznań, ul. Dąbrowskiego 77A, piętro 1

Sponsorem wydarzenia jest Pearson.

Adam Maciaszek: Od 4K do 10M w rok - o długości kontekstu w LLM

Abstract:

W trakcie prezentacji zajmiemy się problemem ograniczonego kontekstu w dużych modelach językowych. Przedstawię dlaczego modele językowe potrafią przetwarzać tekst o ograniczonej długości i pokażę zastosowania modeli, w których stanowi to problem. Przeanalizujemy aktualnie stosowane metody, które służą poszerzeniu okna kontekstowego w wielu aktualnie popularnych modelach. Zastanowimy się też kiedy warto korzystać z rozwiązań wykorzystujących bardzo długie okno kontekstowe modelu językowego, a kiedy lepiej wykorzystać inne metody.

Bio:

Jestem Adam, pracuję jako Machine Learning Engineer w deepsense.ai. Od 8 lat zajmuję się projektami w obszarze uczenia maszynowego. W swojej karierze miałem okazję pracować nad przetwarzaniem języka naturalnego w erze "przedtransformerowej" oraz w domenie audio, współtworząc algorytmy sztucznej inteligencji w branży medycznej w poznańskim startupie StethoMe. Moja obecna rola w deepsense.ai umożliwia mi pracę w projektach z różnorodnych dziedzin, a od ponad roku moje profesjonalne zainteresowania krążą przede wszystkim wokół dużych modeli językowych. W projektach związanych z uczeniem maszynowym cenię połączenie aspektów badawczych i inżynieryjnych. Poza moimi obowiązkami w deepsense.ai dzielę się wiedzą na studiach podyplomowych na Uniwersytecie Adama Mickiewicza w Poznaniu. W czasie wolnym wspinam się, jeżdżę na rowerze i chodzę po górach.

Michał Mikołajczak: Adventure time! A journey for flagging dangerous multimodal content using multimodal LLMs.

Abstract:

According to statistics, roughly 329 million terabytes of data are created daily, with the social media data category accounting to 13% of it. In our current data-driven era, the amount of valuable content generated and almost immediately available to others is outstanding, but there are also downsides to that. Malicious users' capabilities/possibilities are also higher than ever – resulting in harmful content, ranging from racism, gore, or sexual predators texts being an important problem that almost all communication platforms must tackle. But with the amount of content generated, human moderators simply can't handle the workload.

We tried to address this problem with the automation of harmful content detection/flagging in one of our projects. There are a couple of commercial solutions targeting it already available, but their APIs/what they are detecting are rather fixed, while we needed an adjustable rule set – so instead we tried coming up with our own solution. As the LLMs/generative AI capabilities are quite promising, we tried to employ them to the task. If you would like to know what were the results, how to utilize LLMs to screen both text and image data, or why we at some point internally stated that the model achieved "lawyer mode" – come to this talk for a story.

Bio:

Michal Mikolajczak is a founder and Tech Lead at datarabbit.ai – data/machine learning focused software house, that helps organizations utilize their data and gain competitive advantage by designing, building, and shipping AI and data driven solutions for their businesses. Due to working there on a variety of projects from different industries, he possesses a broad range of diversified ML experience, with a focus on its productization. But his primary background is image processing – for a couple of years he was working in the medical imaging field, including being a CTO of a startup that was successfully acquired by a NASDAQ company. Privately a big fan of BI/any kind of data visualization systems that allow storytelling with data and Pratchett works enjoyer.