0.25
0.5
0.75
1.25
1.5
1.75
2
Slovenska LLM Areno: Prihodnost vrednotenja jezikovnih modelov v Sloveniji
Evalvacija velikih jezikovnih modelov za slovenščino predstavlja poseben izziv. Že tako pomanjkljive evalvacijske množice ne povejo celotne zgodbe. V ta namen smo v okviru projekta Povejmo postavili S
Related categories
Presentation
Slovenska LLM Arena00:00
Evalvacija jezikovnih modelov00:53
Klasifikacijski pristop03:00
Slovenska realnost04:01
Problem 1: halucinacije07:27
Problem 2: razumevanje ≠ govorjenje08:22
Problem 3: kulturna specifičnost09:36
LLM Arene - 110:38
LLM Arene - 212:28
Poravnava s človeškimi preferencami13:12
Identifikacija napak13:51
Slovenska LLM arena14:27
Slovenska pogovorna arena16:17
Arhitekturna zasnova17:13
Sistem rangiranja Elo19:37
Podatki21:20
Končna množica & učenje24:06
Rezultati - 128:40
Rezultati - 230:11
Rezultati - 330:41
Zaključki31:08
Kako naprej?33:31
Hvala37:21