Veliki odprtokodni jezikovni modeli

Sistem ChatGPT podjetja OpenAI je sprožil revolucijo razvoja in uporabe umetne inteligence v zadnjem letu. Po odprtokodnem lansiranju modela LlaMa (podjetje Meta) se je zgodil razcvet tehnologij velikih jezikovnih modelov tudi v odprtokodni skupnosti. Ogledali si bomo, kako lahko odprtokodne modele uporabljamo lokalno ali v oblaku. Izpostavili bomo nekaj tehničnih podrobnosti, kot so kvantizacija uteži in tipi paralelizma pri generiranju tekstov.