Yang, Zijian Győző, Stajer, Lili Anna, Lukács, Gergely (2025) Under the hood. An inside look at PULI models In: Proceedings of the International Conference on Formal Methods and Foundations of Artificial Intelligence. Eger, Eszterházy Károly Catholic University. pp. 233-242.
![[thumbnail of fmfai2025_pp233-242.pdf]](http://publikacio.uni-eszterhazy.hu/style/images/fileicons/text.png) |
pdf
fmfai2025_pp233-242.pdf Download (1MB) [error in script] |
Absztrakt (kivonat)
Understanding the internal structure and behavior of large language models remains a key challenge in natural language processing. In this work, we present a comprehensive analysis of the PULI family of Hungarian generative large language models. Our study combines static analysis of model parameters with dynamic visualization of model behavior during inference. The static analysis reveals patterns in parameter distributions and dimensionality across layers, offering insight into how different layers specialize. The dynamic analysis integrates an adapted version of BertViz into a webbased interface that enables interactive exploration of attention mechanisms for arbitrary prompts and generated responses. This dual approach advances interpretability and facilitates further research on the internal mechanics of transformer models tailored for low-resource languages like Hungarian.
| Mű típusa: | Könyvrészlet - Book section |
|---|---|
| Szerző: | Szerző neve Email MTMT azonosító ORCID azonosító Közreműködés Yang, Zijian Győző NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Stajer, Lili Anna NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Lukács, Gergely NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző |
| Megjegyzés: | The study was funded by the National Research, the Development and Innovation Office in Hungary (RRF-2.3.1-21-2022-00004). |
| Kapcsolódó URL-ek: | |
| Kulcsszavak: | PULI models, large language models, transformers visualization, attention analysis, BertViz, principal component analysis, cumulative explained variance |
| Nyelv: | angol |
| DOI azonosító: | 10.17048/fmfai.2025.233 |
| Felhasználó: | Tibor Gál |
| Dátum: | 28 Okt 2025 10:54 |
| Utolsó módosítás: | 28 Okt 2025 10:54 |
| URI: | http://publikacio.uni-eszterhazy.hu/id/eprint/8818 |
 |
Tétel nézet |
