Full-parameter fine-tuning vs. LoRA fine-tuning on PULI models

Varga, Kristóf, Hatvani, Péter, Yang, Zijian Győző (2025) Full-parameter fine-tuning vs. LoRA fine-tuning on PULI models In: Proceedings of the International Conference on Formal Methods and Foundations of Artificial Intelligence. Eger, Eszterházy Károly Catholic University. pp. 226-232.

pdf fmfai2025_pp226-232.pdf Download (584kB) [error in script]

Absztrakt (kivonat)

In this study, we compare full-parameter fine-tuning and parameter- efficient LoRA on various Hungarian PULI large language models, evaluating their performance across six Hungarian language understanding benchmarks. While full-parameter fine-tuning updates all model weights and requires substantial computational resources, LoRA adapts a smaller subset of parameters, enabling more efficient training. Our experiments on the monolingual PULI 3SX and the multilingual LlumiX and LlumiX-Llama-3.1 models reveal that LoRA consistently matches or surpasses full fine-tuning on most tasks, particularly when applied to larger models. Notably, LlumiXLlama- 3.1 with LoRA achieves state-of-the-art results on five out of six benchmarks while significantly reducing resource demands. These findings highlight LoRA’s potential as a scalable and effective fine-tuning method for Hungarian large language models.

Mű típusa:	Könyvrészlet - Book section
Szerző:	Szerző neve Email MTMT azonosító ORCID azonosító Közreműködés Varga, Kristóf NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Hatvani, Péter NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Yang, Zijian Győző NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző
Kapcsolódó URL-ek:	Befoglaló kötet
Kulcsszavak:	LoRA, PULI models, HuLU benchmarks, fine-tuning, parameterefficient adaptation
Nyelv:	angol
DOI azonosító:	10.17048/fmfai.2025.226
Felhasználó:	Tibor Gál
Dátum:	28 Okt 2025 10:52
Utolsó módosítás:	28 Okt 2025 12:57
URI:	http://publikacio.uni-eszterhazy.hu/id/eprint/8817

Műveletek (bejelentkezés szükséges)

Tétel nézet