Yang, Zijian Győző, Bánfi, Ágnes, Dodé, Réka, Ferenczi, Gergő, Földesi, Flóra, Hatvani, Péter, Héja, Enikő, Lengyel, Mariann, Madarász, Gábor, Osváth, Mátyás, Sárossy, Bence, Varga, Kristóf, Váradi, Tamás, Prószéky, Gábor, Ligeti-Nagy, Noémi (2025) ChatPULI: Enhancement to the first Hungarian conversational model Annales Mathematicae et Informaticae. 61. pp. 261-274. ISSN 1787-6117 (Online)
![[thumbnail of 261_274_yang.pdf]](http://publikacio.uni-eszterhazy.hu/style/images/fileicons/text.png) |
pdf
261_274_yang.pdf Download (482kB) [error in script] |
Absztrakt (kivonat)
This paper presents the development and evaluation of PULILlumiX- Llama-3.1 Chat and PULI Trio Q Chat, the first Hungarian-focused conversational large language models based on the Llama 3.1 and Qwen 2.5 architectures. Extending previous work on Hungarian instruction-following models, we applied continual pre-training on multilingual and Hungarian corpora, followed by supervised fine-tuning on an expanded instruction dataset including Hungarian, English, and Chinese prompts. Our models demonstrate significant performance improvements on Hungarian language understanding benchmarks, as well as on few-shot and zero-shot tasks, compared to earlier PULI models. Additionally, they show enhanced capabilities in machine translation and multi-turn dialogue handling. These results highlight the effectiveness of continual pre-training and fine-tuning strategies for adapting large language models to low-resource languages like Hungarian, and provide a foundation for future research in conversational AI for underrepresented languages.
| Mű típusa: | Folyóiratcikk - Journal article |
|---|---|
| Szerző: | Szerző neve Email MTMT azonosító ORCID azonosító Közreműködés Yang, Zijian Győző NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Bánfi, Ágnes NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Dodé, Réka NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Ferenczi, Gergő NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Földesi, Flóra NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Hatvani, Péter NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Héja, Enikő NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Lengyel, Mariann NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Madarász, Gábor NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Osváth, Mátyás NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Sárossy, Bence NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Varga, Kristóf NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Váradi, Tamás NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Prószéky, Gábor NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Ligeti-Nagy, Noémi NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző |
| Kapcsolódó URL-ek: | |
| Kulcsszavak: | PULI models, Llama, Qwen, large language model, conversational language model |
| Folyóirat alcíme: | Selected papers of the International Conference on Formal Methods and Foundations of Artificial Intelligence |
| Nyelv: | angol |
| Kötetszám: | 61. |
| DOI azonosító: | 10.33039/ami.2025.10.010 |
| ISSN: | 1787-6117 (Online) |
| Felhasználó: | Tibor Gál |
| Dátum: | 29 Okt 2025 13:05 |
| Utolsó módosítás: | 29 Okt 2025 13:05 |
| URI: | http://publikacio.uni-eszterhazy.hu/id/eprint/8840 |
 |
Tétel nézet |
