Solving Hungarian natural language processing tasks with multilingual generative models

Yang, Zijian Győző, Laki, László János (2023) Solving Hungarian natural language processing tasks with multilingual generative models Annales Mathematicae et Informaticae. 57. pp. 92-106. ISSN 1787-6117 (Online)

pdf 92_106.pdf Download (597kB) [error in script]

Absztrakt (kivonat)

Generative ability is a crucial need for artificial intelligence applications, such as chatbots, virtual assistants, machine translation systems etc. In recent years, the transformer-based neural architectures gave a huge boost to generate human-like English texts. In our research we did experiments to create pre-trained generative transformer models for Hungarian language and fine-tune them for multiple types of natural language processing tasks. In our focus, multilingual models were trained. We have pre-trained a multilingual BART, then fine-tuned it to various NLP tasks, such as text classification, abstractive summarization. In our experiments, we focused on transfer learning techniques to increase the performance. Furthermore, a M2M100 multilingual model was fine-tuned for a 12-lingual HungarianCentric machine translation. Last but not least, a Marian NMT based machine translation system was also built from scratch for the 12-lingual Hungarian-Centric machine translation task. In our results, using the cross-lingual transfer method we could achieve higher performance in all of our tasks. In our machine translation experiment, using our fine-tuned M2M100 model we could outperform the Google Translate, Microsoft Translator and eTranslation.

Mű típusa:	Folyóiratcikk - Journal article
Szerző:	Szerző neve Email MTMT azonosító ORCID azonosító Közreműködés Yang, Zijian Győző NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Laki, László János NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző
Kapcsolódó URL-ek:	Folyóirat honlapja
Kulcsszavak:	natural language processing, multilingual model, sentiment analysis, abstractive summarization, machine translation, Marian NMT, M2M100
Nyelv:	angol
Kötetszám:	57.
DOI azonosító:	10.33039/ami.2022.11.001
ISSN:	1787-6117 (Online)
Felhasználó:	Tibor Gál
Dátum:	08 Jan 2023 10:43
Utolsó módosítás:	11 Aug 2023 06:59
URI:	http://publikacio.uni-eszterhazy.hu/id/eprint/7594

Műveletek (bejelentkezés szükséges)

Tétel nézet