Fine-tuning and multilingual pre-training for abstractive summarization task for the Arabic language

Kahla, Mram, Novák, Attila, Yang, Zijian Győző (2022) Fine-tuning and multilingual pre-training for abstractive summarization task for the Arabic language Annales Mathematicae et Informaticae. ISSN 1787-6117 (Online)

[thumbnail of AMI_online_1323.pdf] pdf
AMI_online_1323.pdf

Download (527kB) [error in script]
Hivatalos webcím (URL): https://doi.org/10.33039/ami.2022.11.002

Absztrakt (kivonat)

The main task of our research is to train various abstractive summarization models for the Arabic language. The work for abstractive Arabic text summarization has hardly begun so far due to the unavailability of the datasets needed for that. In our previous research, we created the first monolingual corpus in the Arabic language for abstractive text summarization. Based on this corpus, we fine-tuned various transformer models. We tested the PreSumm and multilingual BART models. We achieved a “state of the art” result in this area with the PreSumm method. The present study continues the same series of research. We extended our corpus “AraSum” and managed to reach up to 50 thousand items, each consisting of an article and its corresponding lead. In addition, we pretrained our own monolingual and trilingual BART models for the Arabic language and fine-tuned them in addition to the mT5 model for abstractive text summarization for the same language, using the AraSum corpus. While there is room for improvement in the resources and the infrastructure we possess, the results clearly demonstrate that most of our models surpassed the XL-Sum which is considered to be state of the art for abstractive Arabic text summarization so far. Our corpus “AraSum” will be released to facilitate future work on abstractive Arabic text summarization.

Mű típusa: Folyóiratcikk - Journal article
Szerző:
Szerző neve
Email
MTMT azonosító
ORCID azonosító
Közreműködés
Kahla, Mram
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
Szerző
Novák, Attila
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
Szerző
Yang, Zijian Győző
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
Szerző
Megjegyzés: Published online: November 9, 2022
Kapcsolódó URL-ek:
Kulcsszavak: Arabic, mT5, BART, AraSum, Abstractive Summarization
Nyelv: angol
DOI azonosító: 10.33039/ami.2022.11.002
ISSN: 1787-6117 (Online)
Felhasználó: Tibor Gál
Dátum: 09 Nov 2022 09:18
Utolsó módosítás: 09 Nov 2022 09:18
URI: http://publikacio.uni-eszterhazy.hu/id/eprint/7512
Műveletek (bejelentkezés szükséges)
Tétel nézet Tétel nézet