Abstractive text summarization for Hungarian

Yang, Zijian Győző, Agócs, Ádám, Kusper, Gábor, Váradi, Tamás (2021) Abstractive text summarization for Hungarian Annales Mathematicae et Informaticae (53.): Selected papers of the 1st Conference on Information Technology and Data Science. pp. 299-316. ISSN 1787-6117 (Online)

[thumbnail of AMI_53_from299to316.pdf] pdf
AMI_53_from299to316.pdf

Download (791kB) [error in script]
Hivatalos webcím (URL): https://doi.org/10.33039/ami.2021.04.002

Absztrakt (kivonat)

In our research we have created a text summarization software tool for Hungarian using multilingual and Hungarian BERT-based models. Two types of text summarization method exist: abstractive and extractive. The abstractive summarization is more similar to human generated summarization. Target summaries may include phrases that the original text does not necessarily contain. This method generates the summarized text by applying keywords that were extracted from the original text. The extractive method summarizes the text by using the most important extracted phrases or sentences from the original text. In our research we have built both abstractive and extractive models for Hungarian. For abstractive models, we have used a multilingual BERT model and Hungarian monolingual BERT models. For extractive summarization, in addition to the BERT models, we have also made experiments with ELECTRA models. We find that the Hungarian monolingual models outperformed the multilingual BERT model in all cases. Furthermore, the ELECTRA small models achieved higher results than some of the BERT models. This result is important because the ELECTRA small models have much fewer parameters and were trained on only 1 GPU within a couple of days. Another important consideration is that the ELECTRA models are much smaller than the BERT models, which is important for the end users. To our best knowledge the first extractive and abstractive summarization systems reported in the present paper are the first such systems for Hungarian.

Mű típusa: Folyóiratcikk - Journal article
Szerző:
Szerző neve
Email
MTMT azonosító
ORCID azonosító
Közreműködés
Yang, Zijian Győző
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
Szerző
Agócs, Ádám
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
Szerző
Kusper, Gábor
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
Szerző
Váradi, Tamás
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
Szerző
Kapcsolódó URL-ek:
Kulcsszavak: BERT, huBERT, ELECTRA, HILBERT, abstractive summarization, extractive summarization
Nyelv: angol
DOI azonosító: 10.33039/ami.2021.04.002
ISSN: 1787-6117 (Online)
Felhasználó: Tibor Gál
Dátum: 18 Máj 2021 16:45
Utolsó módosítás: 18 Máj 2021 16:45
URI: http://publikacio.uni-eszterhazy.hu/id/eprint/7012
Műveletek (bejelentkezés szükséges)
Tétel nézet Tétel nézet