Abstractive text summarization for Hungarian

Yang, Zijian Győző, Agócs, Ádám, Kusper, Gábor, Váradi, Tamás (2021) Abstractive text summarization for Hungarian Annales Mathematicae et Informaticae (53.): Selected papers of the 1st Conference on Information Technology and Data Science. pp. 299-316. ISSN 1787-6117 (Online)

pdf AMI_53_from299to316.pdf Download (791kB) [error in script]

Absztrakt (kivonat)

In our research we have created a text summarization software tool for Hungarian using multilingual and Hungarian BERT-based models. Two types of text summarization method exist: abstractive and extractive. The abstractive summarization is more similar to human generated summarization. Target summaries may include phrases that the original text does not necessarily contain. This method generates the summarized text by applying keywords that were extracted from the original text. The extractive method summarizes the text by using the most important extracted phrases or sentences from the original text. In our research we have built both abstractive and extractive models for Hungarian. For abstractive models, we have used a multilingual BERT model and Hungarian monolingual BERT models. For extractive summarization, in addition to the BERT models, we have also made experiments with ELECTRA models. We find that the Hungarian monolingual models outperformed the multilingual BERT model in all cases. Furthermore, the ELECTRA small models achieved higher results than some of the BERT models. This result is important because the ELECTRA small models have much fewer parameters and were trained on only 1 GPU within a couple of days. Another important consideration is that the ELECTRA models are much smaller than the BERT models, which is important for the end users. To our best knowledge the first extractive and abstractive summarization systems reported in the present paper are the first such systems for Hungarian.

Mű típusa:	Folyóiratcikk - Journal article
Szerző:	Szerző neve Email MTMT azonosító ORCID azonosító Közreműködés Yang, Zijian Győző NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Agócs, Ádám NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Kusper, Gábor NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző Váradi, Tamás NEM RÉSZLETEZETT NEM RÉSZLETEZETT NEM RÉSZLETEZETT Szerző
Kapcsolódó URL-ek:	Befoglaló kötet
Kulcsszavak:	BERT, huBERT, ELECTRA, HILBERT, abstractive summarization, extractive summarization
Nyelv:	angol
DOI azonosító:	10.33039/ami.2021.04.002
ISSN:	1787-6117 (Online)
Felhasználó:	Tibor Gál
Dátum:	18 Máj 2021 16:45
Utolsó módosítás:	18 Máj 2021 16:45
URI:	http://publikacio.uni-eszterhazy.hu/id/eprint/7012

Műveletek (bejelentkezés szükséges)

Tétel nézet