Hodnocení kvality sumarizátorů textů Josef Steinberger 1 , Karel Ježek 1 1 Katedra informatiky a výpočetní techniky, FAV, ZČU – Západočeská Univerzita v Plzni, Univerzitní 22, 306 14 Plzeň {jstein, jezek_ka}@kiv.zcu.cz Abstrakt. Příspěvek se zabývá možnostmi hodnocení kvality výsledků sumarizátorů textů. Jsou zde popsány jednotlivé třídy metod hodnocení. Větší pozornost je věnována třídě metod založených na podobnosti obsahu. Uvádíme dvě nové metody hodnocení kvality extraktů, které využívají singulární dekompozici. Článek prezentuje výsledky testování tří sumarizátorů hodnocených z hlediska standardní kosinové metody a dvou nových metod založených na singulární dekompozici. Podobnost obsahu extraktu je měřena jak k plnému textu tak i k jeho abstraktu. Klíčová slova: sumarizace, extrakt, abstrakt, singulární dekompozice 1 Úvod Automatická sumarizace textů je vědecká disciplína, která v dnešní době poutá stále větší pozornost. Obrovské množství elektronických informací se musí redukovat, aby se s nimi uživatel mohl efektivněji vypořádat. Existuje mnoho sumarizačních metod. První skupinu tvoří extraktivní metody (Summarization by Extraction), jejichž cílem je vybrat nejvýznamnější věty v sumarizovaném textu a výsledkem je tedy extrakt. V dnešní době se začínají vyvíjet také algoritmy, které by umožňovaly automatickou tvorbu abstraktu generováním nových vět (Summarization by Generation). Tyto metody jsou však stále málo dokonalé. Pokud však chceme vylepšovat sumarizační metody, musíme nejprve vyvinout způsoby, jak posuzovat jejich kvalitu. Tento příspěvek se zabývá přístupy k hodnocení extraktů. Metody lze rozdělit do dvou skupin. První tvoří metody, které zjišťují, nakolik je automatický systém schopný zachytit hlavní myšlenky zdrojového dokumentu (content evaluation). Metody druhé skupiny měří textovou kvalitu výstupu sumarizátoru – hodnotí čtivost, gramatiku a logickou souvislost extraktu (text quality evaluation). Dále je možné rozdělit metody na vnitřní (intristic) a vnější (extrinsic). První skupina metod vychází z obecných požadavků na abstrakty. Zkoumá tedy informativnost, pokrytí a správnost abstraktů (extraktů). Druhá zkoumá jejich kvalitu vzhledem k určitému cílovému použití. V aktuálním výzkumu jsou dominantní následující řešení: 1. Srovnání extraktu s referenčním textem (vnitřní hodnocení) – viz kap. 2, 3 a 5 2. Subjektivní hodnocení soudců (vnitřní hodnocení) 3. Aplikačně založené hodnocení (vnější hodnocení) – viz kap. 4