Analyse d'évaluations en résumé automatique : proposition d'une terminologie française, description des paramètres expérimentaux et recommandations

Authors: Goulet, Marie-Josée
Advisor: Ladouceur, Jacques
Abstract: Cette thèse porte sur l'évaluation des résumés automatiques. Ce sujet présente deux problèmes majeurs. Premièrement, la terminologie utilisée dans les évaluations de résumés automatiques comporte de nombreuses lacunes, tant en anglais qu'en français. Plus précisément, un même mot est parfois utilisé pour désigner plus d'un concept et certains concepts ne sont pas dénommés adéquatement. En outre, certains termes sont vagues et certains termes sont inappropriés. Afin de remédier à ce problème, un lexique de vingt-deux termes français pour la présentation des résultats d'évaluation de résumés automatiques a été élaboré. Le deuxième problème est l'absence d'un modèle pour la présentation des résultats d'évaluation de résumés automatiques. Par conséquent, les résultats ne sont pas présentés de la même manière d'un article à l'autre. Qui plus est, de nombreux chercheurs omettent des informations importantes lors de la présentation de leurs résultats d'évaluation, par exemple le nombre de juges qui ont évalué les résumés automatiques. Toutefois, l'élaboration d'un modèle de l'évaluation des résumés automatiques requiert une étude empirique d'assez grande envergure sur le sujet. Dans cette thèse, une analyse approfondie de vingt-sept évaluations de résumés automatiques a été effectuée, ce qui constitue la plus vaste étude jamais conduite sur ce sujet. Lors de cette analyse, toutes les informations pertinentes par rapport au déroulement de l'évaluation ont été retenues dans chacune des vingt-sept expériences du corpus. Ces informations, nommées paramètres expérimentaux, ont été classées en vingt-cinq grandes catégories, plus précisément : 1. quatre paramètres sur les textes sources ; 2. six paramètres sur les résumés automatiques évalués ; 3. sept paramètres sur les résumés de comparaison ; 4. huit paramètres sur les méthodes et les critères d'évaluation. Au terme de l'analyse, quarante-cinq recommandations pour la présentation des résultats d'évaluation de résumés automatiques ont été formulées. Les outils mis en place dans cette thèse, soit la terminologie française, les résultats d'analyse et les recommandations, pourront être utilisés par les chercheurs désirant évaluer leurs résumés automatiques. De plus, ils pourront bientôt être mis à contribution pour le démarrage d'une campagne d'évaluation internationale des résumés automatiques français.
Document Type: Thèse de doctorat
Issue Date: 2008
Open Access Date: 13 April 2018
Permalink: http://hdl.handle.net/20.500.11794/19888
Grantor: Université Laval
Collection:Thèses et mémoires

Files in this item:
SizeFormat 
25346.pdf46.19 MBAdobe PDFView/Open
All documents in CorpusUL are protected by Copyright Act of Canada.