Post-editing Experiments with MT for a Controlled Language 1 Irina Temnikova and Constantin Orasan Research Institute in Information and Language Processing University of Wolverhampton, UK E-mail: I.Temnikova2@wlv.ac.uk, C.Orasan@wlv.ac.uk Abstract This paper aims to establish whether a new  controlled language (CL) for emergency-related texts  could facilitate both human and machine translation.  To achieve this, an experiment involving an MT engine  and human translators and post-editors was conduced.  In order to estimate whether the CL pre-editing has an  impact on human and machine translation, the time to  manually translate, the time to post-edit and the edit  distance between the original and the simplified texts  were measured. The results of the experiment confirm  the hypothesis. 1. Introduction In emergency situations it is vital to be able to  quickly and correctly comprehend messages, alerts and  protocols especially because it was noticed that human  understanding under stress is different than in normal  conditions.  For this reason the use of a controlled  language (CL) is strongly recommended for writing  this kind of texts.  In the current global society it is rarely the case that  a message is written only in one language especially  when the message is addressed to various groups of  people. This paper investigates to what extent  controlled language re-writing can improve human and  machine translation (MT) of texts from the emergency- related domain. To achieve this, the time necessary to  manually translate emergency-related texts and their  simplified versions was measured and compared. At  the same time, we also performed another experiment  where translators had to post-edit automatically  translated texts. The time and the amount of editing for  original and simplified texts were calculated and  compared. The hypothesis investigated in this paper is  that the simplified texts can be translated faster and  with less effort than the original texts. If this is true, it  will be reflected by the fact that translators require less  time and fewer edits to post-edit a simplified text than  when they deal with original texts.  At the same time,  translators will be able to manually translate a  simplified text more easily than the original one, which  will be reflected by a shorter overall translation time. The remainder of this paper is structured as follows:  Section 2 presents some related work, Section 3 gives  an overview of the controlled language used, Section 4  describes the experiment, Section 5 discusses the  evaluation results and Section 6 provides some  conclusions. 2. Related work in CL and MT The issue of whether pre-editing texts according to  controlled language guidelines can improve the quality  of machine translation has been investigated using  different approaches ([8], [11], [12], [1]) and several  CLs have been developed with the main purpose of  improving the output of translation engines ([9], [6]). Krings [8] measures the post-editing effort from  temporal (time necessary to post-edit a text), technical  (number of additions, deletions, and cuts-and-pastes)  and cognitive point of view (think-aloud protocols).  O'Brien ([11], [12]) also measures the time and number  of additions, deletions, and cuts-and-pastes, but  employs Choice Network Analysis for measuring the  cognitive effort. In contrast, Aikawa et al., [1] relies on  human evaluation scores and BLEU scores ([13]) for  estimating the impact of CL on MT quality, and  character-based edit distance for measuring the post- editing effort. On the basis of the obtained results, they  1  This paper was been produced in the context of MESSAGE Project (full title: Alert Messages and Protocols), project financed by the European  Union (JLS/2007/CIPS/022).  With the support of the Prevention, Preparedness and Consequence Management of Terrorism and other Security-related Risks Programme  European Commission - Directorate-General Justice, Freedom and Security. This project has been funded with support from the European Commission. This publication reflects the views only of the author, and the  Commission cannot be held responsible for any use which may be made of the information contained therein