Using collocations for language generation1

A large number of wording choices naturally occurring in English sentences cannot be accounted for on semantic or syntactic grounds. They represent arbitrary word usages and are termed collocations. In this paper, we show how collocations can enhance the task of lexical selection in language generation. Previous language generation systems were not able to account for collocations for two reasons: they did not have the lexical information in compiled form and the lexicon formalisms available were not able to handle the variations in collocational knowledge. We describe an implemented generator, Cook, which uses a wide range of collocations to produce sentences in the stock market domain. Cook uses a flexible lexicon containing a range of collocations, from idiomatic phrases to word pairs that were compiled automatically from text corpora using a lexicographic tool, Xtract. We show how Cook is able to merge collocations of various types to produce a wide variety of sentences.     

Bridging the generation gap between text planning and linguistic realization

Text planning is traditionally done as a separate process, independent of linguistic realization. However, I show in this paper that it is essential for a text planner to know the linguistic consequences of its actions. The choice of how to realize an element affects how much information is conveyed (e.g., “Floyd arrived safely in Boston” vs. “Floyd landed safely at Logan”) and what other information can be added (e.g., “Peter was deciding for an hour” vs. *“Peter made a decision for an hour”). The choice of realization also affects how the relative salience of the elements being expressed will be perceived (e.g., “The green car is in the garage” vs. “The car in the garage is green”). I have defined an intermediate level of representation for text planning, called the Text Structure. It is an abstract linguistic level that reflects germane linguistic constraints while abstracting away from syntactic detail. This representation allows the text planner to have greater control over the decisions, so that it can take advantage of the expressiveness of language to convey subtleties of meaning. More importantly, the Text Structure allows the generation process overall to be incremental, since it ensures that the text plan being composed will always be expressible in the language. La planification de textes est habituellement réalisée séparément, sans tenir compte de la réalisation linguistique. Cependant, ľauteur demontre dans cet article qu'il est essentiel à un planificateur de textes de connai̊tre les conséquences linguistiques de ses actions. Le choix de la méhode de réalisation ?un élément influe sur la quantité?informations qui est transmise (par ex.: 〈〈 Floyd est arrivé sain et sauf à Boston 〉〉 et 〈〈 Floyd a atterri sain et sauf àľaéroport Logan 〉〉) et sur quelle autre information peut ětre ajoutée. Le choix de la méthode de réalisation influe également sur la façon dont les caractères saillants des ééments qui sont exprimés seront perçus (par ex.: 〈〈 la voiture verte est dans le garage 〉〉 et 〈〈 la voiture dans le garage est verte 〉〉). L'auteur a défini un niveau intérmediaire de représentation pour la planification de textes qu'il a appelé structure de texte. Il; s'agit ?'un niveau linguistique abstrait qui refléte les contraintes linguistiques appropriées tout en s'éloignant du détail syntaxique. Cette représentation permet au planificateur de textes ?avoir un meilleur contrǒle des décisions, et done de tirer profit de la force ?expression du langage afin de tenir compte des subtiliés de sens. Plus important encore, la structure de texte permet au processus de génération ?ětre incrémentiel, car elle s'assure que le plan de texte en voie de composition soit toujours exprimable dans le langage.