GaleXtra: Extractor multilingüe de términos multipalabra Author: Pablo Gamallo Grupo ProLNat@GE, CiTIUS Universidade de Santiago de Compostela Galiza Última actualización: 03/04/2013 REQUISITOS * Distribución linux * Intérprete perl situado por defecto en /usr/bin * (opcional) Previa instalacion de Freeling (versión >= 3.0) GaleXtra incluye la instalacion (parcial) de Tree-Tagger COMO SE INSTALA (1) > git clone https://github.com/gamallo/galeXtra.git (2) > sh install-galeXtra.sh La instalación incluye los ficheros de parámetros de tree-tagger. Atención: no se debe instalar en un directorio cuyo nombre contiene espacios en blanco! COMO SE EJECUTA Syntax: extractorTermos.sh <tagger> <lang> <measure> <file> [FR] tagger=freeling, treetagger language=gl, es, en, pt, fr measure=chi,log,mi,scp,cooc FR=lowest frequency FORMATO DE ENTRADA Un fichero con texto bruto, en formato plano ("plain text"), codificado en UTF-8 FORMATO DE SALIDA Texto en formato plano. Cada línea contiene tres columnas: (1) el término multi-palabra extraído, (2) el patrón de etiquetas morfosintácticas y (3) el grado de asociación entre las palabras que constituyen el término multi-palabra. Ejemplo: tasa de crecimiento N-P-N 0.023 tasa interanual N-A 0.056 DESCRIPCIÓN GaleXtract fue elaborado dentro del proyecto Gari-Coter. El sistema toma como entrada un texto en formato "plain text", selecciona candidatos a término a partir de 5 patrones de etiquetas morfosintácticas y un filtro por frecuencias, y finalmente ordena los candidatos seleccionados usando una medida de asociación (entre 4 disponibles). La salida del extractor es una lista ordenada de términos multi-palabra. GaleXtract genera la lista de términos en cuatro procesos: (1) etiquetación morfosintáctica, (2) pre-selección de candidatos por medio de patrones de etiquetas, (3) filtrado por frecuencias y (4) ordenación por valores de asociación. (1) Etiquetación morfosintáctica El extractor parte de texto en "plain text", codificado en ISO latin. El texto de entrada es etiquetado morfosintácticamente mediante Freeling o Treetagger. Se puede usar texto escrito en 5 lenguas: * gallego (Treetagger, Freeling) * castellano (Treetagger, Freeling) * inglés (Treetagger, Freeling) * portugués (Treetageri,Freeling) * francés (Treetagger) (2) Patrones de etiquetas Una vez etiquetado el texto, se seleccionan las expresiones que aparecen en 5 patrones de etiquetas (N=nombre, A=adjetivo, P=preposición, V=verbo, PCLE=partícula): * N-A * A-N * N-N * N-P-N * V-PCLE En el formulario de consulta, puede escoger 5 lenguas y 2 etiquetadores, teniendo en cuenta que el francés y el portugués sólo permiten texto etiquetado con Treetagger. (3) Filtrado El sistema selecciona aquellas expresiones que ocurren en el corpus con una frecuencia superior a un determinado umbral (freq=1, por defecto). El formulario de muestra permite escoger un umbral (frecuencia mínima) entre 1 y 5. (4) Ordenación Una vez seleccionada la lista de los candidatos a término, el sistema la ordena de mayor a menor utilizando una medida de asociación estadística. Se puede escoger entre 5 medidas: coocurrencias (cooc), loglike (log), ji-cuadrado (chi), información mutua (mi) o SCP (scp).