GaleXtra: Extractor multilingüe de términos multipalabra
Author:
Pablo Gamallo
Grupo ProLNat@GE, CiTIUS
Universidade de Santiago de Compostela
Galiza
Última actualización: 03/04/2013
REQUISITOS
* Distribución linux
* Intérprete perl situado por defecto en /usr/bin
* (opcional) Previa instalacion de Freeling (versión >= 3.0)
GaleXtra incluye la instalacion (parcial) de Tree-Tagger
COMO SE INSTALA
(1)
> git clone https://github.com/gamallo/galeXtra.git
(2)
> sh install-galeXtra.sh
La instalación incluye los ficheros de parámetros de tree-tagger.
Atención: no se debe instalar en un directorio cuyo nombre contiene espacios en blanco!
COMO SE EJECUTA
Syntax: extractorTermos.sh <tagger> <lang> <measure> <file> [FR]
tagger=freeling, treetagger
language=gl, es, en, pt, fr
measure=chi,log,mi,scp,cooc
FR=lowest frequency
FORMATO DE ENTRADA
Un fichero con texto bruto, en formato plano ("plain text"), codificado en UTF-8
FORMATO DE SALIDA
Texto en formato plano. Cada línea contiene tres columnas: (1) el término multi-palabra extraído, (2) el patrón de etiquetas morfosintácticas y (3) el grado de asociación entre las palabras que constituyen el término multi-palabra. Ejemplo:
tasa de crecimiento N-P-N 0.023
tasa interanual N-A 0.056
DESCRIPCIÓN
GaleXtract fue elaborado dentro del proyecto Gari-Coter. El sistema toma como entrada un texto en formato "plain text", selecciona candidatos a término a partir de 5 patrones de etiquetas morfosintácticas y un filtro por frecuencias, y finalmente ordena los candidatos seleccionados usando una medida de asociación (entre 4 disponibles). La salida del extractor es una lista ordenada de términos multi-palabra.
GaleXtract genera la lista de términos en cuatro procesos: (1) etiquetación morfosintáctica, (2) pre-selección de candidatos por medio de patrones de etiquetas, (3) filtrado por frecuencias y (4) ordenación por valores de asociación.
(1) Etiquetación morfosintáctica
El extractor parte de texto en "plain text", codificado en ISO latin. El texto de entrada es etiquetado morfosintácticamente mediante Freeling o Treetagger. Se puede usar texto escrito en 5 lenguas:
* gallego (Treetagger, Freeling)
* castellano (Treetagger, Freeling)
* inglés (Treetagger, Freeling)
* portugués (Treetageri,Freeling)
* francés (Treetagger)
(2) Patrones de etiquetas
Una vez etiquetado el texto, se seleccionan las expresiones que aparecen en 5 patrones de etiquetas (N=nombre, A=adjetivo, P=preposición, V=verbo, PCLE=partícula):
* N-A
* A-N
* N-N
* N-P-N
* V-PCLE
En el formulario de consulta, puede escoger 5 lenguas y 2 etiquetadores, teniendo en cuenta que el francés y el portugués sólo permiten texto etiquetado con Treetagger.
(3) Filtrado
El sistema selecciona aquellas expresiones que ocurren en el corpus con una frecuencia superior a un determinado umbral (freq=1, por defecto). El formulario de muestra permite escoger un umbral (frecuencia mínima) entre 1 y 5.
(4) Ordenación
Una vez seleccionada la lista de los candidatos a término, el sistema la ordena de mayor a menor utilizando una medida de asociación estadística. Se puede escoger entre 5 medidas: coocurrencias (cooc), loglike (log), ji-cuadrado (chi), información mutua (mi) o SCP (scp).