UNIR Revista
El NLP se centra en cómo las máquinas entienden el idioma humano, lo interpretan y procesan, imprescindible para los chatbots, traducción de textos o recuperación de información.
El Procesamiento del Lenguaje Natural (PLN)—o NLP por su nombre en inglés, Natural Language Processing—es el área de estudio centrada en cómo los ordenadores entienden el lenguaje humano, lo interpretan y procesan. Es un campo complejo en el que entran en juego diferentes disciplinas como la Inteligencia Artificial (IA), el big data o la lingüística. ¿El gran reto? Que las máquinas sean capaces de comprender lo que dice realmente un texto, incluyendo ironías, frases hechas o chistes… y no solo en inglés.
Comprender el lenguaje humano siempre ha sido un reto para las máquinas, ya que no se trata únicamente de traducir palabras sino de saber interpretar sus diferentes acepciones, frases según el contexto, “leer entre líneas”, etc. Si aprender un idioma nuevo para una persona es un procedimiento difícil, no lo es menos en el caso de los ordenadores.
El NLP les “ayuda” a que logren entender e interpretar diferentes idiomas, que sean capaces de descifrar la relación entre palabras, su significado y todos los elementos que configuran un mensaje. De este modo, se van retroalimentando sus sistemas, de forma similar a cómo una persona aprende a hablar, después a leer y escribir hasta desarrollar—solo en algunos casos—formas de expresión más elaboradas y complejas.
El NLP interpreta datos basados tanto en voz como texto, con un claro predominio de este último. Explicado de forma sencilla, lo que hace es organizar/dividir el lenguaje en elementos más pequeños, los analiza para entender la relación entre ellos y, por último, aplica esos conocimientos a nuevos textos/audios.
Entre sus aplicaciones destacan:
- Asistentes virtuales o chatbots: es el uso más generalizado. Estos agentes virtuales mantienen conversaciones online con usuarios para responder a sus dudas sobre cómo hacer una compra en un eCommerce, tramitar una reclamación o gestionar una reserva. Gracias al NLP son capaces de entender los mensajes e ir respondiendo al momento de forma automática.
- Traducción automática de textos: su principal cometido es traducir diferentes tipos de textos de un idioma a otro, lo cual supone ahorro de tiempo para las empresas, poder llegar a más clientes y ofrecer una respuesta más rápida. El Google Translate es un ejemplo de esto, con la particularidad de que también traduce mensajes de voz e imágenes.
- Recuperación de información: la information retrieval (IR) recupera información y datos mediante unas palabras clave, como sucede con los buscadores de Internet. En estos casos no se genera lenguaje, sino que ayudan a los usuarios a localizar lo que buscan o responder a sus dudas con información ya disponible.
- Clasificación de textos: en categorías ya existentes o crearlas tras detectar los temas más habituales. Esto permite redirigir la información y clasificarla, algo muy útil en casos de gestión de un gran volumen de datos. Esta función de clasificación, por ejemplo, es la empleada para detectar spam en los correos electrónicos: los emails se van clasificando y acaban en esa bandeja si incluyen determinadas palabras (spam words) como “gratuito”, “oferta”, “descuento”, términos relacionados con el sexo, los medicamentos y las drogas o con ganar dinero de forma fácil, como “elimina tu deuda”, “aumenta las ventas”, “gana dinero”…
- Detección de sentimientos: uno de los usos más novedosos relacionado, sobre todo, con las redes sociales. Existen aplicaciones que las “escuchan” y analizan para determinar si los comentarios, menciones, retweets, etc. sobre un servicio, producto o marca son positivos o negativos.
Técnicas y herramientas para el NLP
El lenguaje humano es un sistema muy complejo para el que no basta con memorizar palabras, sino que también entran en juego reglas de sintaxis y gramaticales, frases hechas, términos en función de cada sociedad/cultura, palabras polisémicas, etc. A lo que hay que añadir los acentos, los coloquialismos, las abreviaturas, el sarcasmo, la entonación… Trasladar esto al nivel computacional requiere de un proceso de modelización matemática que se va actualizando y mejorando para cumplir con el gran reto de que las máquinas sean capaces de hablar, escribir o traducir como si fuesen personas.
Entre las técnicas comunes usadas habitualmente en NLP figuran:
- Tokenizar: se trata de dividir el texto en pequeños textos denominados “tokens” teniendo en cuenta criterios como las mayúsculas y minúsculas, palabras similares, puntuación…
- Tagging part of speech (PoS): este etiquetado gramatical clasifica las palabras de una oración según su categoría gramatical (artículo, sustantivo, verbo, etc.).
- Shallow parsing/chunks: sería similar a un análisis sintáctico, tanto por el tipo de clasificación como representación.
- Bag of words: representa los documentos obviando el orden o estructura de las palabras. Para ello se tiene en cuenta la cantidad de veces que aparecen.
- Pragmatic analysis: una de las cuestiones más complejas, ya que se trata de detectar el sarcasmo, la intencionalidad de las frases, las doble lecturas, etc.
- Word2vec: capaz de leer grandes cantidades de texto para establecer asociaciones entre palabras, detectar sinónimos, hacer sugerencias de vocabulario, etc. Para ello, utiliza vectores que representan a las palabras.
Entre las herramientas empleadas en el Procesamiento del Lenguaje Natural están:
- NLTK: es la biblioteca más popular y utilizada debido a su sencillez. Disponible para Mac, Windows y Linux, con software libre y lenguaje de programación Python. Entre sus funciones están el análisis de textos, tokenizar, clasificaciones, mostrar árboles de análisis, etiquetado, etc.
- Gensim: también de código abierto. Una de sus ventajas es que puede procesar textos grandes sin necesidad de cargar el archivo completo en la memoria. Sirve para comparar documentos, crear vectores de palabras, analizar estructuras semánticas, identificación de sujetos, etc.
- SpaCy: otra librería de Python similar a NLTK pero con algunas mejoras, como ser más rápida, intuitiva y que soporta de forma nativa vectores de palabras.
El NLP es un mecanismo real para romper con las barreras lingüísticas aunque, en la práctica, las limitaciones económicas y prácticas hacen que en Internet prevalezcan unas determinadas lenguas entre las más de 7.000 existentes en la actualidad. El inglés, chino, árabe, español, francés o portugués están entre los idiomas de uso más habitual con excepciones como el Google Translate, que supera el centenar.
Aprender sobre NLP se engloba dentro del amplio campo del análisis de datos, una de las bases del Máster en Marketing Intelligence online de UNIR.
