URKU : adaptación de LlaMA 2 para la generación de texto en Kichwa usando técnicas de Low-Rank Adaptation (LoRA)

Abstract

En este estudio, introducimos una metodología innovadora para entrenar modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) en idiomas con recursos digitales limitados, utilizando técnicas de Adaptación de Bajo Rango (LoRA). Centrado en el idioma Kichwa—un idioma lingüísticamente desatendido pero culturalmente rico, hablado por más de medio millón de personas en Ecuador—nuestro enfoque aprovecha la robustez de la arquitectura Transformer, conocida por su eficacia en tareas de traducción automática. Dada la escasez de datos en Kichwa, empleamos técnicas de LoRA para ajustar un modelo pre-entrenado, superando así los desafíos típicamente asociados con idiomas de bajos recursos...