Estructuras matemáticas en modelos de lenguaje

Abstract

Este trabajo presenta un análisis detallado del modelo transformer decoder-only. A lo largo del documento, se desglosan los componentes clave del modelo, como los embeddings, la tokenización, la codificación posicional y el mecanismo de atención, desde una perspectiva matemática. Se explica cómo cada uno de estos elementos permite al modelo interpretar y generar lenguaje natural de manera eficiente, preservando tanto la semántica como la estructura del texto...