O modelo condiciona a predição da próxima palavra tanto às palavras anteriores quanto às posteriores simultaneamente. Esse mecanismo bidirecional é o que caracteriza os modelos autorregressivos.

O modelo atribui uma distribuição de probabilidade sobre a próxima palavra dado um contexto. A cada passo, escolhe-se um token dessa distribuição (por exemplo, por amostragem) e o incorpora ao contexto para a predição seguinte — um processo autorregressivo (ou causal), da esquerda para a direita.

A geração ocorre sempre pela seleção determinística da palavra de maior probabilidade em cada passo, sem qualquer amostragem.

Um LLM não atribui probabilidades a palavras. Opera por correspondência direta de padrões contra o texto de treinamento armazenado – mecanismo que o distingue dos modelos n-grama.

Um LLM só condiciona a predição à única palavra imediatamente anterior, como um modelo bigrama (ou 2-grama), pois contextos maiores seriam computacionalmente inviáveis.