um humano, durante o treinamento, ajusta iterativamente os valores dos parâmetros até que o modelo consiga prever corretamente o próximo token e a sequência anterior de tokens de entrada. Isso é feito por meio de técnicas supervisionadas, que ensinam o modelo a ajustar parâmetros.

o sucesso imediato dos LLMs mostra um grande interesse em LLMs do tipo robótico que conseguem simular e superar o cérebro humano. O nível atual de tecnologia é próximo do perfeito e os LLMs estão quase infalíveis. No entanto, as versões mais recentes ainda reproduzem preconceitos, embora já consigam eliminar respostas incorretas.

a arquitetura do Transformer, que utiliza Redes Neurais Recorrentes (RNNS), é capaz de processar, sequencialmente, entradas muito grandes, geralmente com centenas de milhões de parâmetros. Esses LLMs podem ingerir dados de fontes como o Common Crawn, com mais de 50 trilhões de páginas da web, e a Wikipedia, que tem cerca de 57 bilhões de páginas.

um fator-chave na forma como os LLMs funcionam é o modo como eles representam as palavras: estas são representadas em tabelas numéricas, que permitem que palavras com significados contextuais semelhantes ou outras relações estejam em campos sequenciais.

dois dos modelos usados pelas LLMs são o zero-shot leaming e o few-shot leamning. No primeiro, o modelo responde a diversas solicitações sem treinamento prévio, geralmente por prompts. No segundo, exemplos de treinamento fornecidos ajudam a melhorar significativamente o desempenho em tarefas específicas.