O deep learning refere-se a modelos estatísticos lineares aprimorados, que não dependem de aprendizado de representações hierárquicas.

Redes neurais profundas distinguem-se das redes rasas apenas pelo tamanho do conjunto de dados de treinamento, mantendo a mesma quantidade de camadas internas.

Modelos de linguagem de grande escala são implementados com redes neurais profundas, como arquiteturas baseadas em transformadores, capazes de aprender representações distribuídas de sequências textuais.

Nos modelos de linguagem de grande escala, os tokens são mapeados para embeddings semânticos estáticos e independentes de contexto, os quais são combinados segundo regras linguísticas explícitas para produzir a interpretação do texto.