Este texto aborda o funcionamento de Assistentes de IA Generativa como o ChatGPT e o treinamento dos "grandes modelos de linguagem" (LLMs - Large Language Models). Em particular, veremos como são treinados os modelos GPT (Generative Pre-Trained Transformer) da OpenAI pelas redes neurais com arquitetura Transformer e seus mecanismos de Atenção, no contexto do Processamento da Linguagem Natural (NLP - Natural Language Processing), uma das mais importantes categorias do Aprendizado de Máquina (Machine Learning).

Além da Introdução e da Conclusão, o texto é dividido em quatro partes:
• O Capítulo 1 apresenta os modelos de linguagem (LMs - Language Models). O que são, para que servem, como podem ser categorizados e como evoluíram ao longo dos últimos anos.
• O Capítulo 2 trata de tokenização e " Word Embedding ", técnicas importantes no treinamento de LMs.
• O Capítulo 3 explica como são treinados os modelos GPT (Generative Pre Trained Transformer) da OpenAI.
• O Capítulo 4 discute as redes neurais com arquitetura Transformer, tecnologias fundamentais no treinamento de LLMs e outros modelos de IA Generativa, com ênfase nos mecanismos de Atenção.

O texto é destinado a consultores, executivos, desenvolvedores, pesquisadores e outros interessados em IA Generativa, no ChatGPT e nas redes neurais Transformer. Como o texto é introdutório, são fornecidas muitas referências para os que desejarem se aprofundar. Alguns conteúdos mais técnicos foram separados do texto principal em BOXES para os leitores mais interessados.

Versão 1.1 em 15 de dezembro de 2023 por Márcio Galvão