Modelos de fundação e large language models

O Domínio 1 te deu uma versão de uma frase para um large language model: ele prevê o próximo token, e repete. A frase é verdadeira e não é suficiente. Ela não explica como um modelo que lê "o troféu não coube na mala porque ele era grande demais" descobre que "ele" é o troféu. Nada na vizinhança imediata de "ele" diz isso. A resposta está nove palavras atrás, e o modelo precisa alcançá-la.

Como um modelo alcança algo do outro lado da frase é o mecanismo que fez a IA generativa moderna funcionar. Esta lição abre a arquitetura e depois usa ela para separar dois termos que o exame gosta de embaralhar: modelo de fundação e large language model.

O que é, de fato, um modelo de fundação

O glossário do Amazon Bedrock define um modelo de fundação como um modelo de IA com um número grande de parâmetros, treinado em uma quantidade massiva de dados diversos, capaz de gerar respostas variadas para uma ampla gama de casos de uso, produzindo texto ou imagem e também convertendo a entrada em embeddings.

Leia essa definição como três afirmações empilhadas. Escala: bilhões de parâmetros, não milhares. Amplitude: dados diversos, não um conjunto curado para uma tarefa. Adaptabilidade: muitos casos de uso saindo de um modelo só.

A terceira afirmação é a que mudou a forma como os times constroem. Um modelo de ML tradicional é uma ferramenta de propósito único. Você treina um classificador de fraude em transações rotuladas e ele detecta fraude. Ele não resume um contrato, e nenhum prompt vai fazer ele tentar. Um modelo de fundação inverte isso. Um único modelo resume, traduz, escreve código e responde perguntas, guiado pelo que você digita em vez de por um novo treinamento.

A economia vem da arquitetura. Pré-treinar um modelo de fundação custa milhões de dólares e meses de computação, um gasto que nenhum time comum absorve. Só que esse custo é pago uma vez pelo provedor do modelo e depois diluído entre todos os clientes e todas as tarefas. Foi assim que "escolha um modelo e faça um prompt" substituiu "treine um modelo por problema" como ponto de partida padrão, e é por isso que o guia do exame dedica um domínio inteiro a modelos que você não construiu.

O problema que os transformers resolveram

Antes de 2017, os modelos de sequência liam texto como você lê um fax saindo da máquina: uma palavra por vez, da esquerda para a direita, carregando um resumo corrente. Isso é uma rede neural recorrente. A AWS coloca o contraste de forma direta: as RNNs processam sequências de dados um elemento por vez, enquanto os transformers processam sequências inteiras simultaneamente, o que dá tempos de treinamento muito menores e a capacidade de lidar com sequências bem mais longas.

Duas coisas dão errado ao ler uma palavra por vez. Primeiro, é lento, porque o passo 500 não começa antes do passo 499 terminar, então você não consegue espalhar o trabalho por milhares de GPUs. Segundo, e pior, o resumo corrente se degrada. Quando a RNN chega em "ele era grande demais", o troféu já passou por 9 rodadas de compressão e mal está presente.

O transformer joga fora o resumo corrente. Ele carrega a sequência inteira de uma vez e deixa cada token olhar diretamente para todos os outros. Nada precisa sobreviver a um revezamento.

Self-attention: decidir o que importa

A self-attention é o mecanismo que faz esse olhar. A AWS a descreve como o mecanismo que permite ao modelo observar partes diferentes da sequência ao mesmo tempo e determinar quais partes são mais importantes.

Pense em uma reunião de projeto onde todo mundo ouve todo mundo. Quando o assunto vira a data de deploy, você presta muita atenção no engenheiro de release, escuta a designer pela metade e desliga do resto da sala. Você não comprime a reunião em um resumo para depois reagir ao resumo. Você reage às pessoas, com peso conforme a relevância para o assunto atual. A self-attention funciona assim: para cada token, o modelo dá uma nota de relevância a todos os outros tokens e monta o significado daquele token como uma mistura ponderada dos que importam. A analogia quebra em um ponto que vale nomear: você presta atenção porque entende o assunto, enquanto as notas de relevância do modelo são pesos estatísticos aprendidos, sem nenhuma compreensão por trás.

Rode isso na frase do troféu. Quando o modelo processa "ele", a self-attention pontua todos os tokens anteriores. "Troféu" e "mala" pontuam alto, porque os dois são substantivos candidatos. Aí "grande demais" puxa o equilíbrio para "troféu", porque os dados de treinamento contêm incontáveis frases em que a coisa que não cabe é a coisa grande demais. Troque uma palavra para "porque ela era pequena demais" e o mesmo mecanismo joga o peso para "mala". Uma arquitetura, nenhuma regra escrita à mão, e a resolução sai dos pesos aprendidos.

Positional encoding: devolver a ordem

Ler tudo de uma vez cria um problema novo. Se o modelo vê todos os tokens ao mesmo tempo, "o cachorro mordeu o homem" e "o homem mordeu o cachorro" chegam como o mesmo saco de palavras. A ordem carrega significado, e a leitura paralela joga isso fora.

A correção é o positional encoding. Como a AWS descreve, ele adiciona informação ao embedding de cada token para indicar sua posição na sequência, porque o modelo em si não processa dados sequenciais em ordem por natureza. A representação numérica de cada token recebe um sinal de posição misturado, então o token 4 e o token 40 continuam distinguíveis mesmo processados no mesmo instante.

Este é um bom exemplo de uma troca arquitetural sendo paga em outro lugar. O paralelismo comprou velocidade e alcance longo, e o positional encoding é a conta.

Encoder e decoder

A AWS descreve a arquitetura completa em duas metades. O encoder lê e processa a sequência de entrada inteira e a transforma em uma representação matemática compacta. O decoder pega esse resumo e, passo a passo, gera a sequência de saída.

Nem todo modelo usa as duas metades. Modelos feitos para gerar texto, a família GPT entre eles, são decoder-only: pegam os tokens até aqui e produzem o próximo. Modelos feitos para produzir embeddings se apoiam no encoder, porque o trabalho deles termina na representação numérica compacta e nunca vira texto. Essa divisão importa para a próxima lição, onde os modelos de embedding ganham a sua própria seção.

Parâmetros: o que o modelo aprendeu

Durante o treinamento, um transformer ajusta milhões ou bilhões de números até as previsões pararem de melhorar. A AWS os nomeia direto: pesos e vieses, junto com embeddings, são conhecidos como parâmetros do modelo, e grandes redes neurais baseadas em transformer podem ter bilhões e bilhões deles. A AWS cita o GPT-3 com 175 bilhões de parâmetros e o Jurassic-1 com 178 bilhões como exemplos dessa escala.

Aqui está a crença errada que vale matar agora, porque ela leva a respostas erradas ao longo de todo o curso. Parâmetros não são uma cópia comprimida dos dados de treinamento, e o modelo não tem um índice onde consultar as coisas. Aqueles 175 bilhões de números codificam regularidades estatísticas: quais tokens seguem quais, quais palavras se comportam de forma parecida, quais formatos de frase são gramaticais. Quando um LLM te dá um fato, ele não está buscando um documento guardado, está gerando a continuação que aqueles pesos tornam mais provável. Esse é o mecanismo inteiro por trás da alucinação, e é por isso que o exame não para de emparelhar modelos de fundação com recuperação de informação e grounding.

A contagem de parâmetros é um indicador aproximado de capacidade, não uma garantia dela. Um modelo maior em geral lida melhor com raciocínio difícil, e também custa mais por token e responde mais devagar. O Domínio 2 volta a essa troca várias vezes.

Pré-treinamento sem rótulos

O aprendizado supervisionado tradicional precisa de exemplos rotulados: esta transação é fraude, esta não é. Rotular é lento e caro, e é a razão de os conjuntos de dados de ML tradicional continuarem pequenos.

Os modelos de fundação contornam isso. A AWS descreve os LLMs baseados em transformer como capazes de treinamento não supervisionado por meio de auto-aprendizado, no qual aprendem gramática básica, idiomas e conhecimento. O truque é que o texto bruto é o seu próprio gabarito. Esconda uma palavra e peça ao modelo para prever qual era, e você tem um exemplo de treinamento com resposta correta, gerado de graça. Faça isso em um corpus de texto muito grande e gramática, fatos, estilo e padrões de raciocínio caem todos do mesmo objetivo.

É por isso que modelos de fundação podem ser treinados em dados amplos e majoritariamente não rotulados enquanto um classificador de fraude não pode. A rotulagem humana não desaparece de vez, mas ela se desloca para depois, para o fine-tuning e o alinhamento, onde um conjunto curado bem menor molda o comportamento do modelo. A lição sobre o ciclo de vida do FM volta exatamente a essa divisão.

Modelo de fundação, LLM e modelo tradicional

Estes três termos ficam em níveis diferentes, e o exame testa se você consegue mantê-los separados.

A relação corre em uma direção só. Todo LLM é um modelo de fundação, mas nem todo modelo de fundação é um LLM. Um gerador de imagens e um modelo de embedding de texto são os dois modelos de fundação, e nenhum dos dois é um large language model. Se uma pergunta descreve um modelo que transforma entrada em vetores para busca por similaridade, "LLM" é o rótulo errado, mesmo que o modelo seja grande e treinado em texto.

Dicas para o exame

• As palavras "amplo", "diverso", "não rotulado" e "adaptado a muitas tarefas" apontam para modelo de fundação. Um modelo treinado em um conjunto rotulado para um único trabalho é ML tradicional, por maior que ele seja.
• "LLM" é o termo mais estreito. Se o cenário menciona imagens, vídeo ou embeddings como saída, responda modelo de fundação, não LLM. Opções que tratam os dois como intercambiáveis costumam ser a armadilha.
• Em perguntas sobre transformer, o diferencial é o processamento paralelo da sequência inteira, com a self-attention pesando relevância e o positional encoding devolvendo a ordem. Se uma opção diz que o transformer processa tokens um por vez, ela está descrevendo uma RNN.
• Espere um distrator afirmando que o pré-treinamento precisa de dados rotulados. Não precisa. O pré-treinamento auto-supervisionado em texto não rotulado é justamente o que viabiliza a escala dos modelos de fundação.
• Não leia contagem de parâmetros como garantia de exatidão. Modelos maiores em geral raciocinam melhor e sempre custam mais por token, e nenhum deles para de alucinar.

A ideia para levar adiante: um modelo de fundação é uma pilha muito grande de pesos aprendidos que prevê continuações plausíveis, e tudo o que você constrói em cima dele é uma tentativa de guiar essas previsões para algo útil e verdadeiro. Para guiar, primeiro você precisa saber o que o modelo consome de fato, e não são palavras. A próxima lição quebra a entrada em tokens, chunks e embeddings.