Como os modelos de fundação são treinados

A esta altura você já sabe colocar o fine-tuning na escada de customização: ele fica acima da engenharia de prompt e do RAG, muda os pesos do modelo e é a opção quando o comportamento precisa ser consistente. Mas para entender o que o fine-tuning de fato muda, primeiro você precisa saber o que o pré-treinamento já colocou no modelo. Um modelo base como o Amazon Titan ou o Anthropic Claude chega sabendo uma quantidade impressionante de coisas antes de você mandar uma única requisição. De onde veio esse conhecimento, e por que ele custa tão caro para um provedor produzir?

A resposta é um pipeline de três estágios. Saber o que cada estágio faz revela quais partes de um modelo você consegue influenciar de verdade, quais partes você herda e onde exatamente a sua customização se encaixa. Esse é um objetivo nomeado da prova, e também é a diferença entre escolher o método de customização certo e queimar um orçamento de treinamento no método errado.

Pré-treinamento: aprender a língua a partir de texto bruto

O pré-treinamento é o estágio que dá a um modelo de fundação o seu conhecimento bruto, e funciona por uma única tarefa repetida: prever o próximo token. Dê ao modelo a sequência "The capital of France is" e ele aprende a prever "Paris". Dê "def add(a, b): return" e ele aprende a prever "a + b". O modelo desliza pelo texto token a token, chutando cada próximo token e ajustando seus bilhões de parâmetros sempre que erra.

Aqui está a parte que faz isso escalar. Ninguém rotula esses dados. A resposta certa para cada posição é simplesmente o token que de fato vem em seguida no texto, então o texto supervisiona a si mesmo. É isso que autossupervisionado significa, e é por isso que o pré-treinamento consegue consumir trilhões de tokens de livros, sites, código e artigos sem um exército de anotadores. O modelo não está memorizando uma tabela de consulta; ele está comprimindo os padrões estatísticos da língua, dos fatos e do raciocínio dentro dos seus pesos.

Isso é uma ruptura clara com o aprendizado supervisionado que você viu antes no curso, onde cada exemplo de treinamento vinha com um rótulo fornecido por um humano. No pré-treinamento não há rótulos separados. A próxima palavra é o rótulo. Essa única decisão de design é o que permitiu aos modelos de fundação crescerem até o tamanho que têm.

Um detalhe mecânico importa para explicar por que isso é viável: a arquitetura transformer processa uma sequência inteira em paralelo em vez de uma palavra por vez, o que permite aos provedores treinar em grandes frotas de GPUs. Ainda assim, uma rodada completa de pré-treinamento leva semanas e custa uma fortuna em computação, que é a razão de quase ninguém fazer isso por conta própria.

Por que o pré-treinamento sozinho não basta

Um modelo recém-saído do pré-treinamento se chama modelo base, e ele tem uma personalidade peculiar: prevê texto plausível, mas não sabe que deveria ser útil. Pergunte a um modelo base cru "What is the capital of France?" e ele pode continuar com mais perguntas de trivia, porque nos seus dados de treinamento uma pergunta costuma ser seguida de mais perguntas. Ele tem o conhecimento, mas não tem os modos.

Mais dois estágios corrigem isso. Eles usam muito menos dado que o pré-treinamento, e moldam o comportamento em vez de despejar conhecimento.

Ajuste fino e instruction tuning: ensinar a seguir instruções

O próximo estágio treina o modelo base em um conjunto bem menor de exemplos rotulados, cada um emparelhando uma instrução com uma boa resposta. Mostrando milhares de exemplos como "Summarize this paragraph" seguidos de um resumo limpo, o modelo aprende o hábito geral de fazer o que se pede. Como os exemplos são instruções e suas respostas, isso é chamado com frequência de instruction tuning, e é uma forma de ajuste fino supervisionado.

Esse é o mesmo mecanismo que você vai usar para customizar um modelo mais adiante neste tema. O provedor o aplica primeiro, de forma ampla, para fazer um assistente geral; você pode aplicá-lo de novo, de forma estreita, para especializar esse assistente na sua tarefa. A ferramenta é idêntica, só o dado e o objetivo mudam.

Alinhamento com feedback humano (RLHF)

Há uma coisa que os exemplos rotulados tratam mal: a qualidade subjetiva. O que conta como uma resposta útil, honesta e cautelosa na medida certa é difícil de escrever como uma única resposta correta. Você reconhece quando vê, mas não consegue rotular com facilidade.

O aprendizado por reforço a partir de feedback humano (RLHF) resolve isso aprendendo com comparações em vez de respostas fixas. O modelo produz várias respostas para o mesmo prompt, humanos ranqueiam qual preferem, e esses rankings treinam um reward model separado que prevê como um humano avaliaria qualquer resposta. O modelo principal é então ajustado para pontuar bem contra esse reward model. O resultado é o comportamento polido e alinhado que você espera de um assistente de produção. Repare no que o RLHF faz e no que não faz: ele molda o tom e a utilidade, ele não ensina fatos novos.

Os três estágios juntos

Leia a tabela de cima para baixo e observe o dado mudar. Ele começa enorme e sem rótulo, encolhe para pares rotulados, depois encolhe de novo para julgamentos humanos. O esforço se desloca da escala bruta para a curadoria cuidadosa.

O que isso significa para você

Você quase nunca roda o estágio 1. O pré-treinamento de um modelo de fundação exige dados e computação em uma escala que custa somas enormes aos provedores, e pagar por isso do zero jogaria fora toda a vantagem dos modelos de fundação, que é justamente alguém já ter feito. Essa é a mesma razão pela qual o curso contrastou antes o ML tradicional, onde você treina o seu próprio modelo, com os modelos de fundação, onde você parte de um pré-treinado.

Onde você entra é na customização, e ela mapeia direto nos estágios que você acabou de ver. O pré-treinamento continuado estende o estágio 1 com o seu próprio texto de domínio. O fine-tuning repete o estágio 2 com os seus próprios exemplos rotulados. A próxima lição abre esses métodos e mostra quando cada um se encaixa.

Dicas para a prova

• O pré-treinamento é autossupervisionado, usa texto sem rótulo, funciona por previsão do próximo token, roda em escala massiva e é feito pelo provedor. Essas palavras-chave viajam juntas.
• "Dado sem rótulo" mais "aprende a língua e os padrões gerais" aponta para pré-treinamento. "Exemplos rotulados" mais "uma tarefa ou comportamento específico" aponta para fine-tuning.
• O RLHF alinha o modelo às preferências humanas por meio de um reward model. Se uma questão diz que uma técnica adiciona novo conhecimento factual, o RLHF é a resposta errada.
• Modelos de fundação existem para você não pré-treinar do zero. Uma alternativa que sugere treinar um modelo grande partindo do nada para um caso de negócio comum quase sempre é o distrator.
• O modelo base que você chama no Bedrock já é a saída dos três estágios, quer você o customize depois, quer não.

O modelo base no seu console do Bedrock é o produto acabado de três estágios pelos quais você nunca pagou: pré-treinamento massivo sem rótulo, instruction tuning rotulado e alinhamento baseado em preferências. Guarde esse mapa na cabeça, porque a sua própria customização não é uma coisa nova e misteriosa. Ela é um daqueles mesmos dois estágios de ajuste, rodados de novo nos seus dados, que é exatamente o que a próxima lição desmonta.