AWS Certified AI Practitioner
Tokens, chunking e embeddings
Siga um documento do texto bruto até um índice vetorial pesquisável: como o texto vira tokens, por que documentos longos são divididos em chunks e como os embeddings transformam significado em números comparáveis.
Iniciante 20 minutos 4 Objetivos de aprendizado
- Definir um token e explicar por que um token não é a mesma coisa que uma palavra
- Explicar por que documentos são divididos em chunks e comparar as estratégias de chunking do Amazon Bedrock
- Descrever o que é um embedding e como a similaridade entre vetores encontra conteúdo relacionado
- Percorrer um documento pelo pipeline de chunk, embedding e indexação que sustenta a recuperação