AWS Certified AI Practitioner

الـ tokens والتقطيع والـ embeddings

تتبّع مستنداً من نص خام إلى فهرس متجهات قابل للبحث: كيف يصير النص tokens، ولماذا تُقطَّع المستندات الطويلة، وكيف تحوّل الـ embeddings المعنى إلى أرقام يمكن مقارنتها.

مبتدئ 20 دقائق 4 أهداف التعلّم
  1. تعريف الـ token وشرح لماذا لا يساوي الـ token كلمة
  2. شرح سبب تقطيع المستندات ومقارنة استراتيجيات التقطيع التي يدعمها Amazon Bedrock
  3. وصف ما الـ embedding وكيف يعثر تشابه المتجهات على المحتوى المرتبط
  4. تتبّع مستند عبر مسار التقطيع والتحويل إلى embeddings والفهرسة الذي يشغّل الاسترجاع