AI FOUNDATIONS • LESSON 7

LLM, Token និង Context Window

19 កក្កដា 2026

LLM បម្លែងអត្ថបទទៅជា Token ហើយទស្សន៍ទាយ Token បន្ទាប់តាម Context។ មេរៀននេះបង្ហាញថា Token មិនតែងស្មើនឹងពាក្យ និងហេតុអ្វី Context Window មានដែនកំណត់។

រយៈពេលប្រហែល ១៥ នាទី

Language Engine • Level 7ពីអត្ថបទទៅ Token, Context និងការទស្សន៍ទាយ

0 XP

ចាប់ផ្តើម

សេចក្តីផ្តើម
ពេលអ្នកសន្ទនាជាមួយ AI វាមិនមើលអត្ថបទជាពាក្យពេញៗដូចមនុស្សទេ។ វាបំបែក Input ជា Token ហើយប្រើ Context ដែលមាន ដើម្បីគណនាថា Token ណាគួរមកបន្ទាប់។

គោលបំណងមេរៀននេះ
បន្ទាប់ពីរៀនចប់ អ្នកអាចពន្យល់ LLM, Token និង Context Window បាន ប៉ាន់ស្មានផលប៉ះពាល់របស់ Context និងរៀបចំការសន្ទនាវែងឱ្យមានប្រសិទ្ធភាព។

១. LLM គឺជាអ្វី?

LLM (Large Language Model) គឺជា Model ភាសាដែលបាន Train លើអត្ថបទច្រើន ដើម្បីរៀន Pattern នៃភាសា។ វាអាចសរសេរ សង្ខេប បកប្រែ ពន្យល់ និងឆ្លើយសំណួរ តាម Input និង Context ដែលបានផ្តល់។

ពាក្យ “Large” សំដៅលើទំហំ Model, ចំនួនប៉ារ៉ាម៉ែត្រ និងបរិមាណ Training Data—not មានន័យថាវាយល់គ្រប់យ៉ាង ឬតែងតែត្រឹមត្រូវទេ។

មិនមែន DatabaseLLM មិនស្វែងរកប្រយោគមួយពីសៀវភៅហើយចម្លងជានិច្ចទេ; វាគណនា Pattern ដើម្បីបង្កើតចម្លើយ។

Language Modelទទួល Token និង Context រួចគណនាប្រូបាប៊ីលីតេនៃ Token បន្ទាប់ម្តងៗ។

LLM អាចបង្កើតអត្ថបទដែលស្តាប់ទៅជឿជាក់ ប៉ុន្តែការសរសេររលូនមិនធានាថា Facts ត្រឹមត្រូវទេ។

២. Token មិនតែងស្មើនឹងពាក្យ

Token គឺជាឯកតាតូចៗដែល Model ប្រើដើម្បីអាន និងបង្កើតភាសា។ Token អាចជាពាក្យមួយ ផ្នែកនៃពាក្យ សញ្ញាវណ្ណយុត្ត ឬតួអក្សរ។ ភាសា និង Tokenizer ខុសគ្នាអាចបំបែកអត្ថបទដូចគ្នាមិនដូចគ្នា។

ពាក្យពាក្យខ្លីទូទៅអាចជាមួយ Token ប៉ុន្តែមិនមានការធានា។

ផ្នែកពាក្យពាក្យវែង ឬពាក្យកម្រអាចត្រូវបំបែកជាច្រើន Token។

ភាសាភាសាខ្មែរ និងអង់គ្លេសអាចប្រើចំនួន Token ខុសគ្នាសម្រាប់គំនិតដូចគ្នា។

កូដ និងសញ្ញាចន្លោះ សញ្ញា និងផ្នែកកូដក៏អាចរាប់ជា Token ផងដែរ។

TOKEN & CONTEXT LAB

សាកមើលអ្វីដែល Model ត្រូវយកចិត្តទុកដាក់

READY

ជ្រើស Input មួយ ដើម្បីមើលរបៀប Token និង Context ប៉ះពាល់ដល់ Output។

សំណួរខ្លីContext តិច

LLMToken + Context → Next-token prediction

ចម្លើយទូទៅModel ត្រូវស្មានច្រើន

ចំណុចសំខាន់៖ Context ដែលច្បាស់ និងពាក់ព័ន្ធជួយ Model; Context ច្រើនហួស ឬមាន Noise អាចធ្វើឱ្យលទ្ធផលខ្សោយ។

៣. Context Window ជាតុធ្វើការរបស់ Model

Context Window គឺជាចំនួន Token អតិបរមាដែល Model អាចពិចារណាក្នុង Request មួយ រួមទាំង System instructions, សារមុនៗ, ឯកសារ Input និង Output ដែលកំពុងបង្កើត។

វាដូចជាតុធ្វើការ៖ បើដាក់របស់ច្រើនលើសទំហំ ព័ត៌មានចាស់ខ្លះអាចមិនចូលក្នុង Window ឬកន្លែងសម្រាប់ Output អាចតិចទៅ។ ទំហំធំជាងមិនធានាថា Model នឹងប្រើព័ត៌មានគ្រប់ផ្នែកបានល្អស្មើគ្នាទេ។

Input tokensPrompt, Chat history, ឯកសារ និង Instructions ដែលផ្ញើទៅ Model។

Output tokensToken ដែល Model បង្កើតជាចម្លើយ ហើយក៏ប្រើកន្លែងក្នុងដែនកំណត់ផងដែរ។

សង្ខេប Contextរក្សាគោលដៅ ការសម្រេចចិត្ត Facts និង Constraints សំខាន់ៗ ហើយលុប Noise។

ចាប់ផ្តើម Chat ថ្មីពេលប្រធានបទប្តូរ ឬ Context ច្របូកច្របល់ សូមបើក Chat ថ្មីជាមួយ Brief ស្អាត។

៤. LLM បង្កើតចម្លើយដោយទស្សន៍ទាយ Token បន្ទាប់

Model គណនាថា Token ណាអាចមកបន្ទាប់បំផុតពី Token មុនៗ រួចជ្រើស Token មួយ បន្ថែមវាទៅ Context ហើយធ្វើដំណើរការនេះម្តងហើយម្តងទៀត។ ដូច្នេះចម្លើយវែងមួយត្រូវបានបង្កើតជាជំហានតូចៗ។

ការជ្រើសមានភាពបត់បែនការកំណត់ Model អាចធ្វើឱ្យ Output ស្ថិរភាព ឬចម្រុះជាងមុន ដូច្នេះ Prompt ដូចគ្នាអាចបានចម្លើយខុសគ្នា។

Token មួយប៉ះពាល់ Token បន្ទាប់ជម្រើសដំបូងបង្កើតផ្លូវថ្មីសម្រាប់ Token ក្រោយៗ ដែលអាចប្តូរចម្លើយទាំងមូល។

៥. ដែនកំណត់ដែលត្រូវយល់

LLM ធ្វើបានល្អDraft, សង្ខេប, បកប្រែ, រៀបរចនាសម្ព័ន្ធ និងពន្យល់អត្ថបទតាម Context។

មិនត្រូវសន្មត់មិនមែន Memory អចិន្ត្រៃយ៍ មិនដឹង Facts ថ្មីជានិច្ច និងមិនធានាភាពត្រឹមត្រូវ។

កុំដាក់ Password, API key ឬព័ត៌មានឯកជនក្នុង Context។ សម្រាប់ព័ត៌មានសំខាន់ សូមស្នើប្រភព ហើយផ្ទៀងផ្ទាត់ជាមួយប្រភពដើម មុនសម្រេចចិត្ត ឬផ្សព្វផ្សាយ។

៦. អនុវត្តរៀបចំ Context ឱ្យខ្លី និងច្បាស់

យកការសន្ទនា ឬឯកសារវែងមួយ ហើយបម្លែងវាទៅជា Context Brief ដែលមានគោលដៅ Facts សំខាន់ Constraints និងទម្រង់ Output។ ប្រាប់ Model កុំឱ្យស្មាននៅពេលព័ត៌មានខ្វះ។

សាកអនុវត្ត • PROMPT ជាភាសាខ្មែរ

ខាងក្រោមនេះជាព័ត៌មានសម្រាប់ការងារ [ឈ្មោះការងារ]។ សូម (1) សង្ខេបគោលដៅ (2) បំបែក Facts, ការសម្រេចចិត្ត និងចំណុចមិនទាន់ច្បាស់ (3) បង្កើត Context Brief មិនលើស 200 ពាក្យសម្រាប់ចាប់ផ្តើម Chat ថ្មី និង (4) រាយព័ត៌មានដែលត្រូវផ្ទៀងផ្ទាត់។ ប្រើតែព័ត៌មានដែលខ្ញុំផ្តល់; បើខ្វះ សូមសរសេរ «មិនមានក្នុង Context»។ [បិទភ្ជាប់ព័ត៌មាននៅទីនេះ]

៧. ពិនិត្យការយល់ដឹង

QUIZ ខ្លី

Context Window មានន័យដូចម្តេច?

ចម្លើយត្រឹមត្រូវ៖ ខ។ Context Window គឺជាចំនួន Token អតិបរមាដែល Model អាចពិចារណាក្នុង Request មួយ រួមទាំង Input, Chat history និង Output។

៨. ចំណុចសំខាន់ដែលត្រូវចងចាំ

LLM រៀន Pattern ភាសា ហើយបង្កើតចម្លើយដោយទស្សន៍ទាយ Token បន្ទាប់ម្តងៗ។
Token អាចជាពាក្យ ផ្នែកពាក្យ សញ្ញា ឬតួអក្សរ; Token មិនតែងស្មើនឹងពាក្យទេ។
Context Window កំណត់ចំនួន Token ដែល Model អាចពិចារណាក្នុង Request មួយ។
Context ត្រូវខ្លី ពាក់ព័ន្ធ និងមាន Instructions ច្បាស់; Output សំខាន់ត្រូវផ្ទៀងផ្ទាត់។

សម្រាប់អ្នកចាប់ផ្តើម កុំបារម្ភពីការរាប់ Token មួយៗ។ ផ្តោតលើការផ្តល់ Context សំខាន់ៗ កាត់ Noise និងស្នើ Output ដែលមានទម្រង់ច្បាស់។

ពេល Chat វែងចាប់ផ្តើមភ្លេច ឬច្រឡំ សូមឱ្យ AI សង្ខេបការសម្រេចចិត្ត រួចបើក Chat ថ្មី និងផ្ទៀងផ្ទាត់ Summary មុនបន្ត។

LANGUAGE ENGINE BADGE