Quality Assurance និង Citation Audit
by Sot Dimong
១៨ សីហា ២០២៦
ធ្វើ Citation verification, Fact-checking, Consistency check និង Audit log សម្រាប់ឯកសារចុងក្រោយ។
Document Mission • Level 4
⚡ Document Master
សេចក្តីផ្តើម
បញ្ហាដែលគួរឱ្យភ័យខ្លាចបំផុតរបស់ AI មិនមែនជាពេលដែលវាឆ្លើយខុសច្បាស់ក្រឡែតនោះទេ ប៉ុន្តែជា ពេលដែលវាឆ្លើយស្តាប់ទៅដូចជាត្រឹមត្រូវ ១០០% ហើយថែមទាំងដាក់លេខទំព័រយោងក្លែងក្លាយ (Hallucinated Citations) ទៀតផង!
Citation Audit & Document QA គឺជាខ្សែត្រៀមការពារចុងក្រោយដែលធានាថារាល់ប្រភពយោងទាំងអស់ គឺពិតជាមានក្នុងឯកសារដើមមែន និងពិតជាគាំទ្រដល់ការអះអាងនោះជាក់ស្តែង។ នៅក្នុងមេរៀននេះ អ្នកនឹងរៀនពីបច្ចេកទេសធ្វើ Citation Audit កម្រិតស៊ីជម្រៅ!
បញ្ហាដែលគួរឱ្យភ័យខ្លាចបំផុតរបស់ AI មិនមែនជាពេលដែលវាឆ្លើយខុសច្បាស់ក្រឡែតនោះទេ ប៉ុន្តែជា ពេលដែលវាឆ្លើយស្តាប់ទៅដូចជាត្រឹមត្រូវ ១០០% ហើយថែមទាំងដាក់លេខទំព័រយោងក្លែងក្លាយ (Hallucinated Citations) ទៀតផង!
Citation Audit & Document QA គឺជាខ្សែត្រៀមការពារចុងក្រោយដែលធានាថារាល់ប្រភពយោងទាំងអស់ គឺពិតជាមានក្នុងឯកសារដើមមែន និងពិតជាគាំទ្រដល់ការអះអាងនោះជាក់ស្តែង។ នៅក្នុងមេរៀននេះ អ្នកនឹងរៀនពីបច្ចេកទេសធ្វើ Citation Audit កម្រិតស៊ីជម្រៅ!
អនុវត្តក្របខ័ណ្ឌ 4-Stage Citation Audit Framework ដើម្បីផ្ទៀងផ្ទាត់រាល់ការអះអាង (Claims) របស់ AI ជាមួយឯកសារដើម ៖ ការវាយតម្លៃ Citation Fit Score, ការស្វែងរក False Anchors, ការផ្ទៀងផ្ទាត់ភាពស៊ីសង្វាក់គ្នានៃតួលេខ និងការបង្កើត Audit Trail ផ្លូវការ។
១. ក្របខ័ណ្ឌ ៤ ដំណាក់កាលនៃ Citation Audit (Audit Framework)
ដំណើរការត្រួតពិនិត្យប្រភពយោង ៤ ជំហាន ៖
"..." ពិតជាត្រូវនឹងតួអក្សរក្នុងទំព័រនោះ ១០០% ដែរឬទេ?
២. គំរូតារាង Citation Verification & Audit Trail Log
ទម្រង់តារាង Audit Log ដែលប្រើប្រាស់ក្នុងការត្រួតពិនិត្យឯកសារផ្លូវការ ៖
| # | ការអះអាងរបស់ AI (AI Claim) | ប្រភពយោង (Citation) | ឃ្លាដើមក្នុងឯកសារ (Source Verbatim) | ស្ថានភាព (Status) |
|---|---|---|---|---|
| 1 | កម្រិតសេវា SLA ធានាដំណើរការ 99.9% ប្រចាំខែ | ទំព័រ ៨, មាត្រា ៤.១ | "Vendor guarantees 99.9% system uptime per calendar month." | |
| 2 | ក្រុមហ៊ុនមានសិទ្ធិផ្តាច់កិច្ចសន្យាភ្លាមៗដោយគ្មានសំណង | ទំព័រ ១៥, មាត្រា ៩.២ | "Either party may terminate with 30 days written notice." |
៣. បច្ចេកទេសបង្កើត Citation Auditor Prompt
របៀបបញ្ជា AI ឱ្យដើរតួជា Auditor ឯករាជ្យផ្ទៀងផ្ទាត់ប្រភព ៖
សូមដើរតួជា Independent Citation Auditor ។ ខាងក្រោមនេះជា (១) របាយការណ៍សង្ខេប និង (២) ឯកសារដើម។ សូមធ្វើការផ្ទៀងផ្ទាត់រាល់ Claim ទាំងអស់ក្នុងរបាយការណ៍សង្ខេបធៀបនឹងឯកសារដើម ៖ បញ្ជាក់ថាតើ Citation ណាខ្លះដែល VERIFIED, ណាខ្លះដែល PARTIAL, និងណាខ្លះដែល FALSE/HALLUCINATED ។ បង្កើតតារាង Audit Report លម្អិត។
សាកល្បងលំហូរការងារ Document Intelligence
ជ្រើសរើសប្រភេទឯកសារ ដើម្បីមើលរបៀបដែល AI ជួយដំណើរការ ស្រង់ទិន្នន័យ និងពិនិត្យផ្ទៀងផ្ទាត់។
លទ្ធផលគំរូ ៖ ប្រព័ន្ធ Audit ពិនិត្យគ្រប់ ៥ Citations ឃើញថាត្រឹមត្រូវតាមទំព័រ និងឃ្លាដើមក្នុងរបាយការណ៍ហិរញ្ញវត្ថុ ១០០% ដោយគ្មានការប្រឌិតតួលេខឡើយ។
អនុវត្តជាក់ស្តែង ៖ សាកល្បង PROMPT គំរូ
សូមដើរតួជា Senior Document Citation Auditor & Fact-Checker ។ ខាងក្រោមនេះជា ៖ - **របាយការណ៍សេចក្តីសង្ខេប (Summary Output)** ៖ [បញ្ចូលអត្ថបទសង្ខេប] - **ឯកសារដើម (Source Baseline)** ៖ [បញ្ចូលឯកសារដើម] សូមធ្វើការ Citation Verification យ៉ាងម៉ឺងម៉ាត់ ៖ ១. ពិនិត្យរាល់ការអះអាង (Claims) ទាំងអស់ក្នុងរបាយការណ៍សង្ខេប ២. បង្កើតតារាង Citation Audit Log (Claim | Claimed Citation | Actual Source Verbatim | Status [VERIFIED / PARTIAL / HALLUCINATED] | Auditor Notes) ៣. គណនាពិន្ទុ Citation Reliability Score (0% ដល់ 100%) ៤. ផ្តល់អនុសាសន៍កែសម្រួលលើរាល់ចំណុចដែលខ្វះខាត។
ពិនិត្យការយល់ដឹង (Knowledge Check)
តើ Citation Fit មានន័យដូចម្តេចក្នុងការធ្វើ Document QA?
ចម្លើយត្រឹមត្រូវ ៖ Citation Fit ធានាថាប្រភពយោងមិនមែនជាការប្រឌិត (Hallucinated) ឬការកាត់តចេញពីបរិបទ ប៉ុន្តែពិតជាផ្តល់ភស្តុតាងគាំទ្រដល់ Claim នោះពិតប្រាកដ។
- អនុវត្ត ៤ ជំហាន Citation Audit ៖ Existence, Verbatim Match, Semantic Fit, Audit Trail ។
- ប្រយ័ត្នខ្ពស់លើ Hallucinated Citations (លេខទំព័រដែល AI ប្រឌិតឡើង)។
- ផ្ទៀងផ្ទាត់ថា Quote ក្នុងសញ្ញាសម្រង់ពិតជាត្រូវនឹងអត្ថបទដើម ១០០% ។
- បង្កើតតារាង Audit Log ផ្លូវការមុនពេលអនុម័តរបាយការណ៍ចុងក្រោយ។
MISSION COMPLETED
កំពុងបង្កើតជំនាញ Document Intelligence របស់អ្នក
បន្តអានគ្រប់ Checkpoint និងឆ្លើយ Quiz ដើម្បីបើក Badge និង XP របស់អ្នក។
