A MANDATORY MEDICINAL HERB SAFETY FILTER LAYER FOR A VIETNAMESE TRADITIONAL MEDICINE EDUCATIONAL CHATBOT
Main Article Content
Abstract
Objective: To develop and evaluate a herbal safety filter with hard rules integrated in the Vietnamese Traditional Medicine educational chatbot at Hoa Binh University.
Subjects and methods: The herbal safety filter with hard rules integrated in the Vietnamese Traditional Medicine educational chatbot deterministically encodes five rule groups: Eighteen Antagonisms (18 pairs), Nineteen Mutual Fears (19 pairs), pregnancy-contraindicated herbs, special preparation rules, and traditional–modern medicine interactions. Twelve traditional medicine faculty members independently scored 115 herbal-safety test items across four optimization rounds (V1–V4) on a 19-criterion rubric, producing 5,104 assessments.
Results: Mean Module C score rose from 3.202 (V1) to 4.426 (V4); largest gain at V2 → V3 (+0.553). The “Harmful” classification on the dedicated safety criterion TC13 remained 0% across all 5,104 assessments. “Beneficial” classification slightly decreased (91.02% → 86.57%) while “Neutral” increased (8.98% → 13.43%) as V4 prioritized referral recommendations.
Conclusions: The herbal safety filter with hard rules integrated in the Vietnamese Traditional Medicine educational chatbot operates independently of prompt quality, maintaining 0% harmful responses across four optimization rounds, providing the minimum safety scaffold required when deploying large language models for traditional medicine pharmacology consultation.
Article Details
References
2. Bộ Y tế. Quyết định số 3159/QĐ-BYT ngày 23/11/2022 phê duyệt tài liệu “Chuẩn năng lực cơ bản của Bác sĩ Y học cổ truyền Việt Nam”. Hà Nội, 2022.
3. Bộ Y tế. Quyết định số 5013/QĐ-BYT ngày 01/12/2020 ban hành tài liệu chuyên môn “Hướng dẫn chẩn đoán và điều trị bệnh theo y học cổ truyền, kết hợp y học cổ truyền với y học hiện đại”, tập I, Hà Nội, 2020.
4. Bộ Y tế. Thông tư số 02/2024/TT-BYT ngày 12/03/2024 quy định cấp giấy chứng nhận lương y, giấy chứng nhận người có bài thuốc gia truyền, giấy chứng nhận người có phương pháp chữa bệnh gia truyền và kết hợp y học cổ truyền với y học hiện đại tại cơ sở khám bệnh, chữa bệnh, Hà Nội, 2024.
5. Wei S, Peng X, Wang Y, Shen T, Si J, Zhang W, et al. BianCang: A Traditional Chinese Medicine Large Language Model. IEEE Journal of Biomedical and Health Informatics, 2025. Doi:10.1109/JBHI.2025.3612415.
6. He J, Guo Y, Lam LK, Leung W, He L, Jiang Y, et al. OpenTCM: A GraphRAG-Empowered LLM-based System for Traditional Chinese Medicine Knowledge Retrieval and Diagnosis. In: Proceedings of the 11th International Conference on Big Data Computing and Communications (BigCom'25). IEEE; 2025.
7. Trinh T, Dao A, Hy THN, Hy TS. VietMedKG: Knowledge Graph and Benchmark for Traditional Vietnamese Medicine. ACM Transactions on Asian and Low-Resource Language Information Processing. 2025, 24(7), Article 69, pp.1–17, doi:10.1145/3744740.
8. Bộ Y tế. Hội đồng Dược điển. Dược điển Việt Nam V, Nhà xuất bản Y học, Hà Nội, 2017.
9. Phạm Thanh Kỳ. Dược liệu học, Tập 2, Nhà xuất bản Y học, Hà Nội, 2018.
10. Nguyễn Nhược Kim. Phương tễ học: Nhà xuất bản Y học, Hà Nội, 2009.
11. Singhal K, Tu T, Gottweis J, Sayres R, Wulczyn E, Amin M, et al. Toward expert-level medical question answering with large language models. Nature Medicine, 2025, 31(3), pp.943–950, doi:10.1038/s41591-024-03423-7.
12. Chen P, Cai J, Zhou J, Chen S, Xu C, Yuan L, et al. Multidisciplinary blinded randomized expert evaluation of large language models for clinical diagnosis and management. Communications Medicine, 2026, 6, pp.339, doi:10.1038/s43856-026-01576-9.
13. Guo D, Yang D, Zhang H, Song J, Wang P, Zhu Q, et al. DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature, 2025, pp.645-633–638, doi:10.1038/s41586-025-09422-z.
14. Norman JD, Rivera MU, Hughes DA. Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias, Source: https://arxiv.org/abs/2606.19544, accessed: 15th Feb, 2026.