基于ChatGLM 微调的医疗问答系统
为提升大模型在医疗领域的专业性，本文采用Lora微调技术，利用huatuo26M数据集，对ChatGLM3-6B大模型进行微调，构建医疗问答系统。研究结果显示，该方法显著提高了医疗问答的专业度、准确性及对话流畅性。该系统在医疗咨询与健康指导中展现应用价值，并具备推广至其他专业领域大模型微调的潜力。
[1] Du Z, Qian Y, Liu X,et al.GLM:General Language Model Pretraining with Autoregressive Blank Infilling［J］．2021.DOI:10.18653/v1/2022.acl-long.26.
[2] 张伟，李明．基于深度学习的医疗问答系统研究综述．计算机工程与应用，2022. 58(12), 1-10.
[3] 王晓霞，刘强．面向医疗领域的自然语言处理技术研究进展．智能科学与技术学报，(2021). 3(2), 152-160.
[4] 赵瑞，陈志军．大型语言模型在医疗领域的应用与挑战．计算机科学，2020.47(6), 1-8.
[5] 李华，张敏．自然语言处理技术在医疗问答系统中的应用．计算机应用研究，2019.36(10), 2925-2930.
[6] Hu E J , Shen Y , Wallis P ,et al.LoRA: Low-Rank Adaptation of Large Language Models［J］．2021.DOI:10.48550/arXiv.2106.09685.
[7] Li Jianquan, Wang Xidong, Wu Xiangbo, et al Huatuo-26M: A large-scale Chinese medical question and answer dataset［J］,2023.arXiv.https://arxiv.org/abs/2305.01526.