8月9日 国仟生态圈
2024年第四场专题培训活动顺利举办
此次活动专题是
“AI大模型安全”
主办单位：国仟医疗科技（苏州）有限公司
国仟创业投资管理（苏州）有限公司
本期特邀演讲嘉宾：清华大学邱寒博士、董胤蓬博士
活动背景
近两年来，随着ChatGPT、Sora等人工智能模型的出现，社会各界对AI的关注度日趋高涨。无论是科研产业界，还是投融资界，都对人工智能在未来人类社会的应用充满期待。其中医疗大健康领域的AI模型，有助于更快更准地解决临床刚需，因此备受关注。然而由于医疗领域自身的特殊性，AI模型安全至关重要，也直接影响AI模型在医疗健康领域的落地。
活动回顾
针对模型安全在医疗健康领域人工智能产品中的重要意义，本次国仟生态圈主题培训活动邀请到清华大学网络研究院邱寒副教授和计算机科学与技术系董胤蓬博士，围绕“AI大模型安全”主题进行分享。
邱教授演讲的主题是“大语言模型内容安全研究”，通过实际的GPT模型案例深入浅出的介绍了大语言模型的发展历史和基本原理、大模型对于有害内容的输出管控、大模型幻觉对垂直领域应用的影响。在演讲中，邱教授通过分析GPT训练过程，解释了大模型的局限性、偏见、不安全内容输出的原因，认为数据驱动的本质会直接影响大模型的安全性。同时邱教授认为大语言模型的自回归推理模式和模型幻觉有关，不同模型的幻觉或者人为干扰下的响应会有不同表现。减少生成式人工智能的幻觉，提高模型准确性，是大模型在垂直领域广泛使用的主要挑战，仍有较长的路要走。
董博士分享的主题是“面向扩散概率模型的安全可信研究”，董博士依靠扎实的理论功底，重点介绍了图片生成领域的扩散模型基本概念和分类、扩散模型的鲁棒性与安全性的判断、模型生成图片的安全性处理，和扩散模型对提高图片生成与识别鲁棒性的应用。董博士在演讲中结合自己的科研经历，分析了多种扩散模型的实际应用案例和数学方法，加深听众对生成式人工智能安全风险的理解。
分享过程中两位专家和听众针对不同的大语言模型方法、物理概念与大模型的融合、医疗数据对大模型幻觉的影响、大模型未来趋势、如何在模型训练中设置提示词等问题展开了热烈讨论。
当前人工智能冲击着传统产业界，新的范式对于产品定位、产品内容、产品研发都有巨大影响。大模型的应用是医疗企业面临的新机遇与新挑战。期待本次交流碰撞出的火花能够给各位企业家朋友带来思考，助力公司在人工智能时代创新发展！
关于国仟
国仟医疗科技（苏州）有限公司由张旭博士等七名在生物医学和医疗器械领域成功创新创业的国家重大人才工程专家联合其他领域股东共同投资设立。
国仟医疗致力于医疗器械创新科技产业投资、创业孵化及精准赋能。全资控股的国仟创业投资管理(苏州)有限公司，是一家专注医疗器械早期股权投资的风险投资机构。本着“成就他人梦想”的经营理念，国仟创投通过所管理的股权投资基金来进行产业投资和聚集，国仟医疗通过孵化和赋能打造产业生态，两大业务平台高度协同，在苏州高新区打造一个高端医疗器械产业聚集群和生态圈。