近日,上海市人工智能實驗室發(fā)布中文醫(yī)療大模型權(quán)威評測平臺MedBench 4.0,這是國內(nèi)首個面向垂直大模型、專用大模型、應用場景的醫(yī)療大模型評測與驗證體系。業(yè)內(nèi)人士介紹,MedBench 4.0為衡量醫(yī)學AI產(chǎn)品性能與可靠性提供了科學標尺,保障了醫(yī)療人工智能產(chǎn)品質(zhì)量的提升與行業(yè)良性競爭。
據(jù)悉,中文醫(yī)療大模型權(quán)威評測平臺MedBench首發(fā)于2023年年中,目前更新至第四版。上海人工智能實驗室醫(yī)療和評測中心負責人徐捷介紹,本次升級包含大語言模型、多模態(tài)大模型及智能體三大技術(shù)范式,深度對齊國家《衛(wèi)生健康行業(yè)人工智能應用場景參考指引》,覆蓋60個全自主構(gòu)建評測集,共70萬余專業(yè)評測題。
記者從上海市人工智能實驗室了解到,針對大語言模型評測,平臺圍繞醫(yī)學知識問答、語言理解、生成、復雜推理及安全倫理等維度構(gòu)建了評測集,并創(chuàng)新引入科學指標體系,以緩解模型信息遺漏或幻覺生成等問題對評測結(jié)果的影響;針對多模態(tài)大模型評測,瞄準醫(yī)療影像、檢測報告等臨床核心場景,平臺可覆蓋目標檢測、圖像分類、多模態(tài)報告質(zhì)控、序列影像理解、病程動態(tài)追蹤等10項細分任務,填補了中文醫(yī)療多模態(tài)評測領(lǐng)域的技術(shù)缺口;針對智能體評測,平臺則重點解決智能體執(zhí)行斷層的問題,推動醫(yī)療智能體從“能對話”向“能執(zhí)行、能協(xié)作”演進。
對于醫(yī)療大模型評測的意義,徐捷告訴記者,評測首先可以驗證醫(yī)療大模型的合規(guī)性,其次是驗證其專業(yè)性,比如會不會誤診、漏診或者開錯藥,最終幫助市場更好地訓練出優(yōu)質(zhì)的醫(yī)療大模型。
記者注意到,目前,不少通用大模型如深度求索、千問等都可以分析體檢報告和檢查報告。那么,醫(yī)療大模型的價值何在呢?
對此,徐捷介紹稱,主流通用大模型可以滿足日常健康咨詢。評測顯示,國內(nèi)頭部通用大模型的醫(yī)學能力已經(jīng)超過國外同類產(chǎn)品。但對于需要給出專業(yè)判斷的醫(yī)療場景,例如要做哪些檢查、如何解讀報告、應開什么藥或者中醫(yī)方劑等,大模型還需整合大量醫(yī)學數(shù)據(jù)、專家醫(yī)案和臨床經(jīng)驗等語料。醫(yī)療大模型能高效處理海量信息,提供循證參考,有助于提升醫(yī)生診療水平、補足基層醫(yī)療短板,進而實現(xiàn)醫(yī)學普惠。
除推出權(quán)威評測平臺,上海人工智能實驗室還聯(lián)合專業(yè)醫(yī)療機構(gòu)和相關(guān)企業(yè),推出了兒童眼病智能篩查與精準干預系統(tǒng)、胃腸多模態(tài)輔助診療大模型等醫(yī)療人工智能應用。
特別聲明:智慧醫(yī)療網(wǎng)轉(zhuǎn)載其他網(wǎng)站內(nèi)容,出于傳遞更多信息而非盈利之目的,同時并不代表贊成其觀點或證實其描述,內(nèi)容僅供參考。版權(quán)歸原作者所有,若有侵權(quán),請聯(lián)系我們刪除。
凡來源注明智慧醫(yī)療網(wǎng)的內(nèi)容為智慧醫(yī)療網(wǎng)原創(chuàng),轉(zhuǎn)載需獲授權(quán)。
Copyright ? 2022 上??评讜狗沼邢薰?旗下「智慧醫(yī)療網(wǎng)」版權(quán)所有 ICP備案號:滬ICP備17004559號-5