在臨床一線,AI輔助診斷軟件(如肺結(jié)節(jié)、糖網(wǎng)病篩查)已在數(shù)百家醫(yī)院落地;AI驅(qū)動(dòng)的藥物研發(fā)平臺正在加速新藥創(chuàng)制;智能健康管理應(yīng)用也走進(jìn)了千家萬戶。據(jù)艾瑞咨詢數(shù)據(jù)預(yù)測,到2025年,中國AI醫(yī)療核心市場規(guī)模將突破千億元大關(guān)。
然而,在這片由數(shù)據(jù)和算法繪制的宏偉藍(lán)圖之下,潛藏著一層濃厚的責(zé)任“迷霧”。當(dāng)AI系統(tǒng)出現(xiàn)誤判,導(dǎo)致患者延誤治療或遭受不當(dāng)處置,誰來承擔(dān)這個(gè)責(zé)任?是開發(fā)算法的科技公司,是使用工具的臨床醫(yī)生,還是采購系統(tǒng)的公立醫(yī)院?這個(gè)問題不僅拷問著現(xiàn)有的法律框架和倫理準(zhǔn)則,更直接關(guān)系到醫(yī)生是否敢用、醫(yī)院是否敢買、患者是否敢信,成為決定AI醫(yī)療發(fā)展的關(guān)鍵瓶頸。
一、AI醫(yī)療在中國的“三重困境”
當(dāng)前中國的AI醫(yī)療發(fā)展,既面臨著全球共性的技術(shù)難題,也疊加了自身獨(dú)特的醫(yī)療體制、法律環(huán)境和社會文化因素,面臨三重困境:
困境一:法律主體的真空與歸責(zé)原則的失靈
中國現(xiàn)行法律體系,無論是《民法典》中的侵權(quán)責(zé)任篇,還是《醫(yī)療糾紛預(yù)防和處理?xiàng)l例》,其責(zé)任主體都清晰地指向“人”——醫(yī)療機(jī)構(gòu)及其醫(yī)務(wù)人員。然而,AI作為一個(gè)復(fù)雜的算法系統(tǒng),不具備法律人格,無法成為獨(dú)立的責(zé)任主體。這就造成了法律上的“主體真空”。
例如:當(dāng)AI輔助診斷系統(tǒng)將惡性腫瘤誤判為良性,導(dǎo)致患者錯(cuò)過最佳治療時(shí)機(jī)時(shí),傳統(tǒng)的歸責(zé)原則面臨失靈的窘境:
-歸責(zé)于醫(yī)生?醫(yī)生僅是AI的使用者,而非開發(fā)者。如果醫(yī)生已盡到合理的注意義務(wù),遵循了操作規(guī)范,卻因算法的“黑箱”特性無法預(yù)知其錯(cuò)誤,讓醫(yī)生承擔(dān)全部責(zé)任顯然有失公允,也會嚴(yán)重打擊臨床應(yīng)用AI的積極性。醫(yī)生擔(dān)心使用AI后,一旦出錯(cuò),自己就成了“背鍋俠”,這種“不敢用”的心態(tài)正在無形中阻礙技術(shù)落地。
-歸責(zé)于醫(yī)院?醫(yī)院作為AI的采購方和管理方,對技術(shù)細(xì)節(jié)知之甚少。要求醫(yī)院為算法的深層缺陷負(fù)責(zé),超出了其專業(yè)管理能力范疇,也可能導(dǎo)致醫(yī)院因畏懼風(fēng)險(xiǎn)而拒絕引進(jìn)先進(jìn)技術(shù)。
-歸責(zé)于開發(fā)者?看上去是最合理的方向,但實(shí)踐中障礙重重。開發(fā)者會以“產(chǎn)品說明書中已標(biāo)注準(zhǔn)確性非100%”、“醫(yī)生擁有最終決策權(quán)”等理由進(jìn)行抗辯。另外,要證明是算法本身存在“缺陷”而非醫(yī)生使用不當(dāng),需要復(fù)雜、昂貴的技術(shù)鑒定,而目前國內(nèi)缺乏權(quán)威的第三方AI醫(yī)療產(chǎn)品鑒定機(jī)構(gòu)。我國《產(chǎn)品質(zhì)量法》對“產(chǎn)品缺陷”的界定,能否直接套用于不斷學(xué)習(xí)、動(dòng)態(tài)演進(jìn)的AI軟件,本身就是一個(gè)法律前沿問題。
困境二:數(shù)據(jù)、算法黑箱與證據(jù)認(rèn)定的難題
AI醫(yī)療的核心是數(shù)據(jù),而中國的醫(yī)療數(shù)據(jù)分散在不同醫(yī)院、不同系統(tǒng)中,標(biāo)準(zhǔn)不一,質(zhì)量參差不齊?;谶@些數(shù)據(jù)訓(xùn)練出的AI模型,其有效性和泛化能力本身就存疑。更關(guān)鍵的是,許多先進(jìn)AI模型(尤其是深度學(xué)習(xí)模型)的決策過程如同一個(gè)“黑箱”,即使開發(fā)者也無法清晰解釋其得出某一具體結(jié)論的完整邏輯。
這種“黑箱”特性給現(xiàn)行司法實(shí)踐帶來了巨大挑戰(zhàn)。在醫(yī)療糾紛訴訟中,“舉證責(zé)任”是核心。按照“誰主張,誰舉證”的原則,患者需要證明醫(yī)院的診療行為存在過錯(cuò)并造成了損害。但當(dāng)診療行為涉及AI時(shí),患者如何證明是AI的算法出了錯(cuò)?醫(yī)院和開發(fā)者又如何自證清白?由于缺乏透明、可解釋的決策日志,法庭很難對AI的行為進(jìn)行客觀審查。這可能導(dǎo)致兩種極端結(jié)果:要么因證據(jù)不足,患者維權(quán)無門;要么因技術(shù)恐懼,法院在事實(shí)不清的情況下傾向于判決醫(yī)院和醫(yī)生敗訴,加劇醫(yī)患矛盾。
困境三:審批與監(jiān)管滯后于臨床實(shí)踐
近年來,國家藥品監(jiān)督管理局(NMPA)在AI醫(yī)療產(chǎn)品審批上取得了長足進(jìn)步。截至2024年底,NMPA已批準(zhǔn)上百款AI醫(yī)療器械,主要集中在影像輔助診斷領(lǐng)域。這為AI的合法合規(guī)使用提供了基礎(chǔ)。
然而,審批與監(jiān)管的速度,難以追趕技術(shù)迭代和臨床實(shí)踐的超前。一方面,審批主要針對靜態(tài)的、功能明確的輔助診斷軟件,而對于那些能夠持續(xù)學(xué)習(xí)、自我優(yōu)化的動(dòng)態(tài)AI,或者用于治療決策、手術(shù)規(guī)劃等更高風(fēng)險(xiǎn)領(lǐng)域的AI,審批路徑和標(biāo)準(zhǔn)尚不明確。另一方面,監(jiān)管往往側(cè)重于“上市前”的安全性和有效性審查,而對于產(chǎn)品上市后在真實(shí)世界中的長期表現(xiàn)、算法是否發(fā)生“漂移”、如何進(jìn)行持續(xù)監(jiān)測和更新,則缺乏成熟的監(jiān)管機(jī)制。這種“重審批、輕運(yùn)維”的模式,使得AI產(chǎn)品在投入臨床后,其責(zé)任風(fēng)險(xiǎn)處于一種動(dòng)態(tài)變化、難以追蹤的狀態(tài)。
二、現(xiàn)實(shí)應(yīng)對:分四步構(gòu)建AI醫(yī)療風(fēng)險(xiǎn)治理
面對上述困境,醫(yī)療機(jī)構(gòu)、技術(shù)開發(fā)者和相關(guān)方必須主動(dòng)作為,構(gòu)建一個(gè)多層次、立體化的風(fēng)險(xiǎn)治理體系,在迷霧中點(diǎn)亮前行的燈塔。
第一步:內(nèi)部風(fēng)控——醫(yī)療機(jī)構(gòu)應(yīng)成為“智慧的守門人”
醫(yī)療機(jī)構(gòu)是AI應(yīng)用的最終場景,也是風(fēng)險(xiǎn)匯集的第一線,必須從被動(dòng)接受者轉(zhuǎn)變?yōu)橹鲃?dòng)的風(fēng)險(xiǎn)管理者。
首先,在采購任何AI產(chǎn)品前,醫(yī)院應(yīng)成立由臨床專家、醫(yī)學(xué)工程、信息科、法務(wù)和倫理專家組成的評估小組。評估不應(yīng)只看宣傳的準(zhǔn)確率,更要進(jìn)行“三維風(fēng)險(xiǎn)掃描”:1.功能風(fēng)險(xiǎn):AI用在什么場景?是輔助篩查還是關(guān)鍵決策?一旦出錯(cuò),后果有多嚴(yán)重?例如,用于癌癥早篩的AI風(fēng)險(xiǎn)遠(yuǎn)高于用于皮膚美容分析的AI。2.人機(jī)交互風(fēng)險(xiǎn):醫(yī)生使用這個(gè)AI有多方便?界面是否清晰?會不會因?yàn)樾畔⑦^載或操作繁瑣,反而增加醫(yī)生犯錯(cuò)的機(jī)會?3.系統(tǒng)整合風(fēng)險(xiǎn):AI能否與醫(yī)院現(xiàn)有的HIS、PACS系統(tǒng)無縫對接?數(shù)據(jù)傳輸是否安全穩(wěn)定?
在風(fēng)險(xiǎn)評估基礎(chǔ)上,醫(yī)院需要實(shí)施“人機(jī)協(xié)同”的精細(xì)化臨床路徑,明確AI是醫(yī)生的“助手”,而非“替代者”。醫(yī)院應(yīng)制定嚴(yán)格的AI使用規(guī)范,規(guī)定在哪些環(huán)節(jié)必須由醫(yī)生進(jìn)行復(fù)核、確認(rèn)和最終簽字。例如,規(guī)定AI給出的“高風(fēng)險(xiǎn)”提示,必須由高年資醫(yī)師進(jìn)行二次閱片;AI生成的治療方案建議,必須經(jīng)過多學(xué)科團(tuán)隊(duì)討論。這種“人在環(huán)路”(Human-in-the-Loop)的設(shè)計(jì),是防止AI錯(cuò)誤直接導(dǎo)致傷害的最后一道,也是最有效的一道防線。
最后,醫(yī)院需要打造“AI診療行為”的數(shù)字檔案。針對AI的“黑箱”問題,醫(yī)院應(yīng)在技術(shù)層面要求開發(fā)商提供或自行建立“決策日志”系統(tǒng)。這個(gè)系統(tǒng)需要記錄:每一次AI調(diào)用的時(shí)間、輸入的患者數(shù)據(jù)、AI給出的初步結(jié)論、置信度分?jǐn)?shù),以及最終醫(yī)生的決策和修改理由。這份檔案不僅是未來可能發(fā)生糾紛時(shí)的關(guān)鍵證據(jù),更是醫(yī)院內(nèi)部進(jìn)行質(zhì)量控制和持續(xù)改進(jìn)的寶貴數(shù)據(jù)資產(chǎn)。
第二步:合作博弈——通過合同談判明確責(zé)任邊界
對于大多數(shù)醫(yī)院而言,AI技術(shù)是外購的。因此,與技術(shù)開發(fā)者簽訂一份權(quán)責(zé)清晰、風(fēng)險(xiǎn)共擔(dān)的采購合同,是轉(zhuǎn)移和鎖定風(fēng)險(xiǎn)的關(guān)鍵環(huán)節(jié)。雙方在合同中應(yīng)談妥以下關(guān)鍵條款:1.透明度條款:強(qiáng)制要求開發(fā)者提供詳盡的技術(shù)文檔,包括但不限于:訓(xùn)練數(shù)據(jù)的來源、構(gòu)成和代表性;算法的基本原理和局限性;產(chǎn)品的預(yù)期使用場景和禁忌癥。拒絕接受以“商業(yè)機(jī)密”為由的過度信息封鎖。2.責(zé)任劃分條款:這是合同的核心。應(yīng)明確界定,損害是由于產(chǎn)品本身存在設(shè)計(jì)或算法缺陷、還是醫(yī)生或醫(yī)院未能按規(guī)程操作等不同原因?qū)е?,如何按過錯(cuò)比例分擔(dān)責(zé)任。3.保障條款:要求開發(fā)者購買足額的“AI醫(yī)療產(chǎn)品責(zé)任險(xiǎn)”,并將醫(yī)院列為共同被保險(xiǎn)人。合同中應(yīng)明確最低保額,確保一旦發(fā)生大規(guī)模賠償事件,有足夠的財(cái)務(wù)能力覆蓋損失。同時(shí),應(yīng)約定開發(fā)者提供持續(xù)的“售后監(jiān)測”服務(wù),定期向醫(yī)院報(bào)告AI產(chǎn)品在真實(shí)世界中的性能表現(xiàn),并對發(fā)現(xiàn)的重大問題及時(shí)進(jìn)行修復(fù)和更新。
第三步:以知情同意構(gòu)建醫(yī)患信任基石
在AI時(shí)代,醫(yī)患關(guān)系面臨新的考驗(yàn)?;颊哂袡?quán)知道,關(guān)乎自己生命健康的決策中,是否有AI的參與。
1.將“AI使用”納入知情同意流程:醫(yī)院應(yīng)修訂現(xiàn)有的《知情同意書》,在涉及使用AI輔助診斷或治療的環(huán)節(jié),增加專門條款。用通俗易懂的語言向患者說明,例如“您的診療過程中,我們將使用一種名為‘XXX’的人工智能輔助系統(tǒng),它可以幫助醫(yī)生更準(zhǔn)確地分析您的影像/數(shù)據(jù)?!薄霸撓到y(tǒng)由XX公司開發(fā),已獲得國家藥品監(jiān)督管理局的批準(zhǔn)”等。
2.解釋AI的“不確定性”:主動(dòng)告知患者,如同任何醫(yī)療手段一樣,AI并非100%準(zhǔn)確,存在誤判的可能。這種坦誠不僅可以增強(qiáng)患者的信任感,也為未來可能發(fā)生的糾紛,提前鋪平了溝通的道路,證明醫(yī)院已盡到告知義務(wù)。
3.提供溝通渠道:鼓勵(lì)患者就AI的使用提出疑問,并由醫(yī)生或指定人員進(jìn)行解答。將AI從一個(gè)神秘、冰冷的“黑箱”,轉(zhuǎn)變?yōu)橐粋€(gè)可被理解、可被討論的“工具”,是消除患者疑慮、促進(jìn)和諧醫(yī)患關(guān)系的關(guān)鍵一步。
第四步:回歸本源——將安全置于技術(shù)之上
在AI醫(yī)療的探索中,必須始終將“安全第一”的原則置于技術(shù)炫酷和商業(yè)利益之上。
1.遵循并參與制定AI安全評估指南:積極跟蹤并采納國家衛(wèi)健委、工信部等部委發(fā)布的關(guān)于人工智能在醫(yī)療領(lǐng)域應(yīng)用的倫理規(guī)范和安全指南。同時(shí),有條件的醫(yī)療機(jī)構(gòu)和行業(yè)組織,應(yīng)主動(dòng)參與相關(guān)標(biāo)準(zhǔn)和指南的制定工作,將一線實(shí)踐中發(fā)現(xiàn)的風(fēng)險(xiǎn)和挑戰(zhàn)反饋給政策制定者,推動(dòng)形成更科學(xué)、更實(shí)用的行業(yè)規(guī)范。
2.建立“不良事件”內(nèi)部報(bào)告與學(xué)習(xí)機(jī)制:借鑒航空業(yè)的“無懲罰”報(bào)告制度,鼓勵(lì)醫(yī)生、護(hù)士在使用AI過程中,主動(dòng)報(bào)告任何可疑的誤報(bào)、漏報(bào)或系統(tǒng)異常。醫(yī)院應(yīng)設(shè)立專門渠道收集、分析這些報(bào)告,其目的不是為了追責(zé),而是為了發(fā)現(xiàn)潛在的系統(tǒng)風(fēng)險(xiǎn),及時(shí)向開發(fā)者反饋,并優(yōu)化內(nèi)部使用流程,從而實(shí)現(xiàn)從錯(cuò)誤中學(xué)習(xí),持續(xù)提升AI應(yīng)用的安全性。
3.審慎對待高風(fēng)險(xiǎn)AI應(yīng)用:對于直接參與治療決策(如自動(dòng)調(diào)整藥物劑量)、控制手術(shù)機(jī)器人等高風(fēng)險(xiǎn)AI,應(yīng)采取更為謹(jǐn)慎的態(tài)度。在初期,應(yīng)嚴(yán)格限制在臨床試驗(yàn)和少數(shù)頂尖研究型醫(yī)院內(nèi),在嚴(yán)密的倫理審查和專家監(jiān)督下進(jìn)行探索,待技術(shù)和監(jiān)管成熟后再考慮推廣。
三、政策建議
要驅(qū)散責(zé)任迷霧,僅靠市場主體的自我調(diào)節(jié)是不夠的,更需要政府層面的頂層設(shè)計(jì)和制度創(chuàng)新。為此,我們提出以下政策建議:
第一,加快AI醫(yī)療專項(xiàng)立法研究。
建議立法部門和主管部門牽頭,組織法學(xué)、醫(yī)學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域的專家,啟動(dòng)《人工智能醫(yī)療技術(shù)應(yīng)用管理?xiàng)l例》的立法研究。該條例應(yīng)明確AI的法律地位、各方主體責(zé)任劃分、數(shù)據(jù)隱私保護(hù)、算法透明度要求、損害賠償標(biāo)準(zhǔn)等核心問題,為AI醫(yī)療提供清晰、穩(wěn)定的法律預(yù)期。
第二,構(gòu)建“審批-監(jiān)管-再評價(jià)”的全鏈條管理體系。
建議國家藥監(jiān)局逐步建立AI醫(yī)療器械的“全生命周期”監(jiān)管模式。不僅要嚴(yán)把上市審批關(guān),更要建立上市后的主動(dòng)監(jiān)測、性能追蹤和定期再評價(jià)制度。對于高風(fēng)險(xiǎn)AI,可考慮引入“有條件批準(zhǔn)”機(jī)制,要求企業(yè)在真實(shí)世界中持續(xù)收集數(shù)據(jù),證明其長期安全有效。
第三,設(shè)立國家級AI醫(yī)療技術(shù)鑒定與仲裁中心。
針對AI醫(yī)療糾紛中技術(shù)鑒定難的問題,建議依托中國醫(yī)學(xué)科學(xué)院等權(quán)威機(jī)構(gòu),設(shè)立一個(gè)獨(dú)立的、中立的第三方技術(shù)鑒定中心。該中心應(yīng)具備對AI算法進(jìn)行審計(jì)、對決策日志進(jìn)行分析、對技術(shù)缺陷進(jìn)行認(rèn)定的能力,為司法審判和糾紛調(diào)解提供專業(yè)、權(quán)威的技術(shù)支撐。
第四,推動(dòng)“醫(yī)療責(zé)任險(xiǎn)”與“AI產(chǎn)品責(zé)任險(xiǎn)”的協(xié)同創(chuàng)新。
建議銀保監(jiān)會會同衛(wèi)健委,指導(dǎo)保險(xiǎn)公司開發(fā)適應(yīng)AI醫(yī)療特點(diǎn)的新型保險(xiǎn)產(chǎn)品。例如,推出“AI醫(yī)療綜合責(zé)任險(xiǎn)”,將醫(yī)院的醫(yī)療責(zé)任險(xiǎn)和科技公司的產(chǎn)品責(zé)任險(xiǎn)進(jìn)行捆綁,實(shí)現(xiàn)風(fēng)險(xiǎn)的共擔(dān)和理賠流程的簡化,為醫(yī)療機(jī)構(gòu)和開發(fā)者提供更全面的財(cái)務(wù)保障。
來源:澎湃新聞,2025-09-18
作者:趙付春,上海社會科學(xué)院信息所副研究員,數(shù)字經(jīng)濟(jì)研究室主任