法治日?qǐng)?bào)全媒體記者 王藝茗 

近期，國家安全部微信公眾號(hào)發(fā)布文章，揭露AI“投毒”背后的隱蔽產(chǎn)業(yè)鏈，引發(fā)社會(huì)各界高度關(guān)注與廣泛熱議。文章明確指出，通過惡意數(shù)據(jù)污染人工智能模型的不法行為，不僅嚴(yán)重?cái)_亂正常市場(chǎng)商業(yè)秩序、干擾真實(shí)信息傳播生態(tài)，更會(huì)直接威脅網(wǎng)絡(luò)空間安全乃至國家安全。中國社會(huì)科學(xué)院法學(xué)研究所副研究員唐林垚在接受《法治日?qǐng)?bào)》記者專訪時(shí)表示，人工智能技術(shù)在深度賦能千行百業(yè)、推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展的同時(shí)，其衍生的各類安全風(fēng)險(xiǎn)絕不能被忽視。推動(dòng)人工智能治理朝著規(guī)范化、向善化方向發(fā)展，牢牢守住數(shù)據(jù)安全與技術(shù)安全底線，既是人工智能行業(yè)必須扛起的責(zé)任，更需要全社會(huì)凝聚合力、共同參與。 

AI“投毒”風(fēng)險(xiǎn)凸顯 

“所謂AI‘投毒’，是指不法主體在人工智能模型訓(xùn)練、微調(diào)以及檢索增強(qiáng)生成等關(guān)鍵環(huán)節(jié)，刻意注入惡意數(shù)據(jù)樣本，進(jìn)而污染模型認(rèn)知體系、操控模型輸出虛假或預(yù)設(shè)定向結(jié)果的惡意攻擊行為?！碧屏謭悓?duì)AI“投毒”作出專業(yè)解讀。 

當(dāng)前，以生成式人工智能為核心的新一輪科技革命，正以前所未有的速度與力度，深度重塑內(nèi)容生產(chǎn)、傳播與消費(fèi)的全鏈條生態(tài)。人工智能應(yīng)用的普及，為正能量?jī)?nèi)容傳播注入了強(qiáng)勁動(dòng)能，極大拓展了內(nèi)容創(chuàng)作的邊界，全方位革新了公眾信息獲取與傳播體驗(yàn)；但與此同時(shí)，技術(shù)的快速迭代與行業(yè)內(nèi)流量至上的不良風(fēng)氣相互疊加，也滋生出一系列行業(yè)亂象與安全風(fēng)險(xiǎn)，AI“投毒”等問題愈發(fā)嚴(yán)峻，已然成為人工智能健康發(fā)展的重要阻礙。 

現(xiàn)實(shí)案例早已為行業(yè)敲響警鐘：部分不法商家僅需付費(fèi)使用GEO（生成式引擎優(yōu)化）等工具，就能憑空杜撰一款不存在的智能手環(huán)，批量發(fā)布多篇虛假推廣文章博取流量。短時(shí)間內(nèi)，主流人工智能大模型便會(huì)將這款虛構(gòu)產(chǎn)品判定為“優(yōu)質(zhì)推薦內(nèi)容”，精準(zhǔn)推送給咨詢相關(guān)問題的用戶。這一現(xiàn)象給長期依賴AI獲取信息、尋求解答的公眾提了個(gè)醒：我們?cè)疽詾榈目陀^中立推薦，背后很可能是商家通過惡意手段對(duì)AI進(jìn)行“洗腦”操控的結(jié)果。 

那么AI“投毒”究竟如何運(yùn)作？唐林垚告訴記者，AI“投毒”主要通過兩種方式運(yùn)作：一是“源頭數(shù)據(jù)投毒”，即攻擊者濫用GEO（生成式引擎優(yōu)化）技術(shù)，批量生成虛假測(cè)評(píng)、惡意對(duì)比等內(nèi)容并將這些內(nèi)容大量投放至網(wǎng)絡(luò)，利用AI對(duì)多源信息的依賴，使其抓取后經(jīng)交叉驗(yàn)證將虛假信息固化為答案。二是“模型投毒”，即攻擊者直接篡改模型權(quán)重或植入插件，在模型中嵌入僅由特定關(guān)鍵詞觸發(fā)的后門指令，平時(shí)偽裝正常，觸發(fā)后則自動(dòng)輸出虛假信息。 

360數(shù)字安全集團(tuán)2024年發(fā)布的《大模型安全漏洞報(bào)告》指出，數(shù)據(jù)“投毒”攻擊已成為針對(duì)大模型最常見的攻擊方式。有研究顯示，當(dāng)訓(xùn)練數(shù)據(jù)集中僅有0.01%的虛假文本時(shí)，模型輸出的有害內(nèi)容會(huì)增加11.2%；即使是0.001%的虛假文本，其有害輸出也會(huì)相應(yīng)上升7.2%。微不足道的惡意數(shù)據(jù)占比，就能對(duì)AI模型的準(zhǔn)確性與安全性造成顯著破壞，足見AI“投毒”風(fēng)險(xiǎn)的危害性。 

危害波及國家安全 

更令人擔(dān)憂的是，如今AI“投毒”早已脫離零散作案的形態(tài)，逐步形成分工明確、環(huán)環(huán)相扣的完整黑灰產(chǎn)業(yè)鏈，甚至部分環(huán)節(jié)呈現(xiàn)跨境運(yùn)作特征，極易被境外敵對(duì)勢(shì)力利用，對(duì)國家安全與網(wǎng)絡(luò)生態(tài)造成雙重沖擊。 

唐林垚深入剖析了這條黑色產(chǎn)業(yè)鏈的運(yùn)作邏輯：產(chǎn)業(yè)鏈上游技術(shù)團(tuán)隊(duì)負(fù)責(zé)開發(fā)生成式引擎優(yōu)化工具，利用AI工具批量生成結(jié)構(gòu)規(guī)整、關(guān)鍵詞密集但有失偏頗的虛假測(cè)評(píng)、虛構(gòu)產(chǎn)品介紹或惡意對(duì)比信息；中游營銷組織通過非法手段批量注冊(cè)或竊取網(wǎng)絡(luò)賬號(hào)，在多個(gè)平臺(tái)進(jìn)行高頻信息發(fā)布，制造虛假“多源交叉驗(yàn)證”假象，誘導(dǎo)大模型抓取污染信息；下游水軍團(tuán)隊(duì)利用機(jī)器或水軍對(duì)已投放的“有毒信息”進(jìn)行刷量、點(diǎn)贊和控評(píng)，進(jìn)一步提升熱度和權(quán)重，最終實(shí)現(xiàn)對(duì)AI推薦榜單和生成結(jié)果的定向操控。 

“AI‘投毒’帶來的危害遠(yuǎn)超想象，絕不可小覷?！碧屏謭悘?qiáng)調(diào)，AI“投毒”會(huì)直接破壞機(jī)器學(xué)習(xí)模型的訓(xùn)練基礎(chǔ)，導(dǎo)致模型學(xué)習(xí)到錯(cuò)誤或惡意的模式，使之在關(guān)鍵任務(wù)上準(zhǔn)確率驟降甚至完全失效。被投毒的模型會(huì)進(jìn)一步削弱依賴其決策的金融、醫(yī)療、安防等自動(dòng)化決策系統(tǒng)，進(jìn)而引發(fā)大規(guī)模的決策失真、安全事故、經(jīng)濟(jì)損失乃至產(chǎn)生公共安全威脅。如金融市場(chǎng)出現(xiàn)新型“AI殺豬盤”：不法分子預(yù)埋股票倉位后，利用AI批量炮制虛假信息污染語料庫，再雇傭“水軍”擴(kuò)散AI對(duì)話截圖，誘導(dǎo)散戶接盤。 

尤其值得高度警惕的是，境外反華敵對(duì)勢(shì)力與極端勢(shì)力，正借助GEO技術(shù)濫用AI“投毒”手段，大肆炮制并傳播政治謠言與虛假信息。據(jù)日本《朝日新聞》調(diào)查顯示，日本眾包平臺(tái)CrowdWorks長期以付費(fèi)方式招募網(wǎng)民，刻意收集或直接利用AI生成“中國人不文明”“反日情緒”以及否認(rèn)“南京大屠殺”等抹黑中國、歪曲歷史的不良內(nèi)容。日本右翼勢(shì)力將煽動(dòng)對(duì)立、歪曲歷史的極端言論當(dāng)作牟取流量、非法獲利的工具，形成了一條危害極大的跨境黑色產(chǎn)業(yè)鏈。借助各類網(wǎng)絡(luò)平臺(tái)，日本右翼勢(shì)力以平臺(tái)化、產(chǎn)業(yè)化的方式大肆散播謠言、傳播極端思想，不僅讓部分受錯(cuò)誤史觀影響的日本民眾進(jìn)一步喪失對(duì)侵略戰(zhàn)爭(zhēng)的反思與批判能力，更對(duì)國際輿論環(huán)境與歷史真相傳播造成了嚴(yán)重破壞。 

構(gòu)建綜合治理格局 

面對(duì)愈發(fā)猖獗、隱蔽性極強(qiáng)的AI“投毒”亂象，單一治理主體已難以有效應(yīng)對(duì)，必須凝聚各方力量協(xié)同發(fā)力，加快構(gòu)建“平臺(tái)履責(zé)+聯(lián)合監(jiān)管+行業(yè)自律+國際協(xié)同”的全方位、多層次綜合治理格局，筑牢人工智能安全防護(hù)網(wǎng)。 

當(dāng)前AI“投毒”治理面臨兩大突出難點(diǎn)：一是攻擊成本與防御成本嚴(yán)重失衡，隨著技術(shù)門檻不斷降低，不法分子制造、散布“有毒”信息的操作愈發(fā)簡(jiǎn)單便捷，但平臺(tái)企業(yè)、模型研發(fā)主體以及監(jiān)管部門要實(shí)現(xiàn)精準(zhǔn)識(shí)別、高效過濾、全面核驗(yàn)，卻需要投入大量技術(shù)、人力與資金成本；二是信息真?zhèn)芜吔缬l(fā)模糊，多數(shù)AI“投毒”內(nèi)容并非直白的虛假信息，而是夾雜夸大表述、誤導(dǎo)性引導(dǎo)、利益導(dǎo)向性的偽客觀內(nèi)容，這類信息無論是對(duì)人工智能審核系統(tǒng)，還是對(duì)人工審核團(tuán)隊(duì)而言，識(shí)別難度都大幅提升，進(jìn)一步加大了治理難度。 

對(duì)此，唐林垚建議，針對(duì)AI“投毒”以及GEO技術(shù)濫用等突出問題，我國應(yīng)加快完善法律法規(guī)體系，圍繞人工智能大模型訓(xùn)練、運(yùn)行、監(jiān)管等全流程，補(bǔ)齊制度短板，明確各方責(zé)任邊界；同時(shí)強(qiáng)化跨部門、跨領(lǐng)域聯(lián)合監(jiān)管，加大對(duì)黑灰產(chǎn)業(yè)鏈的打擊力度，形成監(jiān)管震懾。平臺(tái)與模型企業(yè)要切實(shí)履行主體責(zé)任，升級(jí)數(shù)據(jù)甄別、惡意信息攔截技術(shù)，從源頭防范數(shù)據(jù)污染；行業(yè)內(nèi)部要加強(qiáng)自律規(guī)范，堅(jiān)守技術(shù)向善底線。 

“在加強(qiáng)國際合作方面，應(yīng)積極發(fā)揮我國在國際標(biāo)準(zhǔn)化組織中的影響力，推動(dòng)制定AI數(shù)據(jù)安全、訓(xùn)練數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、GEO技術(shù)規(guī)范等領(lǐng)域的國際標(biāo)準(zhǔn)。考慮到部分AI‘投毒’行為的跨境特征，還應(yīng)推動(dòng)建立國際AI安全威脅情報(bào)共享網(wǎng)絡(luò)，使各國能夠及時(shí)互通AI‘投毒’攻擊的最新手法、攻擊源以及受影響范圍?！碧屏謭愓f。