當技術能輕易制造“有圖有真相”的謊言，信息的真實性由此變得撲朔迷離。
過去半年，AI生成的謠言，從文字到視頻，從民生到公共安全，以近乎工業(yè)化生產(chǎn)的模式泛濫，形成“謠言→AI引用→更多謠言”的傳播鏈條。
年初，達沃斯世界經(jīng)濟論壇發(fā)布的《2025年全球風險報告》，將“錯誤和虛假信息”與武裝沖突、極端天氣、經(jīng)濟對抗和社會極化列為2025年全球面臨的五大風險。
虛假信息不僅誤導消費者，還可能對社會秩序、國家安全甚至人民群眾的生命財產(chǎn)安全構(gòu)成威脅。其中，AI正在成為制造和放大錯誤和虛假信息的重要一環(huán)……
新疆拜城縣發(fā)生地震時期，造謠者利用AI技術手段發(fā)布虛假信息誤導公眾。
一些網(wǎng)民通過AI憑空杜撰，惡意拼湊剪接，夸大扭曲事實，借事故話題編造謠言，破壞社會秩序，而AI技術的便利性正被他們精準利用。
另一邊，AI幻覺與一些人的盲信交織，加劇了謠言的破壞力。大模型基于概率的“創(chuàng)作邏輯”，常因數(shù)據(jù)污染或技術缺陷生成看似合理實則虛構(gòu)的內(nèi)容。
隨著生成式AI技術爆發(fā)式發(fā)展，網(wǎng)絡謠言與虛假信息呈現(xiàn)智能化、規(guī)?；?、爆發(fā)化特征。治理的滯后與技術狂飆間的矛盾日益尖銳。
如何破解AI幻覺技術難題，從源頭打擊謠言，避免人工智能成為造謠幫兇，構(gòu)建多維度治理體系，正成為當下網(wǎng)絡輿論社會治理的新命題。
“偽造”
AI謠言正在批量生產(chǎn)
近半年來，AI的生成能力多次被注入謠言生產(chǎn)線。
從虛構(gòu)天災到偽造“科學數(shù)據(jù)”，從拼接舊圖到捏造“權(quán)威解讀”，AI工具的低門檻濫用讓謠言制造呈現(xiàn)工業(yè)化、專業(yè)化趨勢。
在自然災害方面，利用AI制造的謠言成為恐慌放大器。
2025年1月7日，西藏定日縣發(fā)生6.8級地震，而一系列“小男孩被埋圖”在互聯(lián)網(wǎng)平臺廣泛傳播，并配文日喀則地震等關鍵詞，引發(fā)大量網(wǎng)民關注。
鑒于該圖片存在明顯AI生成痕跡，如圖中的小男孩有6根手指，虛假圖片很快就暴露了。
但在這之后，一出現(xiàn)自然災害，AI謠言常常相伴而生。由于AI工具的發(fā)展日新月異，相關圖片的“真實度”也越來越高。
3月初，廣東出現(xiàn)強對流天氣，多地下起了冰雹。但在一些網(wǎng)絡平臺，有網(wǎng)民發(fā)布了“冰雹比雞蛋還大”“冰雹砸壞汽車”“冰雹砸垮了房屋頂棚”等圖片，并配文“廣東多地最近下冰雹”。
經(jīng)核實，這些圖片均為通過AI制作生成的虛假圖片，其畫面明顯夸大了災情。
有網(wǎng)民用AI生成的圖片夸大冰雹災情。
“AI冰雹圖片”的謠言過去還沒兩天，2025年3月5日，新疆阿克蘇地區(qū)拜城縣發(fā)生4.5級地震，震后僅3小時，某短視頻平臺便出現(xiàn)“已致3人死亡、65戶房屋倒塌”的謠言，配以AI拼接的房屋坍塌圖片和方言配音的“災民呼救”視頻。
經(jīng)核查，這是造謠者利用AI技術手段拼接網(wǎng)絡舊圖，發(fā)布與此次地震不符的圖文、音視頻等虛假信息誤導公眾。實際上，經(jīng)當?shù)卣婷牛舜蔚卣鹞丛斐扇藛T傷亡和財產(chǎn)損失。
新疆拜城縣發(fā)生地震時期，造謠者利用AI技術手段拼接網(wǎng)絡舊圖，發(fā)布與此次地震不符的圖文、音視頻等虛假信息誤導公眾。
除自然災害領域的謠言外，AI的“理性氣質(zhì)”也越來越多被用來包裝成反常識的“科普類”謠言。
近期，一篇利用AI炮制的“80后死亡率突破5.2%”的虛假報告，因偽造的“權(quán)威數(shù)據(jù)”和“專家解讀”視頻引發(fā)網(wǎng)絡集體焦慮。
謠傳“每20個80后就有1人去世”，造謠傳謠的疑為AI。
在傳播過程中，一些自媒體賬號發(fā)布AI生成的“專家解讀”視頻，一名身著白大褂的虛擬人像，以專業(yè)術語分析“中年健康危機”，背景還穿插偽造的統(tǒng)計圖表，最終被證實數(shù)據(jù)完全虛構(gòu)。
經(jīng)網(wǎng)安部門調(diào)查，這些謠言是個別網(wǎng)民為挑撥情緒、售賣保健品而推波助瀾去傳播。
類似手法在食品安全、醫(yī)療健康領域尤為猖獗。
2024年底，網(wǎng)絡上出現(xiàn)了一段復旦大學附屬華山醫(yī)院感染科主任張文宏賣力推銷某保健品的視頻。不少網(wǎng)友出于對張文宏的信任購買、轉(zhuǎn)發(fā)。然而，張文宏本人很快對此做出了澄清，該視頻非其本人錄制，是用AI偽造的。
對謠言的炮制者來說，AI的出現(xiàn)讓造謠的成本大幅降低。
造謠者借助AI，只需要簡單輸入指令，就能批量生產(chǎn)仿真度高的虛假信息，還有以假亂真的圖片和視頻。
清華大學新聞與傳播學院新媒體研究中心2024年4月發(fā)布的一份報告顯示，經(jīng)濟領域已成AI謠言的高發(fā)地。
2025年2月，有網(wǎng)民造謠“國內(nèi)首例智能駕駛致死案宣判”，虛構(gòu)有車主使用小鵬汽車智能駕駛發(fā)生車禍的信息。經(jīng)網(wǎng)安部門查實，閆某某為吸引流量、賺取收益，通過AI洗稿炮制了該網(wǎng)絡謠言。
值得警惕的是，利用AI造謠已然形成了分工明確的灰色產(chǎn)業(yè)鏈。據(jù)媒體報道，不法者會在兼職群里發(fā)布招募信息，教學員“洗稿”牟利，自己則通過賺取傭金、收取賬戶草稿箱存稿費等形式非法獲利。這種一人動輒“手握”上千賬號的造假方式，讓謠言不斷發(fā)酵，影響力不斷擴大。
“幻覺”
AI自動編造“合理”細節(jié)
這些天，當DeepSeek讓大模型之風吹到了尋常百姓家，有不少網(wǎng)友反映，“為啥我的AI愛胡說？”
大模型“愛瞎說”，實質(zhì)是大模型的“AI幻覺”這一原生性技術缺陷。
快思慢想研究院院長、原商湯智能產(chǎn)業(yè)研究院創(chuàng)始院長田豐解釋道，當前大語言模型基于Transformer架構(gòu)的概率統(tǒng)計機制，本質(zhì)上是通過海量數(shù)據(jù)訓練形成的“概率游戲”，其核心機制是通過概率統(tǒng)計預測文本序列，這種“想象力驅(qū)動”的生成方式天然存在產(chǎn)生事實偏差的隱患?！熬拖袢祟惔竽X的創(chuàng)造性思維需要容錯空間，這也是AI之所以具有創(chuàng)新能力的關鍵?！?/p>
這種“幻覺”或許始終刻在大模型基因里：大模型訓練是對大數(shù)據(jù)的壓縮，捕捉數(shù)據(jù)蘊含的大大小小的知識點和規(guī)律。大模型并非死記硬背數(shù)據(jù)庫，訓練數(shù)據(jù)中的“長尾”事實與噪音無異，被壓縮剔除。面對這些缺失信息，模型會自動編造看上去“合理”的細節(jié)填補，最終形成AI幻覺。
在法律等專業(yè)領域，已有“吃螃蟹的人”上了AI幻覺的當。
比如2019年有一宗涉及航空公司侵權(quán)的案件，在2023年進入法院審理。律師利用ChatGPT撰寫法律簡報時，引用了大量法院過去的判例。但法院審查起訴文書時發(fā)現(xiàn)，這些判例完全不真實。
這起典型案例中，AI在找不到合適的資料時，通過“編造”部分內(nèi)容，以盡量滿足用戶的需求，但最終輸出的文書漏洞百出。
“除了技術局限外，數(shù)據(jù)質(zhì)量對AI內(nèi)容的生產(chǎn)也至關重要?！碧镓S表示，除了AI在底層具有自身的“想象力”之外，互聯(lián)網(wǎng)上良莠不齊的信息源在某種程度上也加劇了這種錯誤率，自媒體為商業(yè)利益制造的虛假內(nèi)容、歷史記錄的多版本等，都成為AI模型的“事實”陷阱，有時候確實會形成“垃圾進－垃圾出”的惡性循環(huán)。
田豐舉例說，例如網(wǎng)上有五篇文章講天鵝，三篇說天鵝是黑色，兩篇說天鵝是白色，那么在學習中，大模型通常會偏向前者。
而當下，技術的普及也加速了謠言的傳播，網(wǎng)絡治理之外還需要面對更為復雜多變的人工智能數(shù)據(jù)攻防，“新型AI黑客會繞過模型的安全防護殼，通過數(shù)據(jù)投毒、對抗樣本攻擊等手段誘導模型輸出錯誤信息。我們測試發(fā)現(xiàn)，只需在訓練數(shù)據(jù)中混入0.7%的毒化內(nèi)容，就能顯著改變模型輸出傾向?！碧镓S解釋道，例如現(xiàn)在利用擴散模型+智能體技術，網(wǎng)絡灰產(chǎn)團伙可日均生成10萬條AI謠言，在蔚來汽車案例中，通過完全虛構(gòu)生成的所謂“李斌直播破防”等內(nèi)容，圖、文、視頻俱全，傳播速度是人工造謠的50倍。
從傳播的角度來看，當AI生成的內(nèi)容與人類創(chuàng)作的內(nèi)容交織在一起時，就會出現(xiàn)所謂的“銜尾蛇”模式。北京大學新聞與傳播學院教授胡泳在接受采訪時介紹，當最終數(shù)據(jù)合并，分不清哪些是人類創(chuàng)造、哪些是AI生成，則會引發(fā)一系列嚴重的后果。“特別是當我們高估人工智能系統(tǒng)的智力，從而對它產(chǎn)生過度信任時，一旦人工智能系統(tǒng)出現(xiàn)錯誤，后果就會相當危險。”
“治理”
測假能否跟上造假速度
AI謠言日益增多，而治理體系卻陷入技術方法有限、法律滯后與社會認知撕裂的多重困境。
政策層面，2022年11月，國家網(wǎng)信辦出臺《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》，對深度合成內(nèi)容的用途、標記、使用范圍以及濫用處罰作出了具體規(guī)定。2024年9月，國家網(wǎng)信辦發(fā)布《人工智能生成合成內(nèi)容標識辦法（征求意見稿）》，進一步明確，無論文本、音頻、視頻還是虛擬場景，都必須“在適當位置添加顯著的提示標識”。
但相關規(guī)定在現(xiàn)實執(zhí)行中卻舉步維艱。南方+記者發(fā)現(xiàn)，當前，不少平臺對AI生成信息要么沒有提示，要么字體極小，有的審核機制滯后甚至“先發(fā)后審”，給謠言傳播留下了較大空間。
在技術層面，多個平臺上線AI檢測工具，嘗試用AI打擊AI謠言。如2025年初，騰訊發(fā)布AI檢測工具“朱雀”AI大模型檢測系統(tǒng)，嘗試高效且精準地識別AI生成的文本與圖像內(nèi)容。但對于海量生產(chǎn)的UGC內(nèi)容而言，AI測假的能力還沒能跟上需求。
而令人擔憂的是，隨著AI接受的基礎素材“投喂”越來越多，其生成的信息就會越來越逼真，相應的識別和打擊工作會更難。
清華大學新聞與傳播學院副教授陸洪磊在近期舉行的一場論壇活動中表示，“AI謠言之所以傳播力如此強大，本質(zhì)上還是遵循了這樣的傳播鏈條：語境適宜+主體持續(xù)+情緒投射+治理困境”。
陸洪磊研究發(fā)現(xiàn)，現(xiàn)在生產(chǎn)端有了“工業(yè)化造謠”這樣的新現(xiàn)象，傳播鏈上人們也遭遇到了“情感劫持”，加上AI謠言自我迭代的“進化危機”，三重危機的夾攻之下，傳統(tǒng)辟謠手段在這種新形勢下變得難以招架。AI謠言治理從來都是很難依靠單一力量來完成，它需要聯(lián)動內(nèi)外部建立謠言線索互通機制，和監(jiān)管部門達成緊密的合作。
對此，陸洪磊提出，應對AI謠言帶來的治理困境，需要構(gòu)建一個“四位一體”的防御工事，即將“內(nèi)容治理制度、內(nèi)容審核、辟謠教育、內(nèi)外聯(lián)動”一并納入AI謠言的識別及治理當中。
首先，需要在解構(gòu)AI謠言生產(chǎn)語境方面做一些建設，尤其是內(nèi)容治理的制度性建設，包括搭建全題材謠言的知識庫，對于新發(fā)的虛假謠言內(nèi)容進行前置攔截。
其次，是遏制造謠主體持續(xù)傳播，不斷加強機器識別能力的同時加強人工審核，收嚴對AI生成內(nèi)容的審核力度。
再次，是阻斷謠言情緒傳播過程中，要加強辟謠的教育，提升公眾的“數(shù)字免疫力”。
最后，是構(gòu)筑一個協(xié)同治理的免疫系統(tǒng)。
