今年2月，一位普通股民在雪球論壇看到一張AI問(wèn)答截圖：“某公司已投資AI巨頭DeepSeek，股價(jià)即將暴漲！”

對于在股市中摸爬滾打、渴望抓住每一個(gè)投資機會(huì )的股民來(lái)說(shuō)，這無(wú)疑是一條極具誘惑的消息。他堅信截圖中的內容，并且興奮地跟風(fēng)買(mǎi)入，結果次日發(fā)現該公司辟謠，股價(jià)反而下跌，自己遭受沉重一擊。

這樣的事情并非個(gè)例，從“某公司投資DeepSeek”到“涼山山體滑坡”，AI生成的虛假信息正以病毒式速度擴散，這背后存在一條由黑灰產(chǎn)操控的“AI謠言流水線(xiàn)”。

在股市里，有一種造謠者被稱(chēng)為“黑嘴”。他們發(fā)布虛假信息，引誘投資者上鉤，通過(guò)養粉薦股后的反向操作收割機構或個(gè)人。

現在不少領(lǐng)域的“黑嘴”，就將DeepSeek、豆包等AI工具當做“白手套”。他們利用AI技術(shù)的短板，制造謠言并將其包裝成“權威答案”，再通過(guò)算法反哺形成閉環(huán)，最終收割流量與利益。

第一批用DeepSeek掘金的人，已經(jīng)在這上面栽了跟頭。

AI淪為造謠者的“嘴替”

很多虛假信息的背后，是造謠者在有組織、有計劃地進(jìn)行AI造謠。

此前在DeepSeek、豆包、文心一言、Kimi等AI工具的問(wèn)答中，慈星股份、華勝天成、并行科技、誠邁科技等多家公司都被描述為“DeepSeek的投資者”，但事實(shí)上這些公司都沒(méi)有參與投資。

為什么會(huì )出現與事實(shí)背離的情況？這跟數據投喂有直接關(guān)系。

隱藏在網(wǎng)絡(luò )背后的造謠者，會(huì )利用AI批量生產(chǎn)謠言，比如“慈星股份投資了DeepSeek”等等，堪稱(chēng)流水線(xiàn)上的“謊言印刷機”。而且造謠者的“效率”非常高，有人一天就能制造幾千篇虛假文章，甚至還出現了一天生成19萬(wàn)篇虛假文章的造假軟件。

然后，造謠者會(huì )操控成百上千個(gè)水軍賬號，在多個(gè)線(xiàn)上平臺高頻傳播這些造謠信息。他們的最終目的，是讓AI援引大量的虛假信息，充當自己的嘴替。

所以，很多人就會(huì )看到AI工具援引虛假信源，給出了錯誤答案。本來(lái)有些人對謠言是將信將疑，但看到AI給出的答案后堅信不疑，此時(shí)就落入了造謠者制造的圈套，從而栽了跟頭。有人就因為看到AI回答中有“某某投資品有潛力”等信息，誤以為發(fā)現了財富密碼，結果被割了韭菜。

最可怕的是，造謠者還會(huì )將AI給出的回答，再以截圖形式繼續傳播擴散，以誘導欺騙更多人。所以這些AI謠言并非單次傳播，而是“謠言—AI回答—更多謠言”的循環(huán)。這種自我強化的閉環(huán)，讓謠言像癌細胞般無(wú)限增殖。

據南都大數據研究院不完全統計，2024年搜索熱度較高的50個(gè)國內AI風(fēng)險相關(guān)輿情案例中，超1/5與AI造謠有關(guān)，68%的網(wǎng)民曾因AI生成的“專(zhuān)家解讀”“權威數據”而誤信謠言。

一名受訪(fǎng)者苦笑：“以前不信小道消息，現在連AI都撒謊，我們還能信誰(shuí)？”

AI謠言帶來(lái)的破壞力是巨大的，且不限于資本市場(chǎng)。

前不久，“廣州法院對某汽車(chē)品牌L3級自動(dòng)駕駛追尾事故作出首例判決”的謠言全網(wǎng)傳播，就對該品牌的聲譽(yù)和銷(xiāo)售造成打擊，損害企業(yè)利益。

在發(fā)生公共安全事故時(shí)，有人故意制造AI謠言擾亂視聽(tīng)。這不僅會(huì )干擾救援節奏，還容易引發(fā)民眾恐慌。當造謠者通過(guò)收割流量，社會(huì )付出的代價(jià)其實(shí)是信任的崩塌與秩序的混亂。

AI謠言帶來(lái)的危害還是全球性的，世界經(jīng)濟論壇發(fā)布的《2025年全球風(fēng)險報告》顯示，“錯誤和虛假信息”是2025年全球面臨的五大風(fēng)險之一，AI的濫用是這種風(fēng)險的重要推手。

那么，AI究竟是如何淪為造謠者的“嘴替”呢？

AI如何淪為造謠者的“嘴替”？

雖然AI現在火的發(fā)紫，更新?lián)Q代也非?？?，但是仍然存在不少短板。

其中，較為突出的問(wèn)題就是語(yǔ)料污染與AI幻覺(jué)。

AI大模型的訓練依賴(lài)海量數據，但數據的真實(shí)性卻無(wú)人擔保。中國信通院曾做過(guò)實(shí)驗，當在特定論壇連續發(fā)布百余條虛假信息后，主流AI大模型對對標問(wèn)題的回答置信度，就會(huì )從百分之十幾快速飆升。

前不久，紐約大學(xué)的研究團隊發(fā)表了一項研究，揭示了大語(yǔ)言模型（LLM）在數據訓練中的脆弱性。他們發(fā)現，即使是極少量的虛假信息，只需占訓練數據的0.001%，就能導致整個(gè)模型出現重大錯誤，而這個(gè)過(guò)程的成本極其低廉，僅花費了5美元。

這就像在水庫中注入幾滴毒藥，就能讓水庫里的每一滴水都帶著(zhù)謊言的味道，信息體系都會(huì )被破壞，堪稱(chēng)污染AI的“精神投毒”。

這其實(shí)暴露了AI的致命缺陷：它很難區分“熱門(mén)帖子”和“真實(shí)信息”，只認數據權重。它像一面誠實(shí)的鏡子，但映射的可能是被篡改的世界。

有的AI為了完成邏輯自洽，甚至還會(huì )胡編亂造。

某AI工具就根據“80后死亡率5.2%”的虛假語(yǔ)料，輸出“每20個(gè)80后就有1人死亡”的結論。這種“一本正經(jīng)地胡說(shuō)八道”，源于A(yíng)I大語(yǔ)言模型在編造它認為真實(shí)存在甚至看起來(lái)合理的信息。它追求的是邏輯自洽，而非事實(shí)正確，這也被稱(chēng)為“AI幻覺(jué)”。

看來(lái)在“開(kāi)局一張圖，剩下全靠編”這件事上，AI比人類(lèi)還擅長(cháng)。

技術(shù)是否有罪本身是個(gè)有爭議的話(huà)題，但人性的貪婪一定是AI謠言的罪魁禍首。

傳統造謠需要雇傭寫(xiě)手，而AI將成本壓縮至近乎為零且效率極高，利益極為豐厚。2024年南昌警方查處某MCN機構，其負責人王某某通過(guò)AI工具每日生成虛假文章4000-7000篇，內容涵蓋“某公司暴雷”“某地災情”等，最高峰的時(shí)候每天能生成4000-7000篇，每天收入超1萬(wàn)元。

某黑產(chǎn)從業(yè)者聲稱(chēng)：“用AI造謠就像開(kāi)印鈔機，團隊3個(gè)人一個(gè)月能賺50萬(wàn)?！备S刺的是，他們甚至開(kāi)發(fā)了“謠言KPI系統”：每篇假新聞根據傳播量獎勵造謠者，形成“多勞多得”的激勵機制。

在利益的趨勢和AI的加持下，造謠似乎從“作坊式的小打小鬧”進(jìn)化成“工業(yè)化生產(chǎn)”。

盡管《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規定》要求標注AI內容，但一些AI工具和平臺在這方面仍有所欠缺。有些造謠團伙發(fā)布AI生成的虛假信息時(shí)，某平臺僅彈出“請遵守法律法規”的提示，點(diǎn)擊“確認”后仍可正常發(fā)布。

當越來(lái)越多的人，被卷入這場(chǎng)AI造謠形成的虛假信息漩渦，單純譴責技術(shù)已無(wú)濟于事。唯有技術(shù)防御、平臺責任與法律制裁三管齊下，才能斬斷這條“謊言流水線(xiàn)”。

真相與謠言，如何對決？

首先，數據源引用和AI檢測是必須要重視的。

要減小謠言發(fā)生的概率，AI工具就要嚴格檢測數據的來(lái)源和真實(shí)性。據悉，豆包的數據源主要依賴(lài)自有業(yè)務(wù)數據，占比50%-60%；外采數據占比為15%-20%。由于質(zhì)量不確定性，豆包在投喂合成數據時(shí)較為審慎。

另外，豆包也公開(kāi)強調“不使用任何其他模型數據”，這也是確保數據來(lái)源的獨立性、可靠性、可控性。

用“魔法打敗魔法”，即用AI檢測AI生成的內容，也不失為一種有效的控制謠言的辦法。

國內外已有多個(gè)團隊，正在投入開(kāi)發(fā)AI生成內容檢測技術(shù)。比如，騰訊混元安全團隊朱雀實(shí)驗室研發(fā)了一款AI生成圖片檢測系統，通過(guò)AI模型來(lái)捕捉真實(shí)圖片與AI生圖之間的各類(lèi)差異，最終測試檢出率達95%以上。

國外的Meta創(chuàng )建了一個(gè)系統，可以在A(yíng)I生成的音頻片段中嵌入名為“水印”的隱藏信號，有助于在網(wǎng)絡(luò )上檢測AI生成的內容。

未來(lái)，DeepSeek、豆包、文心一言、Kimi等AI工具，還是要通過(guò)AI技術(shù)比如自然語(yǔ)言處理（NLP）技術(shù)，分析數據的語(yǔ)義、邏輯結構，識別文本中的矛盾、不合理表述，盡量避免數據投喂中涌入虛假信息。

其次，內容平臺作為信息傳播的重要渠道，要擔負起“信息守門(mén)人”的責任。

抖音、微博、快手、小紅書(shū)等平臺，已經(jīng)開(kāi)始強制添加“本內容由AI生成”的水印，轉發(fā)時(shí)保留標識。今日頭條在謠言治理上，著(zhù)重建設了三個(gè)方面的能力，包括謠言庫、權威信源庫以及專(zhuān)業(yè)審核團隊。

另外，咱們用戶(hù)自己也要學(xué)會(huì )辨別虛假信息，加強防范意識。

對于A(yíng)I給出的回答，我們不要全盤(pán)接收，而是要追問(wèn)具體細節，讓AI的回答更具可信度，從而判斷回答是否存在幻覺(jué)?，比如當AI聲稱(chēng)“某股票將暴漲”時(shí)，要進(jìn)一步追問(wèn)“數據來(lái)源有哪些”。

另外，交叉驗證信息也是一個(gè)有效的方法，也就是要通過(guò)多種渠道驗證答案的準確性。此前有“某地地震預警”的AI謠言引發(fā)恐慌，但有網(wǎng)民通過(guò)對比氣象局、地震臺官網(wǎng)數據，迅速識破虛假信息。?

最后，相關(guān)法律也要跟上。

《生成式人工智能服務(wù)管理暫行辦法》已經(jīng)要求數據來(lái)源合法化，并且明確了“不得生成虛假有害信息”的紅線(xiàn)，但是當前法律法規對“AI投喂”的問(wèn)題仍然存在空白，需要進(jìn)一步優(yōu)化。具體而言，法律需要在“投喂者如何打造語(yǔ)料”“語(yǔ)料的真實(shí)性”“投喂的目的”等環(huán)節上，進(jìn)行相關(guān)管制。

結語(yǔ)

對于大眾而言，AI應是“真相守護者”，而非“謊言擴音器”。當技術(shù)淪為貪婪的幫兇，我們需要的不僅是更聰明的AI，而是更清醒的人性。

從語(yǔ)料凈化，到平臺和法律的同步整治，這場(chǎng)“AI打假”必須要打贏(yíng)。AI工具、內容平臺與監管者要合力構建“共治防火墻”，讓謠言困在籠子里。

這樣一來(lái)，AI才能真正成為照亮真相的火炬，而非造謠者的“白手套”。