國家已起草相關征求意見稿規(guī)制AI深度合成騙術(shù) 業(yè)內(nèi)專家建議聯(lián)合科技企業(yè)加強技術(shù)防御（副題）

文/廣州日報全媒體記者 武威

在科技高速發(fā)展的今天，一些不法分子開始利用各種AI深度合成技術(shù)實施違法行為。日前在廣東，一位女性聲稱自己的聲音被AI軟件進行了合成，之后有人就利用她的聲音向其好友發(fā)布語音留言借錢，朋友誤以為是該女性本人于是進行轉(zhuǎn)賬，導致2萬元損失；前不久在福州，一位男性則是被一位AI換臉后的“好友”通過視頻方式騙走430萬元……目前，這些利用AI技術(shù)的深度合成騙術(shù)還有哪些類型？大眾應當如何防范？記者對此進行了調(diào)查，并采訪了一些人工智能方面的專家。

(相關資料圖)

AI換臉、AI變聲、AI假新聞……深度合成騙術(shù)引發(fā)關注

“律師界最近都十分關注這起10分鐘詐騙430萬元的案件，福州的郭先生遇上‘高端’騙局，對方通過AI換臉技術(shù)佯裝成其好友對他實施詐騙。目前，利用AI技術(shù)進行詐騙的案例屬于新型的信息網(wǎng)絡犯罪案件，隨著AI深度合成技術(shù)不斷成熟，類似的詐騙手法恐怕還會出現(xiàn)，需要公眾引起足夠大的重視。”廣東勝倫律師事務所的劉鎮(zhèn)東律師介紹。

劉鎮(zhèn)東介紹了廣東發(fā)生的另一起案件：某男性嫌疑人通過合成軟件，將自己的聲音變成年輕女性的聲音，之后他在某婚戀平臺上交友，導致多位男性上當受騙，向該嫌疑人贈送了價值不菲的禮物。最后該男子也因涉嫌詐騙罪被處罰。

琶洲實驗室智慧城市關鍵技術(shù)研究與應用團隊負責人許勇教授告訴記者，如今除了聲音和人臉合成，另一項深度合成技術(shù)的濫用也值得警惕，就是信息操縱。“AI可以用于生成假新聞、虛假信息，進而被用來操縱社交媒體輿論。”

記者發(fā)現(xiàn)，AI假新聞現(xiàn)象時有發(fā)生：今年2月中旬，網(wǎng)上曾流傳出一則 “某市政府3月1日取消機動車依尾號限行”的消息，經(jīng)警方調(diào)查后發(fā)現(xiàn)，這竟是當?shù)啬承^(qū)業(yè)主隨手用AI大語言模型生成的假新聞；5月16日凌晨，某市一雞排店門前，楊某、劉某、耿某與鄰桌李某發(fā)生口角爭執(zhí)，雙方使用啤酒瓶、塑料啤酒框等斗毆，均受輕傷。視頻流傳到網(wǎng)絡后迅速引發(fā)關注，但一位男子陳某看到后，利用AI大語言模型生成并發(fā)布“某雞排店驚現(xiàn)血案，男子用磚頭砸死女子”的不實信息。經(jīng)查，公安機關認定陳某惡意夸大、編造信息以博取流量，已依法對其采取刑事強制措施。

人工智能專家：多觀察臉部不自然變化 低分辨率視頻要警惕

近日，兩位人工智能方面的專家向記者介紹深度合成技術(shù)的原理。

許勇說：“首先依靠人臉檢測算法提取出人臉區(qū)域，然后用人臉關鍵點定位技術(shù)確定五官等關鍵部位的位置，提取人臉特征、面部表情和動作信息等關鍵信息，最后將提取出的特征遷移、融合到目標位置，就能實現(xiàn)如今我們看到的AI換臉。”

暨南大學信息科學技術(shù)學院碩士生導師林舒源則介紹：“早期移植人臉局部特征的換臉方式存在明顯的拼接痕跡，但近年隨著生成式對抗網(wǎng)絡和擴散模型的快速發(fā)展，其合成的人臉效果幾乎到了以假亂真的程度。目前市面上的AI換臉軟件大都基于深度學習模型/開源框架和大規(guī)模的訓練數(shù)據(jù)集，來提供逼真和可信的換臉效果。當然，也有一些軟件直接調(diào)用第三方公司開放的API接口來實現(xiàn)換臉。從最近的詐騙案件可以看出，當前的AI換臉技術(shù)已經(jīng)足夠生成逼真的假象來欺騙受害者。”

林舒源表示，盡管未來鑒別AI換臉和真人之間的區(qū)別會變得越來越困難，但仍有可能通過分析和觀察來發(fā)現(xiàn)一些兩者間的差異。“我們要觀察眼睛、嘴巴、耳朵等區(qū)域的細微特征（如光照、紋理等），那些不自然的變化可能就是AI生成的；如果視頻中的人臉與周圍環(huán)境不協(xié)調(diào)，遮擋臉部后視頻產(chǎn)生扭曲，則可能是AI換臉的結(jié)果。此外，如果人臉的動作、表情和語音不匹配或不自然，也可能是AI生成的。”

許勇認為：“AI換臉之后，人的表情會沒那么自然，我們可以觀察‘人臉部分’與‘身體部分’相比有沒有更加模糊或者更加清晰；也可以觀察臉的邊緣是否存在瑕疵，比如觀察人物的嘴唇動作與聲音是否同步、某些區(qū)域是否存在異常閃爍與形變等。另外，我們要對低分辨率的視頻保持額外的警惕。因為低分辨率視頻缺乏細節(jié)，所以更容易以假亂真。此外，我們可以多關注權(quán)威機構(gòu)和專家的建議。”

律師：AI深度合成需取得當事人“單獨同意”

劉鎮(zhèn)東律師告訴記者，無論是AI變臉還是AI變聲詐騙，當事人在報案時都會存在一個重要的難點，就是他們要去證實當時要求朋友轉(zhuǎn)賬的并不是他本人，這方面，收集、固定證據(jù)會比較難。“當事人要向司法機關證明自身的生物信息是被別人竊取的，同時證明這些生物信息被他人通過AI深度合成，實施了刑法上所稱的虛構(gòu)事實、隱瞞真相的欺騙行為，從而導致財產(chǎn)受損。”

劉鎮(zhèn)東認為，應進一步加強對信息網(wǎng)絡平臺運營方的監(jiān)管，“一些平臺對個人生物信息的錄入過于寬松，導致生物信息很容易被竊取；另外，對于相關深度合成技術(shù)的監(jiān)控管理目前也較為寬松。”

劉鎮(zhèn)東介紹，AI換臉軟件的使用存在違法、違規(guī)的可能。“民法典第1019條就明確規(guī)定，任何組織或者個人都不得以丑化、污損或者利用信息技術(shù)手段偽造等方式侵害他人的肖像權(quán)；去年12月，國家網(wǎng)信辦、工信部、公安部聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》明確，深度合成服務提供者和技術(shù)支持者提供人臉、人聲等生物識別信息編輯功能的，應當提示深度合成服務使用者，要依法告知被編輯的個人，并取得其單獨同意。”

今年4月，國家網(wǎng)信辦起草了《生成式人工智能服務管理辦法（征求意見稿）》，向社會公開征求意見。劉鎮(zhèn)東認為，該意見稿定稿發(fā)布后，深度合成技術(shù)將會受到進一步規(guī)制。

如何應對AI詐騙？

企業(yè)開發(fā)先進反制技術(shù) 市民提高警惕、及時固定證據(jù)

作為普通人，我們該如何應對深度合成騙術(shù)？

許勇建議，相關部門可以加強對群眾的宣傳教育，讓群眾了解深度合成技術(shù)的原理，從而提高對換臉詐騙的認識和警惕性，“此外，可以建立有效的監(jiān)測和舉報機制，設計更加便捷的舉報途徑，對舉報信息進行及時的調(diào)查和處理，保護舉報人的權(quán)益，鼓勵群眾積極參與舉報AI換臉詐騙行為。而要應對深度合成的假新聞，我們既需要提高公眾對信息真實性的判斷能力，也要開發(fā)自動檢測和過濾假新聞的算法與工具。”

林舒源同樣認為技術(shù)防御可行：“我們應聯(lián)合各大科技公司開發(fā)出更加先進的人工智能技術(shù)，包括面部識別、圖像反欺騙等技術(shù)工具對這些騙術(shù)進行反制；同時，還應建立多重驗證機制，確保用戶的信息不會被盜取或泄露。”他表示，加強公眾教育同樣重要，科普宣傳必須保持不斷更新以適應變化。“不但要持續(xù)總結(jié)過去的成功經(jīng)驗，還要不斷學習防詐新技術(shù)，總結(jié)詐騙新套路，并推廣到社區(qū)、學校、線上線下等各個領域。”

對個體而言，林舒源認為提高防范意識是減少受騙的關鍵。

首先是重視個人隱私保護。“市民應謹慎地處理個人敏感信息，不隨便在互聯(lián)網(wǎng)上留下個人信息，尤其是面部數(shù)據(jù)；還要學會辨別虛假新聞和圖片，不輕信未經(jīng)證實的信息。如果發(fā)現(xiàn)虛假信息或被盜用后的個人隱私，應及時舉報和處理，避免遭受更大損失。”

其次是提高警惕性。“在網(wǎng)絡時代，即使是與我們非常熟悉的人也可能存在身份被盜或者冒充的情況。因此，一旦出現(xiàn)任何可疑的情況或者讓人感到不安的交流內(nèi)容，應該高度警惕，多加甄別和多重驗證，包括撥打第三方電話、面對面交流等多途徑核驗對方身份。”

第三是加強網(wǎng)絡安全意識。“我們需要加強自身網(wǎng)絡安全意識，確保各類賬號安全，不隨意泄露個人信息、身份證號碼、銀行卡信息和驗證碼等。同時，避免在不可信的網(wǎng)絡平臺上下載未知來源的應用程序，不打開來路不明的郵件附件，以免被惡意軟件感染等。”

劉鎮(zhèn)東律師也提醒，市民若不慎被這類AI合成技術(shù)所騙，或遇到一些可疑情形把握不準的，一定要注意采取錄屏、錄音等方式固定證據(jù)，并及時撥打110。

來源：廣州日報

標簽：