近日,馬上消費與重慶師范大學共建的智慧金融與大數據分析重點實驗室(以下簡稱“實驗室”)取得了階段性重大成果,開展的“偽造人臉的攻擊與防御研究”課題在日前正式結題,并在由慕尼黑工業大學以及谷歌聯合舉辦的FF++換臉檢測挑戰賽中,取得優異成績。
據悉,該防御方法已在馬上消費的測試集上進行測試,結果顯示召回率達99.9%、精確率達99.2%,遠遠超過結題標準。這標志著馬上消費已經具備強大的人臉偽造防御能力。
校企合作是近年來培養創新型復合人才、專注科技研究、加強技術實踐等重要窗口。以科技驅動的馬上消費持續加強與優質學校的合作,目前已經共建了十大實驗室。
某種程度上來說,不少科技創新歸根結底是數學的創新,而數學被譽為“自然科學上的皇冠”。重慶師范大學作為中國最早創辦的高等師范院校之一,曾獲得多個自然科學重磅獎項,且牽頭獲首批國家級科技創新平臺“國家應用數學中心”,對于推動大數據智能化戰略發展具有十分重要的意義。
依托于雙方優勢,馬上消費和重慶師范大學組建了跨領域、跨學科的合作科研團隊,在科技創新、人才培養、成果轉化等多領域展開深入合作,進一步提升了協同創新能力,共同打造校企合作的樣板。
近幾年,人臉面部特征逐漸成為身份核驗的重要信任憑證,但安全性問題也隨之而來,特別是以Deepfakes為代表的換臉技術嚴重侵犯了人們的隱私。由于金融場景的特殊性,更是可能對人們的財產安全造成損失,雖然人臉活體系統能過濾掉大部分人臉面具、照片、頭模等,但還存在很多被攻擊的可能。
基于此,該實驗室深度研究了近年來最前沿的換臉技術,復現了一套Deepfakes換臉方法,并有針對性的研究了一系列防御方法,用科技解決“卡脖子”問題。
面對人臉偽造手法的多樣性,實驗室利用集成方法并結合現有的深度學習網絡(強學習器)高效解決了數據集中存在的主要問題,首次應用了混合專家模式(Mixture of experts )作為集成策略,解決了多種偽造手法的問題以及高偽造質量且低清晰度的困難樣本探測問題。
另外,不同的偽造手段對應的偽造痕跡也不同。實驗室把人臉身份的換臉如Deepfakes和FaceSwap以及人臉表情的偽造如Face2Face和NerualTexture進行有針對性的使用不同的模型進行防御;依據專家模型之間針對偽造照片探測的強負相關性,還提出了輕量的線性結合方式,采用混合專家模型進行集成學習,并通過數學建模找到了最優閾值。
除了“偽造人臉的攻擊與防御研究”之外,實驗室在人臉領域還開展了基于生成對抗網絡的身份證去網紋應用、基于RGB-D結構光傳感器的人臉活體檢測方法、人臉的對抗攻擊研究3項應用研究的橫向課題,為行業發展帶去新生力量。