讓 facebook 束手無策的 " 兒童色情攻擊 ",最近成瞭眾多中國傢長的噩夢。
表面上是兒童動畫片,但伴隨著輕快的音樂,畫面突然就出現瞭裸露的卡通人物,隨著劇情發展,卡通人物開始被灌腸、虐待,成人看瞭都會不適。但這些血腥、色情的內容,都被隱含在小豬佩奇、艾沙公主、蜘蛛俠等經典兒童影視作品中。
1 月 18 日,有微博網友舉報,這些經過 " 二次改編 " 的不良視頻已在騰訊、愛奇藝等頭部視頻網站上傳播已久。隻要搜索 " 艾沙 "、" 蜘蛛俠 "、" 小豬佩奇 " 等關鍵字,相關視頻就會處於搜索列表的頂部。
不僅是騰訊、愛奇藝,這些視頻幾乎 " 入侵瞭 " 所有帶視頻功能的網站。快手對《財經》記者表示,該公司也發現瞭少量相關視頻,目前已采取瞭屏蔽關鍵詞等措施。
事件的嚴重性引起瞭相關部門重視,1 月 22 日上午,北京市行政市場執法總隊發佈瞭關於查禁 " 兒童邪典視頻 " 工作的緊急通知,要求包括視頻、搜索引擎及遊戲在內的機構立刻將其下架,並不得傳播、利用。
內容審核一直是視頻網站的難題。去年年初,類似事件曾讓 facebook 束手無策。Facebook 旗下視頻網站 YouTube,突然湧現瞭大量兒童不宜的動畫。其中以迪士尼動畫片《冰雪奇緣》裡艾莎公主的改編視頻傳播最廣。視頻中,艾莎接受瞭各種開喉嚨、開顱手術,畫面血腥,已被瀏覽瞭上百萬次。
時隔一年,這波 " 襲擊 " 到瞭中國。1 月 23 日晚,微博在聲明中稱,經過技術偵測,發現存在大規模惡意有組織的上傳行為。而上傳這些內容的賬號都是 UGC 用戶(原創用戶),部分賬號的訂閱超過數萬,按照這個規模,觀看過的兒童不在少數。這些賬號不僅從外網搬運,有些甚至還上傳瞭本土制造的不良動畫視頻。
1 月 22 日,全國 " 掃黃打非 " 辦公室部署廣東省 " 掃黃打非 " 辦公室對涉嫌制作傳播兒童色情視頻的廣州胤鈞貿易有限公司制作傳播涉兒童有害視頻一案依法進行調查。執法部門已要求該公司將其所有相關視頻下線,並依法查封兩處生產經營場所,扣押用於生產經營的專用工具和設備,責令當事人停止生產經營活動。
由於不良視頻的總量大,分佈廣,密集上線,變種類型多,騰訊視頻已緊急組建瞭 100 人的清理小組,進行 24 小時排查。
截止目前,騰訊下架涉兒童邪典原視頻 1464 條,對 23 萬存疑視頻作批量下架,對 53 萬餘條視頻作撤回復審;封禁惡意賬號 621 個。而微博則稱已永久封停上傳帳號 87 個,禁止有害上傳及屏蔽搜索關鍵詞 4755 個。
多數接受《財經》記者采訪的視頻網站都表示,事件對目前視頻平臺 UGC 的審核方法、技術手段都提出瞭新的挑戰。
這些視頻大都出現在幾個月、甚至半年前,但並沒有被察覺。一位業內人士分析說,視頻大都被歸入瞭親子、少兒、動漫分類,至多被標上 " 惡搞 " 標簽。
據瞭解,大部分視頻網站都采取先機器識別、視頻抽幀再人工復核的審核流程。一位圖像識別專業人士對《財經》記者表示,人工智能可以對一些確定的角色和劇情進行識別,比如人物是否穿衣等,這種情況下,識別率能達 90%。
" 但小豬佩奇的情況要復雜得多," 人工智能專傢劉鋒對《財經》解釋," 這些內容和劇情不完全跟色情有關,有些甚至涉及到不健康的世界觀,都比簡單的識別色情更難。" 更重要的是,在以往的數據庫中,類似小豬佩奇、艾莎公主這樣的內容從未被認為是恐怖、色情,因而由於缺乏模型訓練,人工智能無從識別。
此外,場景識別是另一個難點。" 這些視頻裡有人穿著蜘蛛俠服裝,很容易跟 cosplay 混淆。" 另一位專業人士對《財經》表示。
因此,這些視頻很可能在機器識別階段就逃過瞭審核。要杜絕此類事件的發生,目前難有萬全之策,依然要靠大量的人力投入。
去年 " 艾沙門 " 發生後,facebook 曾在已有的 4500 名視頻審核員的基礎上,又緊急額外雇傭瞭 3000 名。歷時半年,至 2017 年 11 月才逐漸平息那場兒童色情暴力視頻風波,刪除的視頻超過 15 萬個。
一位行業人士對《財經》表示,在國內,人工核查部分大部分公司都采取外包的形式,優先審查被舉報的視頻。但現在看來,視頻網站需要更多元的手段和處理方式,包括加強對 UGC 上傳者的資質認證。
此外,視頻網站的另一個挑戰是,視頻內容審核應該配合人工智能,不斷豐富知識庫,提升圖像識別能力的同時,人工細化視頻判定等級。比如對 " 不裸露但模擬性交 " 的情況進行人工標註。
( 編輯 陳海靜 )