人工智能（AI）算法對Facebook較為成熟的內容安全系統(tǒng)貢獻巨大，然而隨著Facebook業(yè)務的擴張，不斷進步的AI也不免尷尬 – Facebook開放的直播功能，被謀殺、自殺等暴力視頻困擾，而AI未能幫助Facebook及時阻止這些視頻，這將Facebook推到風口浪尖。這家擁有無數AI大神、貢獻大量開源工具及優(yōu)質論文的互聯網巨頭，不得不宣布招募3000多名內容審核人員，用最傳統(tǒng)的辦法對抗這類暴力視頻。

AI技術在暴力視頻面前究竟能發(fā)揮多大的用處？Facebook針對AI失效的狀況啟動了哪些應對措施？對抗暴力視頻，真的只能靠人海戰(zhàn)術嗎？

時間退回到美國東部時間4月16日（周日），從美國男子史蒂芬·史蒂芬斯（Steve Stephens）上傳一段57秒他拍攝的自己殺人視頻到Facebook上，到Facebook接到舉報并關閉他的Facebook主頁，這個視頻在他的Facebook主頁上停留了2個多小時。如此長的一段時間，足以讓成千上萬的Facebook用戶觀看和分享這段殺人視頻，讓第三方網站將視頻下載并重新上傳到自己的服務器。由此，以Facebook為代表的社交媒體公司面臨一個重大難題：如何才能讓這些令人毛骨悚然的內容遠離網站？應該如何刪除這些有害的內容？這起謀殺案還提醒我們，一旦這類東西被傳上網和分享出去，它們將很難被從網絡中完全刪除。那么，企業(yè)應該為預防這些內容出現付出多少？

防止視頻被人看到的最好辦法，是讓它永無上傳之地。Facebook可以采取這樣的措施：堅持讓某人（或某物）先審查用戶嘗試發(fā)布的每個視頻，并且只允許通過審核的視頻能夠被上傳。然而，如果用戶想要發(fā)布一個關于吸塵器上的貓的視頻，也不得不等待Facebook的批準，他很可能就會在其他網站上發(fā)布這個視頻。這等于放棄一大批渴望立即、輕松分享生活的用戶，這是Facebook難以承受的。

另外一個建議是，Facebook在令人反感的視頻被發(fā)布后立即將其刪除，但問題是這不具備可操作性- 算法自動刪除這類視頻的技術還不成熟，而雇傭足夠的員工手動執(zhí)行也不切實際。如果Facebook允許算法刪除視頻，出錯將是不可避免的。退一萬步說，即便Facebook的服務條款把這項權力給算法，Facebook也將被指控。那會有一個令人沮喪的結果，因為沒有人會接受算法錯誤地刪除他們的視頻的可能性。這也是Facebook不能承受的。

因此，Facebook現在采用多管齊下的應對方式。前端是用戶，Facebook依賴觀看視頻的用戶標記出像斯蒂芬斯上傳那樣的暴力視頻。用戶的背后是人工智能算法，它可以找出與已知兒童色情相關的ID的視頻。當視頻被標記后，它們被發(fā)送給Facebook的內容審核人員，他們的工作是觀看這些視頻并確定是否應該刪除。這個系統(tǒng)是不完美的，但是現在人類審核人員比AI更為聰明。

然而，最終，AI將能夠有效地標記史蒂芬斯上傳的那類視頻，屆時，AI將可協助人類，增強人類的技能。Facebook的AI研究院主管Yann LeCun表示：“坦率地說，我相信這是一項可以完成的任務，如果有足夠的追蹤數據?！彪m然LeCun拒絕回答如何應對這類特定視頻的問題，但他表示AI很快就能做到更多。毫無疑問Facebook將能夠使用AI來實時監(jiān)控視頻并標記謀殺視頻，問題是什么時候實現。

理想狀態(tài)下，Facebook如此處理斯蒂芬斯的視頻：當他第一次上傳自稱打算殺人的視頻時，AI賦能的軟件會立即“觀看”該視頻，并將其標記為高優(yōu)先級。這個標記會提醒Facebook人工審核團隊，看到直接和可怕的威脅，刪除視頻，關閉斯蒂芬斯的帳戶，并通報當局。

這并未發(fā)生。根據Facebook全球業(yè)務副總裁Justin Osofsky的聲明，根本沒有人標記第一個預告殺人的視頻，而第二個謀殺視頻在斯蒂芬斯上傳超過一個半小時之后才被標記。Osofsky還表示，從該視頻用戶標記出來，Facebook審核人員花了23分鐘就把它拿下。

但問題仍然是當前的工作流程。AI還不夠聰明，無法識別第一個視頻中的危險因素，甚至第二個視頻顯示的謀殺案。AI需要處理斯蒂芬斯的語言，解析其言論和語調，以區(qū)別于玩笑或表演，并認真對待威脅。“有這方面的技術，但不清楚它們整合深度學習框架并能高效運行。而且由于缺乏常識，系統(tǒng)還犯一些愚蠢的錯誤，”LeCun說，“所有人和動物都在都學習常識，但機器現在還搞不懂?！?/p>

Facebook知道他們需要AI學習這些，他們在這方面投入巨資，并已在計算機視覺更適合的領域- 即兒童色情、裸露和版權侵犯，采用算法來幫助他們標記可疑的內容。Facebook CEO馬克·扎克伯格（Mark Zuckerberg）表示，現在Facebook上有一半的標記來自AI而不是人，Facebook正在開發(fā)新技術，增加社區(qū)的能力。

但扎克伯格也意識到，審核人員現在必須繼續(xù)與AI合作，斯蒂芬斯上傳的視頻就是一個很好的警示。扎克伯格在舊金山F8開發(fā)者大會上直接提到了這一爭議。“我們還有更多的事要做。我們被克利夫蘭的悲劇提醒了這一點，”他告訴參會者，“我們有很多的工作，我們將繼續(xù)竭盡全力防止這樣的悲劇發(fā)生?！?/p>

訓練一臺電腦識別此類暴力比要求它發(fā)現一個赤裸裸的身體要困難得多。這很像假消息的鑒別：它需要對上下文暗示和格式的復雜理解。

由于訓練能夠簡化流程的神經網絡尚需時日，Facebook需要立即對其審核流程進行調整，否則公司在近期與暴力視頻的對抗中仍將被動。Osofsky在斯蒂芬斯事件后發(fā)表聲明說：

由于這一可怕的系列事件，我們正在審查我們的舉報流程，以確保人們能夠盡可能容易地、快速地舉報違反我們標準的視頻或其他內容。

這意味著更容易地標記高優(yōu)先級的內容，增加更多的審核人力，和更快的工作節(jié)奏。而這些人的審核人員將不得不繼續(xù)訓練AI，這本身就需要很長時間。訓練AI有效識別令人反感的內容，需要大量的樣本來學習。所以Facebook首先需要給機器提供足夠的打標簽的數據，而這需要很多審核人員觀看無數次的暴力畫面和威脅語言，這個艱巨的工作也需要時間。事實上，扎克伯格已經宣布計劃明年雇傭超過3000人來審核和刪除Facebook上包含殺人、自殺以及其他暴力行為在內的內容。并且Facebook設立了黑名單，4500個違反Facebook反暴力規(guī)則的用戶，將不能進入這個招聘流程。

當考慮到Facebook Live時，挑戰(zhàn)會更大。直播視頻很難控制，這就是為什么有些人要求Facebook徹底放棄其Live功能。但這不現實，該公司去年推出此功能的本意就是與其他直播服務競爭。此外，這項服務已經具有對抗暴力事件的另一面。去年，在美國警方槍殺黑人菲蘭多·卡斯蒂利亞（Philando CasTIle）之后，后者的女朋友用Facebook Live來捕捉射殺的后果，本質上是使用流媒體服務作為發(fā)送全球SOS的一種方式。

利哈伊大學新聞與傳播助理教授杰里米·萊托（Jeremy Littau）表示，不管出于好的或是不好的原因，即時視頻和直播視頻已被廣泛接受。

Facebook必須與這個現實競爭。

除了放棄Live之外，Facebook可以像對待其他功能如廣播網絡一樣對待Live，堅持所有視頻都要延遲。然而由于上述原因，除非有人或某些東西來監(jiān)控每個視頻，否則這種延遲將不會有太大的用處，而這目前還不可能。

Facebook可以做的一件事是使得從Facebook下載視頻變得更加困難，類似于Instagram（已被Facebook收購）的機制。這能阻止第三方網站抓取并重新分發(fā)像斯蒂芬斯4月16日上傳的視頻。這樣一個小小的調整，不會影響Facebook成為網友首選的上傳視頻平臺，但可以防止視頻被上傳到其他地方，并成為互聯網上永遠難以消除的記憶。

社交媒體公司和用戶在收獲視頻尤其是直播功能帶來愉悅的同時，也面臨不守規(guī)則的用戶濫用平臺功能傳播暴力內容的嚴重威脅。由于問題的復雜性，以及缺乏足夠的樣本數據，目前先進的人工智能技術水平也還不能很好地幫助社交平臺自動發(fā)現和移除暴力內容，Facebook除了優(yōu)化舉報流程，限制視頻內容的二次分發(fā)，必須采用人肉的方式對抗這種威脅。這也意味著數目龐大的運營成本。毫無疑問企業(yè)未來需要訓練人工智能算法來配合審核團隊更高效地完成這項工作，Facebook正在為此努力。人工智能確實具有這樣的潛力，然而沒有人能預測這會發(fā)生在什么時間。為了讓這一天早日來臨，人工審核團隊還需要盡快喂給機器足夠多的標記數據。