虛假信息泛濫，Facebook靠什么解決？
JEREMY KAHN
2021-04-09
去年11月的總統選舉以及隨后發生的美國國會大廈沖擊事件，不僅對美國民主是一次大考，也讓社交媒體面臨考驗。Facebook及其競爭對手花費數年時間研發能夠打擊虛假信息、暴力言論和仇恨言論傳播的新技術。從某種程度上說，這些系統能夠過濾掉數以億計的煽動性帖子，確實比以往任何時候做得都好。但這項技術最終失敗了，因為仍有許多類似帖子得以逃脫。
據數據分析公司CrowdTangle稱，大選前幾天，Facebook上到處充斥著普遍存在違規投票行為這一未經證實的說法。最熱門的是時任總統唐納德?特朗普發布的帖子，謊稱內華達州有數千張“假選票”，以及他贏得了佐治亞州。與此同時，選舉前，Facebook上發布的頭條新聞來自極右翼新聞網站，如Breitbart和Newsmax，這些網站大肆渲染貌似有理的選民欺詐指控。這些謊言為國會大廈沖擊事件埋下了伏筆。
沒有哪家公司像Facebook一樣大聲疾呼使用人工智能來管理負面言論。Facebook 的CEO馬克?扎克伯格曾多次表示，正如他在2018年國會作證時所說的，“從長遠來看，構建人工智能工具將是識別和根除大部分負面言論的可擴展方式。”
翻譯：問題如此嚴重，僅憑人類無法監管這項服務
Facebook已斥巨資兌現其提出的以技術為中心的解決方案，而且已取得一定進展。例如，Facebook表示，在其刪除的與恐怖主義有關的所有內容中，其中99.8%在用戶標記前已被人工智能技術識別。圖片和暴力內容識別率是99.5%。仇恨言論識別率是97%。與三年前相比，識別率明顯提高，這主要得益于機器學習的改進。
圖片由布拉迪斯拉夫?米倫科維奇提供
但成功其實很主觀。例如，Facebook已針對裸露內容制定了一系列政策。但該公司的獨立監督委員會（負責接收用戶對Facebook審核政策提出的異議）最近指責Facebook刪除乳腺癌宣傳活動中的露點照片。監管人員希望Facebook能屏蔽那些被用于誘使年輕人誤入歧途的恐怖主義視頻，但不能屏蔽新聞節目中使用的視頻。人工智能對此很難進行區分。
語言的具體涵義也離不開語境。牛津大學（University of Oxford）互聯網學院（Internet Institute）的技術法教授桑德拉?瓦赫特稱，研究表明，人類只能識別60%的嘲諷話語，因此期待人工智能做得更好實在有些牽強。
圣塔克拉拉大學（Santa Clara University）法學教授埃里克?戈德曼對此做出了另一種解釋：“對于內容本身無法呈現的語境問題，人工智能永遠無法解決。”
Facebook并非未做嘗試。Facebook目前正在舉辦一場競賽，鼓勵計算機科學家開發出能夠識別帶有仇恨性質段子的人工智能技術。段子難以識別，因為需要理解圖像和文本，而且往往包含大量文化信息。“我們已經認識到這是一個棘手的問題，這就是我們公布數據集和所面臨挑戰的原因所在，因為我們要讓整個行業能夠有所創新，”Facebook人工智能審核工具產品經理科妮莉亞·卡拉普切亞這樣說道。
虛假信息是最近備受美國人關注的有害內容，對人工智能來說是一大挑戰，因為需要通過外部信息來證實這些說法。目前，仍需要人工進行事實核查。但一旦識別虛假信息，人工智能就可以幫助控制其傳播。Facebook已經開發出了最前沿的人工智能系統，能夠識別與已被揭穿真相的內容基本相同的內容，即使是那些為了避免被識別而進行過剪輯或截圖的內容。該系統現在還可以發現以往可能會避開自動過濾器的類似圖像和同義語言。
在2020年3月1日至大選日期間，人工智能系統幫助Facebook識別了全美超1.8億條惡意內容。如果這標志著人工智能的成功，那么也意味著虛假信息問題已達到一定規模。當所分析的數據隨時間推移不會發生太大變化時，人工智能的識別效果最好。但仇恨言論或虛假信息并非此類數據。因此，惡意信息傳播者與Facebook人工智能系統在玩貓捉老鼠的游戲。
一些人指責Facebook提升了公眾對人工智能的預期。圣塔克拉拉大學的戈德曼表示，“如果夸大這項技術的成效能夠避開進一步監管，那么這恰好符合Facebook自身的利益。”
其他人則認為，根本問題在于：Facebook讓用戶留在自己的平臺上，廣告商可以向他們推銷產品，Facebook就能從中獲利。而有爭議的內容更能提升參與度。也就是說，如果Facebook未能識別有害帖子，該公司的其他算法就會擴大這些帖子的影響力。“商業模式是核心問題，”公民自由非營利組織電子前沿基金會（Electronic Frontier Foundation）的研究員吉利安?約克說道。
在11月大選后幾天里，隨著政治緊張局勢不斷升溫，Facebook確實略微調整了其信息流算法，不再突出傳播虛假內容的信息源，而是突出顯示來自高質量媒體的信息。但幾周后，這一變化就不復存在。
目前，Facebook不再突出顯示其識別為虛假內容的信息，向那些試圖分享已知虛假內容的人發出警告，并通知人們其之前分享的信息后來是否被揭穿真相。該公司表示，多次分享虛假信息的用戶一般不會被取消這項服務，但他們“將會發現其總體帖子推送量減少，而且在一段時間內無法發布廣告或提現”。
Facebook的卡拉普切亞表示，公司正在考慮對其他有害內容采取類似措施。但何時應用人工智能技術，是由我們人類決定的。
卡拉普切亞表示：“當然，最理想的結果是人工智能能夠100%識別有害內容，但這一設想最終可能無法實現。”
人工智能在行動
Facebook人工智能系統在用戶標記前識別和刪除有害內容的成績喜憂參半。
以下為Facebook在無用戶標記時刪除的各類識別內容的比例：
99.8%：恐怖主義內容
97.1%：仇恨言論
92.8%：宣揚自殺和自殘
90%：選舉壓制、謠言和威脅（2018年選舉）
48.8%：網絡欺凌
資料來源：Facebook（2020年第4季度，除非另有說明）
本文發表在《財富》4月/5月刊，標題為《Facebook的復雜清理》（Facebook's complicated cleanup）。
翻譯：郝秀
審校：汪皓
去年11月的總統選舉以及隨后發生的美國國會大廈沖擊事件，不僅對美國民主是一次大考，也讓社交媒體面臨考驗。Facebook及其競爭對手花費數年時間研發能夠打擊虛假信息、暴力言論和仇恨言論傳播的新技術。從某種程度上說，這些系統能夠過濾掉數以億計的煽動性帖子，確實比以往任何時候做得都好。但這項技術最終失敗了，因為仍有許多類似帖子得以逃脫。
據數據分析公司CrowdTangle稱，大選前幾天，Facebook上到處充斥著普遍存在違規投票行為這一未經證實的說法。最熱門的是時任總統唐納德?特朗普發布的帖子，謊稱內華達州有數千張“假選票”，以及他贏得了佐治亞州。與此同時，選舉前，Facebook上發布的頭條新聞來自極右翼新聞網站，如Breitbart和Newsmax，這些網站大肆渲染貌似有理的選民欺詐指控。這些謊言為國會大廈沖擊事件埋下了伏筆。
沒有哪家公司像Facebook一樣大聲疾呼使用人工智能來管理負面言論。Facebook 的CEO馬克?扎克伯格曾多次表示，正如他在2018年國會作證時所說的，“從長遠來看，構建人工智能工具將是識別和根除大部分負面言論的可擴展方式。”
翻譯：問題如此嚴重，僅憑人類無法監管這項服務
Facebook已斥巨資兌現其提出的以技術為中心的解決方案，而且已取得一定進展。例如，Facebook表示，在其刪除的與恐怖主義有關的所有內容中，其中99.8%在用戶標記前已被人工智能技術識別。圖片和暴力內容識別率是99.5%。仇恨言論識別率是97%。與三年前相比，識別率明顯提高，這主要得益于機器學習的改進。
但成功其實很主觀。例如，Facebook已針對裸露內容制定了一系列政策。但該公司的獨立監督委員會（負責接收用戶對Facebook審核政策提出的異議）最近指責Facebook刪除乳腺癌宣傳活動中的露點照片。監管人員希望Facebook能屏蔽那些被用于誘使年輕人誤入歧途的恐怖主義視頻，但不能屏蔽新聞節目中使用的視頻。人工智能對此很難進行區分。
語言的具體涵義也離不開語境。牛津大學（University of Oxford）互聯網學院（Internet Institute）的技術法教授桑德拉?瓦赫特稱，研究表明，人類只能識別60%的嘲諷話語，因此期待人工智能做得更好實在有些牽強。
圣塔克拉拉大學（Santa Clara University）法學教授埃里克?戈德曼對此做出了另一種解釋：“對于內容本身無法呈現的語境問題，人工智能永遠無法解決。”
Facebook并非未做嘗試。Facebook目前正在舉辦一場競賽，鼓勵計算機科學家開發出能夠識別帶有仇恨性質段子的人工智能技術。段子難以識別，因為需要理解圖像和文本，而且往往包含大量文化信息。“我們已經認識到這是一個棘手的問題，這就是我們公布數據集和所面臨挑戰的原因所在，因為我們要讓整個行業能夠有所創新，”Facebook人工智能審核工具產品經理科妮莉亞·卡拉普切亞這樣說道。
虛假信息是最近備受美國人關注的有害內容，對人工智能來說是一大挑戰，因為需要通過外部信息來證實這些說法。目前，仍需要人工進行事實核查。但一旦識別虛假信息，人工智能就可以幫助控制其傳播。Facebook已經開發出了最前沿的人工智能系統，能夠識別與已被揭穿真相的內容基本相同的內容，即使是那些為了避免被識別而進行過剪輯或截圖的內容。該系統現在還可以發現以往可能會避開自動過濾器的類似圖像和同義語言。
在2020年3月1日至大選日期間，人工智能系統幫助Facebook識別了全美超1.8億條惡意內容。如果這標志著人工智能的成功，那么也意味著虛假信息問題已達到一定規模。當所分析的數據隨時間推移不會發生太大變化時，人工智能的識別效果最好。但仇恨言論或虛假信息并非此類數據。因此，惡意信息傳播者與Facebook人工智能系統在玩貓捉老鼠的游戲。
一些人指責Facebook提升了公眾對人工智能的預期。圣塔克拉拉大學的戈德曼表示，“如果夸大這項技術的成效能夠避開進一步監管，那么這恰好符合Facebook自身的利益。”
其他人則認為，根本問題在于：Facebook讓用戶留在自己的平臺上，廣告商可以向他們推銷產品，Facebook就能從中獲利。而有爭議的內容更能提升參與度。也就是說，如果Facebook未能識別有害帖子，該公司的其他算法就會擴大這些帖子的影響力。“商業模式是核心問題，”公民自由非營利組織電子前沿基金會（Electronic Frontier Foundation）的研究員吉利安?約克說道。
在11月大選后幾天里，隨著政治緊張局勢不斷升溫，Facebook確實略微調整了其信息流算法，不再突出傳播虛假內容的信息源，而是突出顯示來自高質量媒體的信息。但幾周后，這一變化就不復存在。
目前，Facebook不再突出顯示其識別為虛假內容的信息，向那些試圖分享已知虛假內容的人發出警告，并通知人們其之前分享的信息后來是否被揭穿真相。該公司表示，多次分享虛假信息的用戶一般不會被取消這項服務，但他們“將會發現其總體帖子推送量減少，而且在一段時間內無法發布廣告或提現”。
Facebook的卡拉普切亞表示，公司正在考慮對其他有害內容采取類似措施。但何時應用人工智能技術，是由我們人類決定的。
卡拉普切亞表示：“當然，最理想的結果是人工智能能夠100%識別有害內容，但這一設想最終可能無法實現。”
人工智能在行動
Facebook人工智能系統在用戶標記前識別和刪除有害內容的成績喜憂參半。
以下為Facebook在無用戶標記時刪除的各類識別內容的比例：
99.8%：恐怖主義內容
97.1%：仇恨言論
92.8%：宣揚自殺和自殘
90%：選舉壓制、謠言和威脅（2018年選舉）
48.8%：網絡欺凌
資料來源：Facebook（2020年第4季度，除非另有說明）
本文發表在《財富》4月/5月刊，標題為《Facebook的復雜清理》（Facebook's complicated cleanup）。
翻譯：郝秀
審校：汪皓
In addition to testing American democracy, November’s election and the subsequent storming of the U.S. Capitol put social media to the test. Facebook and its rivals have spent years creating technology to combat the spread of disinformation, violent rhetoric, and hate speech. By some measure, the systems did better than ever in filtering out hundreds of millions of inflammatory posts. But ultimately the technology failed, allowing many similar posts to slip through.
In the days leading up to the election, unsubstantiated claims of widespread voting irregularities were the most shared content on Facebook, according to data analytics company CrowdTangle. At the top of the list were then-President Donald Trump’s posts falsely claiming there had been thousands of “fake votes” in Nevada and that he had won Georgia. Meanwhile, the top news stories on Facebook preceding the election were from far-right news sites such as Breitbart and Newsmax that played up specious voter fraud claims. Such falsehoods set the stage for the Capitol’s storming.
No company has been as vocal a champion of using artificial intelligence to police content as Facebook. CEO Mark Zuckerberg has repeatedly said, as he did in 2018 congressional testimony, that “over the long term, building A.I. tools is going to be the scalable way to identify and root out most of this harmful content.”
Translation: The problem is so big that humans alone can’t police the service.
Facebook has invested heavily to try to make good on its tech-centric solution. And there is some evidence of progress. For instance, of all the terrorism-related content it removes, Facebook says its A.I. helps find 99.8% of those posts before users flag them. For graphic and violent content, the number is 99.5%. And for hate speech, it’s 97%. That’s significantly better than three years ago, largely because of improvements in machine learning.
But success can be subjective. Facebook has a blanket policy against nudity, for instance. Yet the company’s independent Oversight Board, a sort of appeals court for users unhappy with Facebook’s moderating decisions, recently faulted it for blocking images in breast cancer awareness campaigns. Regulators want Facebook to block terrorist videos that are being used to radicalize young recruits, but not block those same videos when used on news programs. It’s a distinction A.I. struggles to make.
The meaning of language depends on context too. Studies show humans can identify sarcasm only about 60% of the time, so expecting A.I. to do better is a stretch, says Sandra Wachter, a tech law professor at the University of Oxford’s Internet Institute.
Eric Goldman, a Santa Clara University law professor, puts it another way: “One problem A.I. can never fix is the problem of context that doesn’t come from within the four corners of the content itself.”
Not that Facebook isn’t trying. It’s currently running a competition encouraging computer scientists to develop A.I. capable of detecting hateful memes. Memes are difficult because they require understanding of both images and text, and often a large amount of cultural information. “We recognize it is a tricky problem, which is why we published the data set and challenge, because we need to see innovation across the industry,” says Cornelia Carapcea, a product manager who works on Facebook’s A.I. moderating tools.
Misinformation—the harmful content that has most preoccupied Americans lately—is a challenge for A.I. because outside information is required to verify claims. For now, that requires human fact-checkers. But once misinformation is identified, A.I. can help check its spread. Facebook has developed cutting-edge A.I. systems that identify when content is essentially identical to something that’s already been debunked, even if it has been cropped or screenshotted in an attempt to evade detection. It can also now spot similar images and synonymous language, which in the past may have eluded automated filters.
These systems helped Facebook slap warnings on over 180 million pieces of content in the U.S. between March 1, 2020, and Election Day. If that’s a sign of A.I.’s success, it is also an indication of the problem’s scale. A.I. works best when the data it’s analyzing changes little over time. That’s not the case for hate speech or disinformation. What results is a cat-and-mouse game between those disseminating malicious content and Facebook’s systems.
Some blame Facebook for raising public expectations of what A.I. can achieve. “It is in their self-interest to overstate the efficiency of the technology if it will deflect further regulation,” Santa Clara University’s Goldman says.
It is in their self-interest to overstate the efficiency of the technology if it will deflect further regulation.
ERIC GOLDMAN, SANTA CLARA UNIVERSITY
Others say the problem is more fundamental: Facebook makes money by keeping users on its platform so advertisers can market to them. And controversial content drives higher engagement. That means if harmful posts slip through Facebook’s dragnet, the company’s other algorithms will amplify them. “The business model is the core problem,” says Jillian York, a researcher at civil liberties nonprofit the Electronic Frontier Foundation.
In the days after the November election, with political tensions at a fever pitch, Facebook did tweak its News Feed algorithm to de-emphasize sources that were spreading misinformation and to boost news from higher-quality media outlets. But it rolled back the change weeks later.
Currently Facebook reduces the prominence of content it identifies as misinformation, shows warnings to those trying to share known misinformation, and notifies people if a story they have previously shared is later debunked. Users who repeatedly share misinformation are only rarely kicked off the service, but they “will see their overall distribution reduced and will lose the ability to advertise or monetize within a given time period,” the company says.
Facebook’s Carapcea says the company is considering similar measures for other harmful content. But humans will continue to play a big role in deciding when to apply them.
Says Carapcea: “Getting to 100% is a good North Star, but it may not ultimately be what happens here.”?
A.I. in action
Facebook’s A.I. has had a mixed track record with helping identify and remove harmful content before users flag it.
The following shows how much of the content in various categories Facebook removes that it finds without user input:
99.8%: Terrorism content
97.1%: Hate speech
92.8%: Glorification of suicide and self-harm
90%: Election suppression, misinformation, and threats (2018 election)
48.8%: Online bullying
Source: Facebook (Q4 2020, unless otherwise noted)
This article appears in the April/May issue of Fortune with the headline, "Facebook's complicated cleanup."
