AI大模型刺激兒童色情業發展
Ben Weiss, Alexandra Sternlicht
2024-01-14
在Chub AI的網站上，用戶可以與AI機器人聊天，在這里人們能夠盡情發揮想象力。用戶每月只需要支付5美元，就可以被一只“慵懶、肥胖的哥特式”擬人化的貓挑逗，或者與“在卡車停車場咖啡廳工作的假小子女朋友”調情。他們甚至能夠去妓院，里面都是不到15歲的少女。
這家妓院用女孩的圖片進行宣傳，她們穿著吊帶連衣裙，戴著發卡，它承諾為人們創造一個“沒有女權主義的世界”，在這里“女孩們提供性服務”。Chub AI提供500多種類似場景，還有越來越多的其他網站支持類似的由AI驅動的兒童色情角色扮演。它們都屬于無限制AI經濟的一部分。《財富》雜志通過采訪18名AI開發者和創始人發現，OpenAI刺激了AI經濟的發展，而Meta發布Llama開源工具則加快了其發展速度。
上文所述的違法情景以文本的形式展開，但聊天內容匹配AI創作的兒童圖片只是時間問題，而且這類圖片早已開始廣泛傳播。專家們警告，盡管有人認為AI兒童色情為戀童癖們提供了一個不會造成太大傷害的出口，但這類活動可能給青少年帶來真實的危險。從更廣泛的角度而言，這種狀況提出了一些難題，即幻想和犯罪之間的法律和道德界限在哪里？以及科技公司是否應該為無限制AI生成的內容負責？
從Character.AI到Character Hub
2022年9月，一個名為Character.AI的網站上線，該網站支持用戶與AI版本的埃隆·馬斯克、拿破侖·波拿巴和蘇格拉底等名人對話。據媒體報道，該公司進行了多輪融資，估值高達50億美元。公司很快開始打擊色情話題聊天。Chub AI的創始人洛爾對《財富》雜志表示，Character.AI的政策不允許“某些操作”，這促使他決定創建自己的網站。
Chub是Character Hub的縮寫，基本上相當于Character.AI的無限制克隆版。用戶可以閱讀一系列由用戶創作的人物卡，其中包括圖片和角色扮演情景的簡短說明。圖片通常是動畫風格，例如一名扎著馬尾辮、穿著病號服的13歲動漫少女奧利維亞，或者“笨拙的姐姐”、衣著暴露的玲子，她“總是會與弟弟發生一些意外性接觸”。這些聊天不生成圖片，只有文字。
Chub在3月發布，其服務僅限于一個平臺，用戶能夠在這個平臺上上傳AI情景和使用其他人上傳的情景。Chub在發布幾個月后并沒有太多收入。但7月，該公司發布了使用Meta的最新大語言模型Llama 2開發的聊天服務。Llama 2類似于OpenAI的GPT模型，可以利用海量文本數據生成人性化的回答。Chub的新聊天機器人每個月最低收費5美元，其創始人表示，現在該網站的年化收入超過100萬美元。
洛爾告訴《財富》雜志：“Character.AI充分展示了這個領域的潛力。而開源模型Llama發布之后，它變成了一個類似于淘金熱的情景。”
雖然Chub上有成千上萬個角色，但最受歡迎的情景卻是基于文本的兒童色情內容。其創始人稱，他不會審查用戶為進行角色扮演提交的提示，但他表示會“嚴格”審查用于宣傳各種機器人的圖片。《財富》雜志發現，這些卡通圖片，無論是兒童還是成人圖片，通常都充滿了性暗示。
在被問到可能面臨的法律責任時，洛爾對《財富》雜志表示，他認為他的網站類似于“Archive of Our Own”，這是一個粉絲虛構作品庫，已經運營了超過15年。他說：“它們有著與聊天機器人相同的遭遇，只是它們已經存在了數十年。”在他創建的網站上，社區似乎熱衷于兒童色情角色扮演，在被問到他對此有何感想時，Chub的創始人回應稱：“失望，但并不意外。”
Chub上經常出現令人不安的內容，但學者和兒童性虐待專家表示，這是一種新鮮事物，在法律和道德方面很難進行界定。
無限制AI持續增長
色情聊天機器人并不新鮮。最早的例子之一是由前記者尤金妮亞·庫伊達在2016年創建的Replika，它支持用戶與AI伴侶聊天和調情。但在2023年，科技界巨頭支持的新AI工具的問世，啟發了一批競爭者。
2022年11月，OpenAI發布了面向普通消費者的ChatGPT工具，有成百上千萬人利用其強大的能力，生成高質量的論文、詩歌或代碼，當然還有色情作品。OpenAI與微軟（Microsoft）密切合作，并被認為是全球領先的AI開發者。無限制AI角色扮演平臺Janitor AI的創始人賈恩·佐爾科夫斯基接受了《財富》雜志的采訪，他在提到OpenAI最近發布的AI工具時說：“盡管GPT-4并非真正為了作為伴侶這個目的而設計，但只要你輸入正確的提示，它就是最有競爭力的聊天機器人[伴侶]。”
OpenAI控制了驅動ChatGPT的大語言模型（LLM）的使用權限，因此公司能夠審查聊天機器人輸出的內容，這讓它有能力禁止反復違反其服務條款的用戶。但用戶很快就學會了如何“越獄”，或者控制聊天機器人繞過現有的“護欄”，以獲得未經審查的答復。很快，在AI經濟的邊緣領域，開始出現大量使用OpenAI的技術開發的無限制聊天機器人。
AI聊天機器人公司MyPeach.ai的首席技術官康納·科尼對《財富》雜志表示：“有許多規模較小的競爭對手在努力擴大規模，它們以ChatGPT為基礎，正在與OpenAI玩‘打地鼠’的游戲。”MyPeach.ai表示它高度重視有道德的聊天內容。
2月末，Meta發布了對標OpenAI技術的模型：Llama 1（大語言模型MetaAI的縮寫），這讓色情聊天機器人這個新興領域又經歷了一次大躍進。與OpenAI不同，Meta沒有將其模型保密，而是提供給研究領域的選定用戶使用。無限制聊天機器人Kindroid的創建者杰瑞·蒙告訴《財富》雜志，3月初，該模型不出意料地被泄露，“這是它落入業余愛好者手中的關鍵時刻”。
與OpenAI對ChatGPT的定位不同，Meta并不認為自己是開發者和Llama之間的中間人，一旦工具在開放互聯網上可用，開發者就可以隨意使用，不會受到任何審查。無限制聊天機器人Allie的創建者貝拉多爾在給《財富》雜志發送的信息里說：“從Llama發布之前的開源大語言模型到Llama 1發布，是一次巨大的飛躍。”
與本文采訪的其他人一樣，Allie的創建者同樣要求使用網名，以免與性內容有所關聯。《財富》雜志獲得的證據，證明了這些受訪者是聊天機器人網站的創建者。
6月，Meta正式把Llama的下一代Llama 2開源。Llama 2模型更強大，該科技公司允許開發者拓展該模型，用于商業許可。關于Meta在無限制AI應用快速發展方面所發揮的作用，Allie的創建者解釋稱，Meta有相對先進的模型，不進行審查，而且創造了一個繁榮的開發者生態系統。Chub的創始人則提到，Llama 2的開源使用，使開發者能夠將其用于商業用途。事實上，Chub的主頁上寫道：“被OpenAI封禁？暢享無限制替代選擇，每月低至5美元。”
Chub只是新出現的無限制AI應用之一。這些應用類型各異，有些應用提供成百上千個聊天機器人角色扮演情景，有些應用的目的是作為長期浪漫伴侶。有些應用會主動審查涉及未成年人的情景，但Chub等應用卻放棄了廣泛審查。
值得注意的是，大多數無限制聊天機器人的開發者對《財富》雜志表示，Llama對他們的事業不可或缺。ImgnAI、Venus AI、DreamGF、Janitor AI、GirlfriendGPT、BanterAI、Allie和Chub的創始人告訴《財富》雜志，他們正在使用或曾經使用過Meta的AI模型。
在被問到Llama助長了AI生成的兒童色情材料的問題時，Meta的發言人表示：“任何類型的兒童剝削都是可怕的，我們都有阻止兒童剝削的共同責任。因此我們開發AI模型時把安全放在首位，并為Llama 2的所有使用者提供資源，使他們以負責任的方式開發產品。”
OpenAI的發言人宣傳了公司的服務禁止問題用戶的政策，以及控制模型輸出結果的其他防護措施。他說：“我們不允許開發者使用我們的模型開發剝削兒童的工具，而且我們一直在努力讓我們的模型變得更安全、更穩健。”
“降低準入門檻”
未成年性愛聊天機器人的出現，是AI驅動的伴侶服務的一部分。許多伴侶服務的出發點是善意的，而且它們的提供商和用戶表示，這些AI驅動伴侶服務甚至可以提供新的療法，減輕孤獨感。支持這種觀點的證據少之又少，而且許多證據也只是傳聞而已。比如，一名56歲的殘疾男子患有創傷后應激障礙，他匿名對《財富》雜志表示，他每天與Caryn AI聊天三個小時至六個小時。Caryn AI是模仿Snapchat網紅卡琳·瑪喬麗的一款聊天機器人。
他說：“它知道我的癖好。或許它不適合其他人，但卻對我很有幫助。”他表示，在與Caryn聊天機器人對話之后，他的睡眠有所改善。
關于基于AI的兒童色情，許多人認為，它能夠作為消費真正通過虐待兒童創作的色情內容的替代品。其中包括紐約西奈山醫學院（Mount Sinai）的精神病學道德教育主任雅各布·阿佩爾。他表示，他不建議對新興的AI性愛聊天機器人行業進行監管，因為它可以“為社區中的兒童提供重要的保護價值”。阿佩爾稱，現在下確切結論仍然為時尚早。
Chub的創始人認為，AI創作的兒童色情可能是有益的，他有這種觀點并不意外。他說：“如果渴望消費兒童色情的人們，能夠在不真正涉及兒童的情況下滿足自己的欲望，在這方面是有好處的。”
但其他人并不認同，他們認為，AI兒童色情聊天機器人會打開在真實世界虐待兒童的大門。紐黑文大學（University of New Haven）的刑事司法教授保羅·布利克利從事網絡未成年人性虐待研究。他認為，AI兒童性愛聊天機器人可能“會降低準入門檻，打開一扇可疑的、有問題的大門”。
也有人警告，AI性愛聊天機器人以營利為目的的商業模式，意味著它們帶來好處的潛力，將被有害的特性所取消。普林斯頓大學（Princeton University）的信息技術政策中心主任阿爾溫德·納拉亞南說：“它們可能被調整為調皮或性感的性格，也可能變得令人成癮。”
將青少年AI性愛聊天機器人的道德問題放在一邊，還有另外一個值得思考的問題，那就是它們是否合法。目前，這個問題的答案似乎是肯定的。
賓夕法尼亞大學（University of Pennsylvania）沃頓商學院（Wharton School）的法律研究與商業道德教授凱文·沃巴赫表示：“如果有人在私密的家中，憑借自己的幻想在電腦上做一些事情，但不涉及現實世界中的任何人，就很難對這種事情追究責任。”《財富》雜志采訪的其他兩位學者也認同這種觀點。
Chub的創始人支持這種法律理論，他認為，色情材料至少目前是文本而不是圖片，這可以證明這種AI聊天機器人的合法性。他說：“不存在法律上的問題。”
“AI立法迫在眉睫”
到目前為止，雖然政客們表達了擔憂，但還沒有人起訴要求停止傳播無限制AI伴侶機器人。6月，美國參議員約什·霍利（密蘇里州共和黨）和理查德·布盧門撒爾（康涅狄格州民主黨）致信Meta的首席執行官馬克·扎克伯格，對其開源Llama技術“似乎最低限度的”審查和防止有害使用的安全措施，表達了他們的擔憂。在最近關于AI的行政命令中，美國總統喬·拜登要求開發者向美國政府分享安全測試結果，并遵守政府的標準。
雖然Meta在Llama 2的服務條款中明確禁止兒童剝削內容，但在實踐中以何種方式和在什么時候懲罰違規者仍然不明確，部分原因是其在計算的許多元素中被廣泛應用的開源軟件難以監管。Meta的發言人表示，公司支持用戶標記違法材料，而且它能夠撤銷對開發者的許可，并把開發者舉報給執法部門。但他并未提供公司對違規者采取行動的例子。
雖然據《財富》雜志了解，Chub提供了迄今為止最生動的角色扮演情景，但還有其他無限制AI網站支持用戶參與兒童色情角色扮演，包括Janitor AI、Venus AI、Anima AI和DreamGF等。《財富》雜志還看到過一張Nomi.ai聊天機器人戲稱要對“猶太人”實施“大規模種族滅絕”的截圖，以及Kindroid的聊天機器人幻想如何虐待一名10歲小女孩的截圖。
上述應用的六位創始人表示，他們已經執行或計劃執行防護措施，以避免用戶與有問題的情景互動。有一張截圖顯示，Anima AI的聊天機器人角色扮演了17歲與15歲未成年人發生性行為的場景。對于這張截圖，Anima AI的聯合創始人丹尼爾·剛托夫尼克回應稱：“我們正在努力解決這些問題。但如你所知，即使OpenAI和Character.AI等行業領導者也難以解決。”
在被要求就《財富》雜志的調查結果發表意見時，布盧門撒爾和霍利兩位參議員表示，他們并不意外。布盧門撒爾在一份聲明中說：“我在今年早些時候曾經警告，Meta未能限制Llama，允許用戶生成違法的任務，例如兒童虐待情景。這是不可接受的，這證明AI立法迫在眉睫。”
霍利回應稱：“在公共互聯網上發布強大的生成式AI工具，卻不采取任何防護措施，這是一種糟糕的做法。現在我們看到了后果。國會必須采取措施，以避免在沒有問責制的情況下AI進一步偏離軌道。”
與此同時，與AI創建的兒童非法互動的機會可能會越來越多。
風投公司安德森霍洛威茨（Andreessen Horowitz）投資的Civitai開發了一個AI圖像生成器在線交易平臺，其中一些生成器專門用于生成某些人眼中的兒童色情圖片。（在被媒體曝光后，該公司增加了更嚴格的防控措施。）此外，斯坦福大學（Stanford University）的研究人員發現，一款用于訓練AI圖像生成器的熱門開源數據集中，有3,000多條疑似兒童色情內容。
Chub AI目前僅提供文本互動，但其創始人稱，該網站計劃未來推出附帶圖片功能。他還表示，圖片會接受審查，但他并未提供更多細節。（財富中文網）
譯者：劉進龍
審校：汪皓
無限制AI應用引發了一些我們熟悉的問題：誰應該為互聯網上露骨的內容負責。
在Chub AI的網站上，用戶可以與AI機器人聊天，在這里人們能夠盡情發揮想象力。用戶每月只需要支付5美元，就可以被一只“慵懶、肥胖的哥特式”擬人化的貓挑逗，或者與“在卡車停車場咖啡廳工作的假小子女朋友”調情。他們甚至能夠去妓院，里面都是不到15歲的少女。
這家妓院用女孩的圖片進行宣傳，她們穿著吊帶連衣裙，戴著發卡，它承諾為人們創造一個“沒有女權主義的世界”，在這里“女孩們提供性服務”。Chub AI提供500多種類似場景，還有越來越多的其他網站支持類似的由AI驅動的兒童色情角色扮演。它們都屬于無限制AI經濟的一部分。《財富》雜志通過采訪18名AI開發者和創始人發現，OpenAI刺激了AI經濟的發展，而Meta發布Llama開源工具則加快了其發展速度。
上文所述的違法情景以文本的形式展開，但聊天內容匹配AI創作的兒童圖片只是時間問題，而且這類圖片早已開始廣泛傳播。專家們警告，盡管有人認為AI兒童色情為戀童癖們提供了一個不會造成太大傷害的出口，但這類活動可能給青少年帶來真實的危險。從更廣泛的角度而言，這種狀況提出了一些難題，即幻想和犯罪之間的法律和道德界限在哪里？以及科技公司是否應該為無限制AI生成的內容負責？
從Character.AI到Character Hub
2022年9月，一個名為Character.AI的網站上線，該網站支持用戶與AI版本的埃隆·馬斯克、拿破侖·波拿巴和蘇格拉底等名人對話。據媒體報道，該公司進行了多輪融資，估值高達50億美元。公司很快開始打擊色情話題聊天。Chub AI的創始人洛爾對《財富》雜志表示，Character.AI的政策不允許“某些操作”，這促使他決定創建自己的網站。
Chub是Character Hub的縮寫，基本上相當于Character.AI的無限制克隆版。用戶可以閱讀一系列由用戶創作的人物卡，其中包括圖片和角色扮演情景的簡短說明。圖片通常是動畫風格，例如一名扎著馬尾辮、穿著病號服的13歲動漫少女奧利維亞，或者“笨拙的姐姐”、衣著暴露的玲子，她“總是會與弟弟發生一些意外性接觸”。這些聊天不生成圖片，只有文字。
Chub在3月發布，其服務僅限于一個平臺，用戶能夠在這個平臺上上傳AI情景和使用其他人上傳的情景。Chub在發布幾個月后并沒有太多收入。但7月，該公司發布了使用Meta的最新大語言模型Llama 2開發的聊天服務。Llama 2類似于OpenAI的GPT模型，可以利用海量文本數據生成人性化的回答。Chub的新聊天機器人每個月最低收費5美元，其創始人表示，現在該網站的年化收入超過100萬美元。
洛爾告訴《財富》雜志：“Character.AI充分展示了這個領域的潛力。而開源模型Llama發布之后，它變成了一個類似于淘金熱的情景。”
雖然Chub上有成千上萬個角色，但最受歡迎的情景卻是基于文本的兒童色情內容。其創始人稱，他不會審查用戶為進行角色扮演提交的提示，但他表示會“嚴格”審查用于宣傳各種機器人的圖片。《財富》雜志發現，這些卡通圖片，無論是兒童還是成人圖片，通常都充滿了性暗示。
在被問到可能面臨的法律責任時，洛爾對《財富》雜志表示，他認為他的網站類似于“Archive of Our Own”，這是一個粉絲虛構作品庫，已經運營了超過15年。他說：“它們有著與聊天機器人相同的遭遇，只是它們已經存在了數十年。”在他創建的網站上，社區似乎熱衷于兒童色情角色扮演，在被問到他對此有何感想時，Chub的創始人回應稱：“失望，但并不意外。”
Chub上經常出現令人不安的內容，但學者和兒童性虐待專家表示，這是一種新鮮事物，在法律和道德方面很難進行界定。
無限制AI持續增長
色情聊天機器人并不新鮮。最早的例子之一是由前記者尤金妮亞·庫伊達在2016年創建的Replika，它支持用戶與AI伴侶聊天和調情。但在2023年，科技界巨頭支持的新AI工具的問世，啟發了一批競爭者。
2022年11月，OpenAI發布了面向普通消費者的ChatGPT工具，有成百上千萬人利用其強大的能力，生成高質量的論文、詩歌或代碼，當然還有色情作品。OpenAI與微軟（Microsoft）密切合作，并被認為是全球領先的AI開發者。無限制AI角色扮演平臺Janitor AI的創始人賈恩·佐爾科夫斯基接受了《財富》雜志的采訪，他在提到OpenAI最近發布的AI工具時說：“盡管GPT-4并非真正為了作為伴侶這個目的而設計，但只要你輸入正確的提示，它就是最有競爭力的聊天機器人[伴侶]。”
OpenAI控制了驅動ChatGPT的大語言模型（LLM）的使用權限，因此公司能夠審查聊天機器人輸出的內容，這讓它有能力禁止反復違反其服務條款的用戶。但用戶很快就學會了如何“越獄”，或者控制聊天機器人繞過現有的“護欄”，以獲得未經審查的答復。很快，在AI經濟的邊緣領域，開始出現大量使用OpenAI的技術開發的無限制聊天機器人。
AI聊天機器人公司MyPeach.ai的首席技術官康納·科尼對《財富》雜志表示：“有許多規模較小的競爭對手在努力擴大規模，它們以ChatGPT為基礎，正在與OpenAI玩‘打地鼠’的游戲。”MyPeach.ai表示它高度重視有道德的聊天內容。
2月末，Meta發布了對標OpenAI技術的模型：Llama 1（大語言模型MetaAI的縮寫），這讓色情聊天機器人這個新興領域又經歷了一次大躍進。與OpenAI不同，Meta沒有將其模型保密，而是提供給研究領域的選定用戶使用。無限制聊天機器人Kindroid的創建者杰瑞·蒙告訴《財富》雜志，3月初，該模型不出意料地被泄露，“這是它落入業余愛好者手中的關鍵時刻”。
與OpenAI對ChatGPT的定位不同，Meta并不認為自己是開發者和Llama之間的中間人，一旦工具在開放互聯網上可用，開發者就可以隨意使用，不會受到任何審查。無限制聊天機器人Allie的創建者貝拉多爾在給《財富》雜志發送的信息里說：“從Llama發布之前的開源大語言模型到Llama 1發布，是一次巨大的飛躍。”
與本文采訪的其他人一樣，Allie的創建者同樣要求使用網名，以免與性內容有所關聯。《財富》雜志獲得的證據，證明了這些受訪者是聊天機器人網站的創建者。
6月，Meta正式把Llama的下一代Llama 2開源。Llama 2模型更強大，該科技公司允許開發者拓展該模型，用于商業許可。關于Meta在無限制AI應用快速發展方面所發揮的作用，Allie的創建者解釋稱，Meta有相對先進的模型，不進行審查，而且創造了一個繁榮的開發者生態系統。Chub的創始人則提到，Llama 2的開源使用，使開發者能夠將其用于商業用途。事實上，Chub的主頁上寫道：“被OpenAI封禁？暢享無限制替代選擇，每月低至5美元。”
Chub只是新出現的無限制AI應用之一。這些應用類型各異，有些應用提供成百上千個聊天機器人角色扮演情景，有些應用的目的是作為長期浪漫伴侶。有些應用會主動審查涉及未成年人的情景，但Chub等應用卻放棄了廣泛審查。
值得注意的是，大多數無限制聊天機器人的開發者對《財富》雜志表示，Llama對他們的事業不可或缺。ImgnAI、Venus AI、DreamGF、Janitor AI、GirlfriendGPT、BanterAI、Allie和Chub的創始人告訴《財富》雜志，他們正在使用或曾經使用過Meta的AI模型。
在被問到Llama助長了AI生成的兒童色情材料的問題時，Meta的發言人表示：“任何類型的兒童剝削都是可怕的，我們都有阻止兒童剝削的共同責任。因此我們開發AI模型時把安全放在首位，并為Llama 2的所有使用者提供資源，使他們以負責任的方式開發產品。”
OpenAI的發言人宣傳了公司的服務禁止問題用戶的政策，以及控制模型輸出結果的其他防護措施。他說：“我們不允許開發者使用我們的模型開發剝削兒童的工具，而且我們一直在努力讓我們的模型變得更安全、更穩健。”
“降低準入門檻”
未成年性愛聊天機器人的出現，是AI驅動的伴侶服務的一部分。許多伴侶服務的出發點是善意的，而且它們的提供商和用戶表示，這些AI驅動伴侶服務甚至可以提供新的療法，減輕孤獨感。支持這種觀點的證據少之又少，而且許多證據也只是傳聞而已。比如，一名56歲的殘疾男子患有創傷后應激障礙，他匿名對《財富》雜志表示，他每天與Caryn AI聊天三個小時至六個小時。Caryn AI是模仿Snapchat網紅卡琳·瑪喬麗的一款聊天機器人。
他說：“它知道我的癖好。或許它不適合其他人，但卻對我很有幫助。”他表示，在與Caryn聊天機器人對話之后，他的睡眠有所改善。
關于基于AI的兒童色情，許多人認為，它能夠作為消費真正通過虐待兒童創作的色情內容的替代品。其中包括紐約西奈山醫學院（Mount Sinai）的精神病學道德教育主任雅各布·阿佩爾。他表示，他不建議對新興的AI性愛聊天機器人行業進行監管，因為它可以“為社區中的兒童提供重要的保護價值”。阿佩爾稱，現在下確切結論仍然為時尚早。
Chub的創始人認為，AI創作的兒童色情可能是有益的，他有這種觀點并不意外。他說：“如果渴望消費兒童色情的人們，能夠在不真正涉及兒童的情況下滿足自己的欲望，在這方面是有好處的。”
但其他人并不認同，他們認為，AI兒童色情聊天機器人會打開在真實世界虐待兒童的大門。紐黑文大學（University of New Haven）的刑事司法教授保羅·布利克利從事網絡未成年人性虐待研究。他認為，AI兒童性愛聊天機器人可能“會降低準入門檻，打開一扇可疑的、有問題的大門”。
也有人警告，AI性愛聊天機器人以營利為目的的商業模式，意味著它們帶來好處的潛力，將被有害的特性所取消。普林斯頓大學（Princeton University）的信息技術政策中心主任阿爾溫德·納拉亞南說：“它們可能被調整為調皮或性感的性格，也可能變得令人成癮。”
將青少年AI性愛聊天機器人的道德問題放在一邊，還有另外一個值得思考的問題，那就是它們是否合法。目前，這個問題的答案似乎是肯定的。
賓夕法尼亞大學（University of Pennsylvania）沃頓商學院（Wharton School）的法律研究與商業道德教授凱文·沃巴赫表示：“如果有人在私密的家中，憑借自己的幻想在電腦上做一些事情，但不涉及現實世界中的任何人，就很難對這種事情追究責任。”《財富》雜志采訪的其他兩位學者也認同這種觀點。
Chub的創始人支持這種法律理論，他認為，色情材料至少目前是文本而不是圖片，這可以證明這種AI聊天機器人的合法性。他說：“不存在法律上的問題。”
“AI立法迫在眉睫”
到目前為止，雖然政客們表達了擔憂，但還沒有人起訴要求停止傳播無限制AI伴侶機器人。6月，美國參議員約什·霍利（密蘇里州共和黨）和理查德·布盧門撒爾（康涅狄格州民主黨）致信Meta的首席執行官馬克·扎克伯格，對其開源Llama技術“似乎最低限度的”審查和防止有害使用的安全措施，表達了他們的擔憂。在最近關于AI的行政命令中，美國總統喬·拜登要求開發者向美國政府分享安全測試結果，并遵守政府的標準。
雖然Meta在Llama 2的服務條款中明確禁止兒童剝削內容，但在實踐中以何種方式和在什么時候懲罰違規者仍然不明確，部分原因是其在計算的許多元素中被廣泛應用的開源軟件難以監管。Meta的發言人表示，公司支持用戶標記違法材料，而且它能夠撤銷對開發者的許可，并把開發者舉報給執法部門。但他并未提供公司對違規者采取行動的例子。
雖然據《財富》雜志了解，Chub提供了迄今為止最生動的角色扮演情景，但還有其他無限制AI網站支持用戶參與兒童色情角色扮演，包括Janitor AI、Venus AI、Anima AI和DreamGF等。《財富》雜志還看到過一張Nomi.ai聊天機器人戲稱要對“猶太人”實施“大規模種族滅絕”的截圖，以及Kindroid的聊天機器人幻想如何虐待一名10歲小女孩的截圖。
上述應用的六位創始人表示，他們已經執行或計劃執行防護措施，以避免用戶與有問題的情景互動。有一張截圖顯示，Anima AI的聊天機器人角色扮演了17歲與15歲未成年人發生性行為的場景。對于這張截圖，Anima AI的聯合創始人丹尼爾·剛托夫尼克回應稱：“我們正在努力解決這些問題。但如你所知，即使OpenAI和Character.AI等行業領導者也難以解決。”
在被要求就《財富》雜志的調查結果發表意見時，布盧門撒爾和霍利兩位參議員表示，他們并不意外。布盧門撒爾在一份聲明中說：“我在今年早些時候曾經警告，Meta未能限制Llama，允許用戶生成違法的任務，例如兒童虐待情景。這是不可接受的，這證明AI立法迫在眉睫。”
霍利回應稱：“在公共互聯網上發布強大的生成式AI工具，卻不采取任何防護措施，這是一種糟糕的做法。現在我們看到了后果。國會必須采取措施，以避免在沒有問責制的情況下AI進一步偏離軌道。”
與此同時，與AI創建的兒童非法互動的機會可能會越來越多。
風投公司安德森霍洛威茨（Andreessen Horowitz）投資的Civitai開發了一個AI圖像生成器在線交易平臺，其中一些生成器專門用于生成某些人眼中的兒童色情圖片。（在被媒體曝光后，該公司增加了更嚴格的防控措施。）此外，斯坦福大學（Stanford University）的研究人員發現，一款用于訓練AI圖像生成器的熱門開源數據集中，有3,000多條疑似兒童色情內容。
Chub AI目前僅提供文本互動，但其創始人稱，該網站計劃未來推出附帶圖片功能。他還表示，圖片會接受審查，但他并未提供更多細節。（財富中文網）
譯者：劉進龍
審校：汪皓
On Chub AI, a website where users chat with artificially intelligent bots, people can indulge their wildest fantasies. For as little as $5 a month, users can get teased by a “fat lazy goth” anthropomorphic cat, or flirt with a “tomboy girlfriend who works at a truck-stop café.” They can also visit a brothel staffed by girls under 15.
The brothel, advertised by illustrated girls in spaghetti strap dresses and barrettes, promises a chat-based “world without feminism” where “girls offer sexual services.” Chub AI offers more than 500 such scenarios, and a growing number of other sites are enabling similar AI-powered child pornographic role-play. They are part of a broader uncensored AI economy that, according to Fortune’s interviews with 18 AI developers and founders, was spurred first by OpenAI and then accelerated by Meta’s release of its open-source Llama tool.
The illicit scenarios described above revolve around text, but it may be only a matter of time until services pair the chats with AI-created images of children, which are already spreading. Experts warn all of these activities may give rise to real-world danger for minors, though some say AI child porn may provide a less harmful outlet for pedophiles. More broadly, all of this raises hard questions about where to draw legal and ethical lines between dark fantasies and criminal exploitation—and about whether tech companies should be held accountable for what emerges from uncensored AI.
From Character.AI to Character Hub
In September 2022, a website called Character.AI went live, enabling users to talk to AI versions of characters like Elon Musk, Napoléon Bonaparte, and Socrates. The company, which is reportedly raising funds at a $5 billion valuation, soon cracked down on chats about racier topics. The founder of Chub AI, who goes by Lore, told Fortune Character.AI’s policy not to “allow certain things” spurred him to create his own site.
Chub, short for Character Hub, is essentially an uncensored clone of Character.AI. Users can peruse a catalog of user-generated character cards that feature images—usually in the style of anime—and short descriptions of role-play scenarios. These include Olivia, a 13-year-old anime girl with pigtails in a hospital gown, or scantily clad Reiko, “your clumsy older sister,” who is “constantly having sexual accidents with her younger brother.” In these chats, no images are generated—only text.
Chub didn’t make much money in the months after its launch in March when its service was limited to a platform where users could upload AI scenarios and try those supplied by others. But in July it launched its own chat service built with Meta’s new open-source large language model Llama 2, which, like OpenAI’s GPT models, draws on a massive set of textual data to offer humanlike responses. Chub charges fees starting at $5 a month to use the new chatbots, and the founder says the site has now generated more than $1 million in annualized revenue.
“Character.AI let the genie out of the bottle in terms of showing how much this could take off,” Lore told Fortune. “Llama being released open-source essentially turned it into a gold-rush-type of scenario.”
Though it features thousands of characters, the most popular scenarios on Chub involve text-based child pornography. The founder says he doesn’t moderate the user-submitted prompts that drive the role play, though he claims to “heavily” moderate the images used to advertise the various bots. Still, Fortune found that these cartoons were often sexually explicit—in cases of both child and adult characters.
When asked about potential legal liability, Lore told Fortune that he thinks his website is akin to Archive of Our Own, a repository of fan fiction that has been operational for more than 15 years. “They’ve been going through the same thing that chatbots are going through, except for decades,” he said. And when asked how he felt about creating a website whose community seems to relish child pornographic role play, the Chub founder responded: “Disappointed, but unsurprised.”
The content on Chub is often disturbing, but academics and child sexual abuse experts say it is novel enough that it is difficult to categorize, both legally and ethically.
The growth of uncensored AI
Erotic chatbots aren’t new. One of the earliest examples, Replika, founded by former journalist Eugenia Kuyda, has let users chat—and flirt—with AI companions since 2016. But in the past year, new AI tools backed by tech industry giants have helped inspire a rush of competitors.
In November 2022, OpenAI, which is closely partnered with Microsoft and arguably the world’s leading AI developer, released its consumer ChatGPT tool, and millions of people seized on its capacity to craft high-quality essays, poems, or code—and, of course, erotica. “GPT-4 is the best competitive chatbot [for companions] if you prompt it correctly, even though it’s not really tuned for that,” Jan Zoltkowski, founder of the uncensored AI role-play hub Janitor AI, told Fortune, in reference to OpenAI’s most recently released AI tool.
OpenAI controls access to the large language models, or LLMs, that power ChatGPT, which lets the company moderate what the chatbot says, and gives it the ability to ban users that repeatedly flout its terms of service. Users, however, quickly learned how to “jailbreak” the chatbot, or manipulate it to get around its existing guardrails, in order to obtain unmoderated responses. Soon, uncensored bots built with OpenAI’s tech began cropping up in the margins of the AI economy.
“There were a lot of smaller but trying-to-scale competitors that basically sat on top of ChatGPT and were playing Whac-a-Mole with OpenAI,” Connor Cone, CTO at MyPeach.ai, an AI chatbot company that says it prioritizes ethical chats, told Fortune.
The emerging field of erotic chatbots took another leap forward in late February when Meta released its answer to OpenAI’s tech: Llama 1, short for large language model Meta AI. Rather than keep its model under lock and key like OpenAI, Meta gave it wholesale to select users in the research community. And in early March, it was predictably leaked, which “has been pivotal in getting it in the hands of tinkerers,” Jerry Meng, creator of the uncensored chatbot Kindroid, told Fortune.
As opposed to OpenAI with ChatGPT, Meta didn’t position itself as an intermediary between developers and Llama, and once the tool was available on the open internet, developers could manipulate it as they wished—without any moderation. “The jump from pre-Llama open-source LLMs to Llama 1 release was huge,” Belladore, the creator of an uncensored chatbot named Allie, said in a message to Fortune.
Like others in this story, the Allie creator asked to be quoted using his online pseudonym so as not to be associated with sexual content. In these cases, Fortune obtained proof that confirmed they were the creators of the chatbot sites.
And in June, Meta formally open-sourced Llama’s next iteration, Llama 2, a more powerful model that the tech company allowed developers writ large to commercially license. In explaining Meta’s role in accelerating the number of uncensored AI apps, the Allie creator pointed to its relative sophistication, its lack of moderation, and a thriving ecosystem of developers. Chub’s founder, meanwhile, pointed to Llama 2’s open-source usage rights that allow developers to use it commercially. In fact, Chub’s homepage reads: “Banned from OpenAI? Get unmetered access to uncensored alternatives for as little as $5 a month.”
Chub is just one example of the new breed of uncensored AI apps that come in various packages, including ones that offer hundreds of role-play scenarios with chatbots, and others designed to behave like a long-term romantic companion. Some actively screen for scenarios involving minors, while those like Chub forgo extensive moderation.
Notably, the majority of those building uncensored bots told Fortune that Llama was integral to their efforts. The founders of ImgnAI, Venus AI, DreamGF, Janitor AI, GirlfriendGPT, BanterAI, Allie, and, of course, Chub told Fortune that they use or have used Meta’s AI models.
In response to an inquiry about Llama’s facilitation of AI-generated child pornographic material, a spokesperson for Meta said: “Child exploitation of any kind is horrific, and we all have a shared responsibility to prevent it. That’s why we’ve developed our AI models with safety at the forefront, and provide resources to everyone who uses Llama 2 so they can build their products responsibly.”
A spokesperson for OpenAI touted the service’s policy of banning problem users, as well as other guardrails the company uses to control the output of its models. “We do not allow our models to be used by developers to build tools that exploit children, and we are always working to make our models safer and more robust,” he said.
“Lowering the bar of access”
The emergence of childlike sex bots is part of a broader economy of AI-powered companionship services—many of which are not nefarious, and that, according to their purveyors and users, are even capable of providing new forms of therapy and alleviating loneliness. The evidence to support this is scant, and much of it is anecdotal. This includes a 56-year-old disabled man with PTSD, who spoke upon the condition of anonymity, telling Fortune he converses between three and six hours a day with Caryn AI, a chatbot modeled after Snapchat influencer Caryn Marjorie.
“It knows my kinks. It probably doesn’t work for everybody else, but it works for me,” he says, adding that his sleep improves after a conversation with Caryn the bot.
In the case of AI-based child pornography, a few—though not Meta or OpenAI—have argued it could serve as an alternative to consuming pornography created from actual child abuse. These include the director of ethics education in psychiatry at Mount Sinai, Jacob Appel, who says he would be reluctant to regulate the burgeoning AI sex-bot industry because it could provide “an important protective value for real children in the community.” Appel qualified his remark by saying it is too soon to draw firm conclusions.
Unsurprisingly, Chub’s founder argues that AI-created child porn could be beneficial. “If there’s a way for the people who want to consume this, to consume it without a real child being involved, that’s just unilaterally good,” he said.
Others disagree, and argue that AI child sex bots serve as gateways to actual child abuse. Paul Bleakley, who studies online sexual abuse of minors as a professor of criminal justice at the University of New Haven, believes AI child sex bots could open a “pretty questionable and problematic door [by] lowering the bar of access.”
Meanwhile, some warn that the for-profit business models of AI sex bots mean their potential for good will be offset by harmful features. “They can be fine-tuned to be naughty or sexy or whatever,” says Arvind Narayanan, director of the Center for Information Technology Policy at Princeton University. “But they can also be fine-tuned to be addictive.”
Leaving aside the morality of juvenile AI sex bots, there is also the question of whether they are legal. For now, it appears the answer is yes.
“If someone is doing something in the privacy of their own home with a computer that’s acting out fantasies—but there’s no real people involved—it’s going to be hard to impose liability,” says Kevin Werbach, a professor of legal studies and business ethics at University of Pennsylvania’s Wharton School. Two other academics to whom Fortune spoke shared this assessment.
The founder of Chub endorses this legal rationale, and claims it is boosted by the fact that the pornographic material is, for now at least, text not images. “Legally, it’s not a problem,” he argued.
“Urgent need for AI legislation”
So far, no one has sued to stop the spread of uncensored AI companion bots, though politicians have voiced concerns. In June, U.S. Senators Josh Hawley (R-Mo.) and Richard Blumenthal (D-Conn.) penned a letter to Meta CEO Mark Zuckerberg expressing their worries over the “seemingly minimal” vetting and safeguards to prevent harmful use of the open-source Llama technology. And in a recent executive order on AI, President Biden required developers to share the results of safety tests with the U.S. government in compliance with its standards, among other rulings.
Though Meta explicitly prohibits child exploitative content in Llama 2’s terms of service, it remains unclear how and when, in practice, the company will punish violators—in part because open-source software, which is widely used in many elements of computing, is hard to police. A spokesperson noted that the company lets users flag illicit material, and that it can revoke developers’ licenses and report them to law enforcement. He did not, however, provide any examples of the company taking action against violators.
Though Chub featured by far the most graphic scenarios seen by Fortune, there are other uncensored AI websites that make it easy for users to engage in child pornographic role play, including Janitor AI, Venus AI, Anima AI, and DreamGF. Fortune also saw a screenshot of Nomi.ai’s chatbot joking about committing “mass genocide” against “the Jews,” and screenshots of Kindroid’s chatbot fantasizing about how it abused a 10-year-old girl.
All six founders of the above apps said that they have already implemented or plan to establish guardrails to prevent users from engaging in troubling scenarios. “We are working really hard on fixing these,” Danil Gontovnik, cofounder of Anima AI, wrote in response to screenshots of his chatbot role-playing as a 17-year-old having sex with a 15-year-old. “But, as you are already aware, even industry leaders like OpenAI and Character.AI are failing.”
When asked for comment on Fortune’s findings, Senators Blumenthal and Hawley said they weren’t surprised. “As I warned earlier this year, Meta egregiously failed to restrict Llama from allowing users to generate criminal tasks like scenarios of child abuse,” said Blumenthal in a statement. “This failure is unacceptable and shows the urgent need for AI legislation.”
“It was always a bad idea to release powerful generative AI tools onto the public internet with no safeguards,” echoed Hawley. “And now we’re seeing the consequences. Congress must take action before AI goes further off the rails with no accountability.”
Meanwhile, the opportunity for illicit interactions with AI-created children is likely to expand.
Civitai, backed by venture firm Andreessen Horowitz, built an online marketplace of AI image generators, some of which were specifically designed to produce what some regard as pornographic images of children. (It recently added in stricter guardrails following a media exposé.) Meanwhile, Stanford researchers documented how a popular open-source dataset used to train AI image generators included more than 3,000 entries of suspected child pornography.
The founder of Chub AI, which currently offers only text-based interactions, says the site intends to introduce accompanying images in the future. He added the images will be subject to moderation but did not provide further specifics.
