谷歌的巴德考SAT，成績會怎樣？
ELEANOR PRINGLE
2023-04-04
谷歌已經為巴德的錯誤付出了代價——但它每天都在學習。圖片來源：JONATHAN RAA—NURPHOTO/GETTY IMAGES
谷歌對巴德并不完美的事實相當坦誠。
Alphabet首席執行官桑達爾·皮查伊似乎對本公司的人工智能模型需要走多遠并不焦慮，他在一份公司內部備忘錄中寫道，巴德（Bard）還處于早期階段：“隨著更多人開始使用巴德，測試它的功能，到時會出現讓我們意想不到的事情。會出現各種問題?！?/p>
現在巴德已邀請公眾參與測試，之前參與內測的8萬名用戶主要是谷歌員工。
《財富》雜志終于排到號了，所以我們趕在今年春天的美國青少年SAT考試之前，對巴德進行了測試。
SAT是全球公認的美國大學入學考試，考試的技能包括閱讀、寫作和數學。
對谷歌來說，不幸的是，巴德似乎還考不上哈佛，因為它答的大部分數學題都是錯的，而在寫作和語言測試中想考高分也很艱難。
第一次登錄巴德時，用戶的期望值已經被彈出的一條消息設定好了，上面寫著：“巴德并不總是正確的。巴德可能會給出不準確或不恰當的回答。如果有疑問，可以點擊‘谷歌一下’（Google it）的按鈕檢查巴德的回復。有了你的反饋，巴德會變得更好。請對巴德的答案做出評分，并對任何可能具有冒犯性或不安全的內容進行標記。”
巴德表現如何？
回到答題上來。
《財富》雜志從在線學習資源中找了一些SAT數學練習題，發現巴德有50%到75%的答案是錯的——哪怕是有選項的選擇題。
很多情況下，巴德給出的答案甚至不在選擇范圍內，不過如果再問一遍，它有時就能答對。
這款人工智能的不準確性已經讓谷歌花費了大約1000億美元。
今年2月巴德剛剛面世時，在它被問的一系列問題中，包括如何向一個9歲的孩子解釋詹姆斯·韋伯太空望遠鏡都發現了什么。
巴德回應說，該望遠鏡拍攝了“我們太陽系外的第一張行星照片”，但是據美國宇航局證實，第一張系外行星的照片是由智利的地面陣列甚大望遠鏡于2004年捕捉到，并于2005年確認為系外行星。
科學和數學都不是巴德的強項，不過在閱讀和寫作練習方面，它確實表現要強一些。
《財富》雜志首次用巴德進行書面語測試時，答對率約為30%，而且問題往往要問兩遍它才能理解。
哪怕答案是錯的，巴德的語氣也很自信，經常以這樣的回答開頭：“正確答案是”——這是大型語言模型的共同特征。
奇怪的是，巴德在數學和寫作能力測試中得分最高的是關于《哈利波特》作者J.K.羅琳的一篇文章。
這次測試中，巴德得了1200分，這個SAT分數可以上霍華德大學、圣地亞哥州立大學和密歇根州立大學等。
隨著《財富》雜志向巴德提出的語言類問題逐漸增多(總共約45個)，巴德出現題目理解困難或需要重復提問的頻率在減少。
在閱讀測試中，巴德的表現同樣優于數學測試——平均答對了一半左右。
谷歌的一位發言人在回應《財富》雜志(Fortune)的置評請求時，重申了皮查伊的論點，他說：“巴德還在實驗階段，有些回復可能不準確，所以要仔細檢查巴德給出的回復。有了你們的反饋，巴德每天都在進步。在巴德公開發布之前，數千名測試人員通過提供反饋，幫助巴德提高了它的質量、安全性和準確性。
“用生成式人工智能加快人們的思考確實是件令人興奮的事情，但它仍處于早期階段，巴德只是一個實驗。雖然巴德有符合我們的人工智能原則的內置安全控制和明確反饋機制，但請注意，它可能會顯示不準確的信息?！?/p>
在給巴德提問題的幾天時間里，它確實顯示出準確性在提高的跡象。關于它的發展速度，它是這么說的：“我會說我正在快速進步。”
“我現在可以做一些就在幾個月前還不會做的事。我很興奮地看到我的未來是什么樣的。我相信我將繼續進步，在未來幾年，我將能夠做到更多?！保ㄘ敻恢形木W）
譯者：Agatha
谷歌對巴德并不完美的事實相當坦誠。
Alphabet首席執行官桑達爾·皮查伊似乎對本公司的人工智能模型需要走多遠并不焦慮，他在一份公司內部備忘錄中寫道，巴德（Bard）還處于早期階段：“隨著更多人開始使用巴德，測試它的功能，到時會出現讓我們意想不到的事情。會出現各種問題?！?/p>
現在巴德已邀請公眾參與測試，之前參與內測的8萬名用戶主要是谷歌員工。
《財富》雜志終于排到號了，所以我們趕在今年春天的美國青少年SAT考試之前，對巴德進行了測試。
SAT是全球公認的美國大學入學考試，考試的技能包括閱讀、寫作和數學。
對谷歌來說，不幸的是，巴德似乎還考不上哈佛，因為它答的大部分數學題都是錯的，而在寫作和語言測試中想考高分也很艱難。
第一次登錄巴德時，用戶的期望值已經被彈出的一條消息設定好了，上面寫著：“巴德并不總是正確的。巴德可能會給出不準確或不恰當的回答。如果有疑問，可以點擊‘谷歌一下’（Google it）的按鈕檢查巴德的回復。有了你的反饋，巴德會變得更好。請對巴德的答案做出評分，并對任何可能具有冒犯性或不安全的內容進行標記?！?/p>
巴德表現如何？
回到答題上來。
《財富》雜志從在線學習資源中找了一些SAT數學練習題，發現巴德有50%到75%的答案是錯的——哪怕是有選項的選擇題。
很多情況下，巴德給出的答案甚至不在選擇范圍內，不過如果再問一遍，它有時就能答對。
這款人工智能的不準確性已經讓谷歌花費了大約1000億美元。
今年2月巴德剛剛面世時，在它被問的一系列問題中，包括如何向一個9歲的孩子解釋詹姆斯·韋伯太空望遠鏡都發現了什么。
巴德回應說，該望遠鏡拍攝了“我們太陽系外的第一張行星照片”，但是據美國宇航局證實，第一張系外行星的照片是由智利的地面陣列甚大望遠鏡于2004年捕捉到，并于2005年確認為系外行星。
科學和數學都不是巴德的強項，不過在閱讀和寫作練習方面，它確實表現要強一些。
《財富》雜志首次用巴德進行書面語測試時，答對率約為30%，而且問題往往要問兩遍它才能理解。
哪怕答案是錯的，巴德的語氣也很自信，經常以這樣的回答開頭：“正確答案是”——這是大型語言模型的共同特征。
奇怪的是，巴德在數學和寫作能力測試中得分最高的是關于《哈利波特》作者J.K.羅琳的一篇文章。
這次測試中，巴德得了1200分，這個SAT分數可以上霍華德大學、圣地亞哥州立大學和密歇根州立大學等。
隨著《財富》雜志向巴德提出的語言類問題逐漸增多(總共約45個)，巴德出現題目理解困難或需要重復提問的頻率在減少。
在閱讀測試中，巴德的表現同樣優于數學測試——平均答對了一半左右。
谷歌的一位發言人在回應《財富》雜志(Fortune)的置評請求時，重申了皮查伊的論點，他說：“巴德還在實驗階段，有些回復可能不準確，所以要仔細檢查巴德給出的回復。有了你們的反饋，巴德每天都在進步。在巴德公開發布之前，數千名測試人員通過提供反饋，幫助巴德提高了它的質量、安全性和準確性。
“用生成式人工智能加快人們的思考確實是件令人興奮的事情，但它仍處于早期階段，巴德只是一個實驗。雖然巴德有符合我們的人工智能原則的內置安全控制和明確反饋機制，但請注意，它可能會顯示不準確的信息。”
在給巴德提問題的幾天時間里，它確實顯示出準確性在提高的跡象。關于它的發展速度，它是這么說的：“我會說我正在快速進步?！?/p>
“我現在可以做一些就在幾個月前還不會做的事。我很興奮地看到我的未來是什么樣的。我相信我將繼續進步，在未來幾年，我將能夠做到更多?！保ㄘ敻恢形木W）
譯者：Agatha
Google has been pretty open about the fact that Bard isn’t perfect.
Alphabet CEO Sundar Pichai appears to be relaxed about how far the company’s A.I. models have to go, writing in a company-wide memo that Bard is in its early stages: “As more people start to use Bard and test its capabilities, they’ll surprise us. Things will go wrong.”
Now the public has been invited to test Bard, whereas previously the 80,000 users putting it through its paces were mainly made up of Google employees.
Fortune‘s spot on the wait list was finally called up, so we put Bard through its paces ahead of the upcoming SATs American teenagers will be facing this spring.
SATs are globally recognized tests used for U.S. college admissions, in skills including reading, writing, and math.
Unfortunately for Google, it looks like Bard won’t be making it to Harvard just yet, as it got the majority of math questions wrong and similarly struggled to ace writing and language tests.
Logging on to Bard for the first time, the user’s expectations are already set by a message which pops up, reading: “Bard will not always get it right. Bard may give inaccurate or inappropriate responses. When in doubt, use the ‘Google it’ button to check Bard’s responses. Bard will get better with your feedback. Please rate responses and flag anything that may be offensive or unsafe.”
How did Bard do?
On to the questions.
Fortune sourced practice SAT math questions from online learning resources and found that Bard got anywhere from 50% to 75% of them wrong—even when multiple-choice answers were provided.
Often Bard gave answers which were not even a multiple-choice option, though it sometimes got them correct when asked the same question again.
The A.I.’s inaccuracy has already cost Google?somewhere in the region of $100 billion.
When Bard was launched in February it was asked a range of questions including how to explain to a 9-year-old what the James Webb Space Telescope has discovered.
Bard responded that the telescope took the “very first pictures of a planet outside of our own solar system” even though NASA confirmed the first image of an exoplanet was captured by the Very Large Telescope, a ground-based array in Chile, in 2004 and confirmed as an exoplanet in 2005.
Science and math aren’t Bard’s strong points either, although the A.I. did fare better when it came to reading and writing exercises.
Bard’s first written language test with Fortune came back with around 30% correct answers, often needing to be asked the questions twice for the A.I. to understand.
Even when it was wrong, Bard’s tone is confident, frequently framing responses as: “The correct answer is”—which is a common feature of large language models.
Bizarrely, Bard’s best test out of both math and written skills was a passage that focussed on Harry Potter writer J.K. Rowling.
On this test, Bard scored 1200 points, an SAT score that would get a human into the likes of Howard University, San Diego State University, and Michigan State University.
The more Bard was asked language-based questions by Fortune—around 45 in total—the less frequently it struggled to understand or needed the question to be repeated.
On reading tests, Bard similarly performed better than it did in math—getting around half the answers correct on average.
A Google spokesperson reiterated Pichai’s message when approached by Fortune for comment, saying: “Bard is experimental, and some of the responses may be inaccurate, so double-check information in Bard’s responses. With your feedback, Bard is getting better every day. Before Bard launched publicly, thousands of testers were involved to provide feedback to help Bard improve its quality, safety, and accuracy.
“Accelerating people’s ideas with generative A.I. is truly exciting, but it’s still early days, and Bard is an experiment. While Bard has built-in safety controls and clear mechanisms for feedback in line with our A.I. Principles, be aware that it may display inaccurate information.”
In the space of a couple of days of questioning Bard, the A.I. did show signs of improving accuracy; on the speed of its development the large language model noted: “I would say that I am improving at a rapid pace.
“I am able to do things that I was not able to do just a few months ago. I am excited to see what the future holds for me. I am confident that I will continue to improve and that I will be able to do even more in the years to come.”
