AI?與小學生的做題之戰(zhàn)，孰勝孰敗？
[導(dǎo)讀]編譯|禾木木出品|?AI科技大本營（ID:rgznai100）現(xiàn)在小學生的數(shù)學題不能用簡單來形容，有的時候家長拿到題也需要思考半天，看看是否有其他隱含的解題方法。市面上更是各種拍題搜答案的軟件，也是一樣的套路，隱含著各種氪金的信息。就像網(wǎng)絡(luò)上說的“不寫作業(yè)母慈子孝，一寫作業(yè)雞飛狗...
編譯 | 禾木木出品 | AI科技大本營（ID:rgznai100）現(xiàn)在小學生的數(shù)學題不能用簡單來形容，有的時候家長拿到題也需要思考半天，看看是否有其他隱含的解題方法。市面上更是各種拍題搜答案的軟件，也是一樣的套路，隱含著各種氪金的信息。就像網(wǎng)絡(luò)上說的“不寫作業(yè)母慈子孝，一寫作業(yè)雞飛狗跳”。近日，OpenAI 訓練了一個新系統(tǒng)，可以解決小學數(shù)學題，大大提升了 GPT-3 的邏輯推理問題。新系統(tǒng)可以解決小學數(shù)學問題，60 億參數(shù)的 GPT-3 采用“新方法”，準確率直接翻倍！甚至追平了擁有 1750 億參數(shù)，采用微調(diào)方法的 GPT-3 模型。還有一項重要的結(jié)果是，一個9-12歲的小學生在測試中得分為60分，采用新方法的GPT-3在同樣的問題上可以拿到55分，已經(jīng)達到了小學生90%左右的水平！
微調(diào)
OpenAI 通過更新模型參數(shù)來進行微調(diào)，以最小化所有訓練 token 的交叉熵損失。結(jié)果很顯然，可以看到 175B 模型明顯優(yōu)于較小的模型。
GSM8K 數(shù)據(jù)集中的三個示例問題值得注意的是，GSM8K 中的解決方案是用自然語言而不是純數(shù)學表達式編寫的。通過堅持使用自然語言，模型生成的解決方案更容易被人類解釋。OpenAI 的方法保持相對領(lǐng)域不可知。在GSM8K數(shù)據(jù)集上，OpenAI測試了新方法驗證（verification）和基線方法微調(diào)（fine-tuning）生成的答案。案例展示：問題：Tim 種了 5 棵樹。他每年從每棵樹上收集 6 個檸檬。他十年能得到多少檸檬？175B Verification：正確175B Fine-tuning：錯誤6B Fine-tuning：錯誤很明顯，驗證方法比基線方法（微調(diào)）在回答數(shù)學題有了很大的提升。對于這兩種方法，OpenAI 使用 GPT-3 系列模型作為初始化，主要關(guān)注 175B 和 6B 大小的模型。175B 模型最大，產(chǎn)生的結(jié)果最令引人矚目，而 6B 模型更易于實現(xiàn)研究目。AI 所展現(xiàn)出的數(shù)學實例可以看出，使用驗證方法比單純擴大參數(shù)要更加智能，但缺點是并不穩(wěn)定。現(xiàn)下，通過在一些簡單的領(lǐng)域試驗新路徑，識別和避免機器學習的錯誤是推動模型發(fā)展的關(guān)鍵方法，比如簡單的小學數(shù)學題。最終當我們試圖將模型應(yīng)用到邏輯上更復(fù)雜的領(lǐng)域時，那些不被了解的技能將變得越來越透明。參考鏈接：https://openai.com/blog/grade-school-math/
下載文檔
