獲取40%折扣優惠
🔑 精選股票觀點,五一輕鬆解鎖財富密碼領取限時優惠

中信證券:對於OpenAI新一代模型GPT5,我們能期待什麼?

發布 2024-4-19 下午01:27
© Reuters.  中信證券:對於OpenAI新一代模型GPT5,我們能期待什麼?

智通財經APP獲悉,中信證券發佈研報指出,作爲當下AI產業矚目的焦點,GPT-5目前正處於紅隊測試階段,預計最快今年夏天面世。作爲最新一代的大語言模型,GPT-5有望在多模態理解、長文本輸入、zero-shot學習等方面樹立新的里程碑。GPT-5的升級將是一次多方位的全面迭代,其中多模態能力支持更長文本輸入是最重要的兩個方面。

同時在視頻模態處理和超長文本輸入上取得突破,大幅提升模型在複雜認知任務上的表現。預計GPT-5將補齊圖像和視頻模態,實現跨模態的內容生成和理解,同時在長文本處理和長邏輯推理任務上有望取得突破性進展。

在模型算法與架構上,預計GPT-5將繼續採用MoE架構,參數規模或將達到數百萬億,對訓練數據質量和規模的要求也將大幅提高。預計,爲補足數據缺口,合成數據在訓練集中的佔比將持續增加,對合成數據技術也提出了更高的要求。

在商業模式上,GPT-5將進一步向AI Agent靠攏,注重與真實應用場景的融合,添加對長任務鏈應用的支持。此外,預計它將簡化面向企業的定製化微調流程,並拓展在內容生成、問答、流程自動化等場景的應用廣度和深度。

中信證券主要觀點如下:

報告緣起:GPT-5紅隊測試郵件爆出,預計二季度末至三季度推出

Deep Trading創始人Peleg等人在社交媒體X上透露,GPT-5早已準備就緒,目前正處於選定用戶的紅隊測試階段,全面評估模型的安全性和可靠性。紅隊測試旨在邀請外部專家嘗試以惡意用戶的思路“攻擊”並試圖找出模型的潛在缺陷和風險點,是大型語言模型發佈前的關鍵一環。

通過模擬真實世界的各種異常情況,紅隊測試可以幫助模型在上線前進一步強化安全性,提高魯棒性。中信證券指出,根據過往測試的經驗推測,一般此階段爲期3-4個月,預計GPT-5最快今年夏天面世。回顧GPT模型前四代的表現,每一次更新都在性能上實現了全面的提升。GPT-5作爲最新一代的大語言模型,有望在多模態理解、長文本輸入、zero-shot學習等方面樹立新的里程碑。

GPT5能力展望:多模態能力升級,支持長文本輸入,開啓人機交互新時代

中信證券認爲,GPT-5的升級並不會出現如同GPT-2到GPT-3的基礎能力飛躍,但這次迭代將會是一次多方位的全面升級,而其中多模態能力是GPT-5迭代的最重要部分。對於即將到來的GPT-5,它將補齊圖像模態的多模態功能,實現圖文互生的能力。此外,在今年年初Sora模型掀起視頻多模態處理熱潮後,GPT-5可能也會在視頻模態上取得一定進展,將來GPT-5在視頻理解和生成上的嘗試,都將爲未來數字世界和物理世界的深度融合鋪平道路。

除了多模態能力外,文本輸入長度也是今年一季度各家模型廠商競爭的另一個關鍵焦點,較長的文本輸入長度是實現複雜長文本處理和長邏輯推理的基礎,也是構建能處理複雜任務的AI Agent的必要條件。

中信證券認爲,GPT-5將在長文本處理和長邏輯推理任務上實現新的突破,刷新這一領域的SOTA(State of the Art)表現。這一能力的提升,將爲GPT-5在知識密集型任務中的出色表現提供強有力的支撐。大幅躍升的文本處理能力,結合升級後的多模態理解水平,有望使GPT-5成爲迄今爲止最強大的通用人工智能系統之一。

模型算法&訓練:MOE架構支撐Scaling Law延續,合成數據補足當前數據缺口

回顧去年發佈的GPT-4,其採用了MoE(Mixture-of-Experts)架構,以更低的計算成本支持1.8萬億參數規模。MoE的"數據路由"機制讓每次前向/後向傳播實際使用的參數量大幅減少,這使MoE成爲延續大模型性能與參數規模正相關(即Scaling Law)的一條可行且經濟的路徑。

考慮到Scaling Law與數據源的限制,中信證券預計GPT-5仍將採用MoE架構,參數量可能達GPT-4的10-50倍。而當前可直接獲取的高質量文本數據已接近上限。參考GPT-2到GPT-4的迭代速度和Chinchilla定律,中信證券估算GPT-5級別模型需要60萬億到100萬億tokens訓練數據,但全網範圍內高質量tokens或許不足50萬億。

中信證券認爲,隨着模型規模持續擴張,合成數據在訓練集中的佔比將穩步提高,成爲算法創新的重要數據基礎。但面對GPT-5這樣的超大規模模型,對合成數據的質量、多樣性和可靠性也將提出更高要求,亟需數據生成技術取得進一步突破。

商業模式更新:應用市場協同垂直場景突破,賦能產業數字化轉型

中信證券表示,商業模式更新將會是GPT-5的核心側重點,雖然可能看不到例如連續任務長邏輯推導等任務上的突破,但GPT-5一定會在CoT(Chain of Thoughts)的基礎上向AI Agent進一步靠近。這意味着GPT-5將更加註重與現實世界應用場景的深度融合,可能會在GPT Store中看到更多長任務鏈邏輯的應用。除了GPT Store的應用外,預計GPT-5還將會在兩個方面實現商業性上的突破:

其一,GPT-5將大大簡化面向企業級用戶的定製化微調流程。得益於其在少樣本學習、上下文理解等方面的進步,GPT-5有望通過更少的數據和更簡單的微調步驟,快速適配不同行業的特定需求,大幅降低企業的應用門檻和開發成本。

其二,GPT-5將進一步拓展其在內容生成、知識問答、業務流程自動化等場景下的應用深度和廣度。

投資策略

從算力層面看,GPT-5的規模擴張將進一步推高訓練和推理階段對算力的需求。中信證券預計,GPT-5的參數規模將達到5-10萬億左右,相比GPT-4有數量級的增長。在如此龐大的參數規模下,即使採用了MoE架構,對訓練所需算力的需求也將呈現爆發式增長。

在推理端,雖然MoE架構使得每次前向傳播所需算力大幅減少,但由於應用場景的增多,GPT-5推理側的總體算力需求依然可能出現數倍的增長。在數據層面,合成數據被視爲解決GPT-5訓練數據缺口的重要途徑。但要滿足GPT-5對訓練數據質量、多樣性和可靠性的較高要求,數據合成技術仍需持續創新。

除算力和數據兩條主線外,還有一個值得重點關注的機會在於GPT-5的商業化進程或將催生軟硬一體化AI產品和服務。GPT-5在多模態、長文本等技術優勢下,有望爲企業級數字化轉型提供更強的賦能方案。結合領先企業數字化轉型解決方案供應商,GPT-5有望推動AI算法和企業應用場景的深度融合,產生軟硬一體化的AI產品組合。中信證券持續看好算力環節的投資機會,並建議逐步關注軟件等應用環節的商業化落地進展。

風險因素:

AI核心技術發展不及預期風險;科技領域政策監管持續收緊風險;私有數據相關的政策監管風險;全球宏觀經濟復甦不及預期風險;宏觀經濟波動導致歐美企業IT支出不及預期風險;AI潛在倫理、道德、用戶隱私風險;企業數據泄露、信息安全風險;行業競爭持續加劇風險等。

最新評論

風險聲明: 金融工具及/或加密貨幣交易涉及高風險,包括可損失部分或全部投資金額,因此未必適合所有投資者。加密貨幣價格波幅極大,並可能會受到金融、監管或政治事件等多種外部因素影響。保證金交易會增加金融風險。
交易金融工具或加密貨幣之前,你應完全瞭解與金融市場交易相關的風險和代價、細心考慮你的投資目標、經驗水平和風險取向,並在有需要時尋求專業建議。
Fusion Media 謹此提醒,本網站上含有的數據資料並非一定即時提供或準確。網站上的數據和價格並非一定由任何市場或交易所提供,而可能由市場作價者提供,因此價格未必準確,且可能與任何特定市場的實際價格有所出入。這表示價格只作參考之用,而並不適合作交易用途。 假如在本網站內交易或倚賴本網站上的資訊,導致你遭到任何損失或傷害,Fusion Media 及本網站上的任何數據提供者恕不負責。
未經 Fusion Media 及/或數據提供者事先給予明確書面許可,禁止使用、儲存、複製、展示、修改、傳輸或發佈本網站上含有的數據。所有知識產權均由提供者及/或在本網站上提供數據的交易所擁有。
Fusion Media 可能會因網站上出現的廣告,並根據你與廣告或廣告商產生的互動,而獲得廣告商提供的報酬。
本協議以英文為主要語言。英文版如與香港中文版有任何歧異,概以英文版為準。
© 2007-2024 - Fusion Media Limited保留所有權利