大模型“爆火”后，不妨再來點冷思考

大模型似乎沒那么“熱”了。今年6月，ChatGPT訪問量環比下滑9.7%，為其推出以來首次下滑。從全球范圍看，盡管不斷有企業發布或更新大模型，但媒體和公眾似乎沒那么“上頭”了。在昨天舉行的2023世界人工智能大會青年優秀論文獎頒獎儀式暨青年科學家論壇上，復旦大學計算機科學技術學院教授邱錫鵬直言，雖說是“百模大戰”，但各家大模型之間同質化嚴重，實質性的創新比較少。事實上，大模型遠未到變成一個單純的工程問題的時候，距離人們理想中的通用人工智能，其本身還有許多科學問題亟待解決。

“百模大戰”其實是“一張臉”

“大模型還有科學價值嗎？”邱錫鵬在開場白中似乎就給大模型澆了一盆冷水。大模型的爆火并非偶然，是幾十年科研不斷推進的結果，但在ChatGPT爆火后，一個明顯的變化是這一領域中科學進步少了，大家都寄希望于通過工程手段“大力出奇跡”。

(資料圖)

比如，現在幾乎所有的大模型預訓練都基于Transformer架構，這固然是一個非常好用的架構，但其弊端也愈發顯現，它所耗費的計算資源非常龐大，需要超級算力的支撐。

另外，生成范式成為主流，這使得想要使用大模型，就必須將自己的任務變成生成式的，即便是那些非常復雜的結構化預測問題也都要用生成式方法解決。甚至，連生成式范式也在趨向統一，原先還有Seq2Seq（一種用于序列到序列的深度學習模型）和LM（語言模型）兩大類，現在只剩下后者。

而且，研究領域也在萎縮。邱錫鵬說，以自然語言處理（NLP）為例，2015年之前，這個領域還有多個不同方向，比如對話、問答、機器翻譯等，那時的學者各自有著自己的研究，并從別的研究領域中獲得靈感，而現在大家都涌向大語言模型這條單一賽道。

大模型面臨“十大科學挑戰”

盡管大模型展現出通往通用人工智能的潛力，但這條路并不好走。邱錫鵬列出了大模型亟需解決的“十大科學挑戰”，包括架構設計、思維鏈、幻覺、多模態延展、自動化評價、平民化等。其中，大模型的架構創新是當務之急。邱錫鵬說，大模型之所以稱為大模型，是因為其龐大的數據量使其擁有了涌現的能力，雖然人們至今不知道涌現是如何發生的，但是否有涌現是區別大模型與小模型的主要特征。換言之，想要大模型更智能，繼續擴大其規模是一條顯而易見的路。

但是，當下主流的Transformer架構已經制約了模型的進一步擴大。這是因為Transformer的復雜度是輸入字符長度的平方級，每多輸入一個字符，計算量就會以指數級增長。因此，“只有找到更高效的新架構，才能支持未來模型規模的進一步擴張。”

另一個對大模型發展至關重要的問題是評價體系。盡管當下有許多測評大模型優劣的榜單，但業內對此并沒有形成統一標準。而且對于擅長“刷題”的大模型來說，很多數據集上的表現已不足以衡量其真實能力。

顛覆性創新常在“冷門”處

深入研究創新規律不難發現，越是扎堆的“熱門”圈子，往往難出顛覆性創新成果，ChatGPT本身就是個“冷門選手”爆火的案例。在其火遍全球之前，在大語言模型領域，谷歌的“理解與生成相結合”的路線是絕對的主流，在這種情況下，研發ChatGPT的OpenAI公司仍然選擇堅持走自己的路。

現在，原本默默無聞的生成式AI成為了“頂流”。當人們一哄而上投入其中時，仍有一部分人還在堅持以IBM沃森機器人為代表的“AI符號主義”技術路線。以“爆款”常偏愛“冷門”的創新規律來看，或許未來的“核爆點”會獎勵默默堅持的“少數派”。

事實上，獲得今年世界人工智能大會最高獎項SAIL獎（卓越人工智能引領者獎）的論文《機器學習結合阻抗譜技術預測鋰電池老化》，就不是一個關于大模型的研究。文章作者、中山大學物理學院副教授張云蔚說，她只采集了2萬個電化學阻抗譜，就實現了AI精準建模。比起海量數據，更重要的是思路。就是這樣一個小模型，將過去需要花費幾天才能實現的電池壽命預測縮短到了15分鐘，且檢測精度是原來的10倍。

在大模型爆火的半年多時間里，大家似乎形成了一種共識，即只有資金雄厚和數據儲備充足的大廠才有進軍大模型的資格。對此，邱錫鵬認為，大模型還有大量科學問題需要攻關，這些問題除了預訓練階段需要耗費大算力外，在對齊、指令微調等方面所需的算力并不高。而隨著算法的優化，3090顯卡足以能完成大模型的研究，這是一條小公司也能“出奇跡”的賽道。（記者 沈湫莎）

編輯：王韻

標簽：