光明網訊今年以來,以ChatGPT、文心一言等為代表的大語言模型火爆出圈,人工智能(AI)能否超越人類的問題引發各界熱議。5月29日,由中國智能計算產業聯盟組織召開的“2023中國算力發展研討會”在中科院計算所召開。此次研討會以ChatGPT下算力的機遇與挑戰為主題,匯集了業內多位權威專家學者,從技術、生態等多維度展開深度交流研討,厘清算力產業的發展風向,并就當下人工智能基礎設施及算力服務建設等課題給出應對之策。
研討會上,中國科學院院士陳潤生表示,人工智能的發展不是人所能阻擋的,這是科學發展的本質。他同時指出,大語言模型中出現的“涌現(Breakthroughness)”和“頓悟(Grokking)”現象,值得大家思考。
何為“涌現”?一個復雜系統由很多微小個體構成,這些微小個體湊到一起,相互作用,當數量足夠多時,在宏觀層面上展現出微觀個體無法解釋的特殊現象,即為“涌現”。陳潤生形象地解釋說,“我給它(大模型)很多學習數據,結果它的答案里面會出現學習數據里沒有的事,這種現象叫涌現。”大模型的運算表明,當訓練數據很大時(比如超過了1000億),就會出現涌現現象,規模小的時候不會出現這個現象。
(資料圖)
需要明確的是,目前科學界對涌現現象是有爭論的。比如,斯坦福大學某教授認為這是度規問題,牽扯到度量、基本物理坐標系等。
“自然語言處理過程中,由于整個計算量的迅速增加而出現的涌現現象,這個是新問題,值得思考”,陳潤生說。
何為“頓悟”?陳潤生解釋,“你訓練一個神經網絡的過程中,一遍它不懂,兩遍也不懂,第四遍還不懂,第五遍一下學會了,就像小孩學東西一樣,教一兩遍不懂,教到N+1遍突然就學會了。”
他認為,這是人腦學習的一種模式,“學到某一個時間開竅了”,“計算機不可能出現頓悟,但是大模型會出現頓悟的情況”。
不久前,ChatGPT的主要競爭對手之一Claude將語境窗口token數擴展到10萬,相當于7.5萬個單詞,大大超越GPT-4語境窗口的8192 tokens。這意味著用戶可以將高達500頁的文檔上傳到Claude,它可以在不到1分鐘之內就理解、消化這些信息,并基于上傳的信息回答用戶的問題。
Claude是Anthropic公司推出的,這家公司由前OpenAI員工創立,自2022年底以來,谷歌已向該公司投資了近4億美元。
對此,陳潤生認為,目前大模型的學習速度比我們想象中快得多,“這兩家公司(OpenAI與Anthropic)你追我趕,說不定再過一段時間,GPT-5出來之后又比Claude強了,它發展那么快,將來人們趕不上。”
“更麻煩的是,這些大模型公司都在考慮去操縱第三方設備”,陳潤生說,“能夠去操縱第三方設備是令人擔憂的一件事情,如果操縱和安全、國防相關的東西,那就不得了了。”
陳潤生坦言,人類的神經網絡結構遠比目前的大模型復雜得多,人工智能的發展還有很長的路要走,“現在的(人工智能)神經網絡在空間結構模型上應該有革命性的變化,也許那個時候,(AI)真的能夠超越人的智力。”(記者 戰釗)
免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。
上一篇:小朋友“被迫營業” 兒童節不該成“任務節”|天天訊息
下一篇:最后一頁