人工智能（AI）最近的進步主要歸結于一點：規模。

大約在本世紀初，人工智能實驗室注意到，不斷擴大算法或模型的規模，并持續為其提供更多數據，可以極大地提高算法和模型的性能。

最新的一批AI模型擁有數千億到超過萬億個內部網絡連接，并通過消耗互聯網的大量資源，學會像我們一樣編寫代碼。

訓練更大的算法需要更強的計算能力。因此，根據非營利性人工智能研究機構EpochAI的數據，為了達到這一點，專門用于人工智能訓練的計算能力每年都在翻兩番。

如果這一增長持續到2030年，未來的AI模型將擁有比當今最先進的算法（如OpenAI的GPT-4）高出10,000倍的計算能力。

Epoch在最近的一份研究報告中寫道：“如果繼續下去，我們可能會在本十年末看到人工智能的巨大進步，就像2019年GPT-2的簡陋文本生成和2023年GPT-4的復雜問題解決能力之間的差別一樣。”

但現代人工智能已經吸納了大量的電力、數以萬計的先進芯片和數萬億的在線實例。與此同時，該行業已經經歷了芯片短缺，而且研究表明它可能會耗盡高質量的訓練數據。

假設公司繼續投資人工智能擴展：這樣的增長速度在技術上可行嗎？

Epoch在報告中探討了人工智能擴展的四大制約因素：電力、芯片、數據和延遲。總結：保持增長在技術上是可能的，但并不確定。原因如下：

01.動力：我們需要大量電力

電根據Epoch的數據，這相當于23000個美國家庭的年耗電量。但是，即使提高了效率，在2030年訓練一個前沿人工智能模型所需的電力也將是現在的200倍，即大約6千兆瓦。這相當于目前所有數據中心耗電量的30%。

能提供這么多電力的發電廠很少，而且大多數發電廠可能都簽訂了長期合同。但這是假設一個發電站就能為一個數據中心供電。

Epoch認為，企業將尋找可以通過當地電網從多個發電廠供電的地區。考慮到計劃中的公用事業增長，走這條路雖然吃緊，但還是有可能的。

為了更好地打破瓶頸，公司可以在多個數據中心之間分配訓練。在這種情況下，它們會在多個地理位置獨立的數據中心之間分批傳輸訓練數據，從而降低任何一個數據中心的電力需求。

這種策略需要快速、高帶寬的光纖連接，在技術上是可行的，谷歌雙子座超級計算機的訓練運行就是一個早期的例子。

總而言之，Epoch提出了從1千兆瓦（本地電源）到45千兆瓦（分布式電源）的各種可能性。公司利用的電力越多，可訓練的模型就越大。在電力有限的情況下，可以使用比GPT-4高出約10000倍的計算能力來訓練模型。

02.芯片：能否滿足計算需求？

所有這些電力都用于運行人工智能芯片。其中一些芯片向客戶提供完整的人工智能模型；一些則訓練下一批模型。Epoch仔細研究了后者。

人工智能實驗室使用圖形處理器（GPU）訓練新模型，而英偉達是GPU領域的佼佼者。臺積電（TSMC）生產這些芯片，并將它們與高帶寬內存夾在一起。預測必須考慮到所有這三個步驟。根據Epoch的說法，GPU生產可能還有剩余產能，但內存和封裝可能會阻礙發展。

這考慮到預計的行業產能增長，他們認為2030年可能會有2000萬到4億個AI芯片用于AI訓練。其中一些將用于現有模型，而人工智能實驗室只能購買其中的一小部分。

范圍如此之大，說明模型存在很大的不確定性。但考慮到預期的芯片容量，他們認為一個模型可以在比GPT-4高出約5萬倍的計算能力上進行訓練。

03.數據：人工智能的在線教育

眾所周知，人工智能對數據的渴求和即將到來的稀缺性是一個制約因素。有人預測，到2026年，高質量的公開數據流將枯竭。但Epoch認為，至少在2030年之前，數據稀缺不會阻礙模型的發展。

他們寫道，按照目前的增長速度，人工智能實驗室將在五年內耗盡高質量的文本數據，版權訴訟也可能影響供應。

Epoch認為這給他們的模型增加了不確定性。但即使法院做出有利于版權持有者的判決，像VoxMedia、《時代》、《大西洋月刊》等公司所采取的復雜的執法和許可協議也意味著對供應的影響將是有限的。

但至關重要的是，現在的模型在訓練中不僅僅使用文本。例如，谷歌的Gemini就是通過圖像、音頻和視頻數據進行訓練的。

非文本數據可以通過字幕和腳本的方式增加文本數據的供應。非文本數據還可以擴展模型的能力，比如識別冰箱食物的圖片并推薦晚餐。

更推測性的是，它甚至可能導致遷移學習，即在多種數據類型上訓練出來的模型優于僅在一種數據類型上訓練出來的模型。

Epoch稱，還有證據表明，合成數據可以進一步擴大數據量，但具體有多少還不清楚。

DeepMind長期以來一直在其強化學習算法中使用合成數據，Meta公司也使用了一些合成數據來訓練其最新的人工智能模型。

但是，在不降低模型質量的前提下，使用多少合成數據可能會有硬性限制。而且，合成數據的生成還需要更昂貴的計算能力。

不過總的來說，包括文本、非文本和合成數據在內，Epoch估計有足夠的數據來訓練人工智能模型，其計算能力是GPT-4的8萬倍。

04.延遲：規模越大，速度越慢

最后一個限制因素與即將推出的算法的規模有關。算法越大，數據穿越其人工神經元網絡所需的時間就越長。這可能意味著訓練新算法所需的時間變得不切實際。

這一點有些技術性。簡而言之，Epoch考察了未來模型的潛在規模、并行處理的訓練數據批次規模，以及在人工智能數據中心服務器內部和服務器之間處理數據所需的時間。這樣就能估算出訓練一個一定規模的模型需要多長時間。

主要啟示以目前的設置來訓練人工智能模型終究會遇到天花板，但不會持續太久。

據Epoch估計，按照目前的做法，我們可以用比GPT-4高出100萬倍的計算能力來訓練人工智能模型。

05.擴展規模：10000倍

我們會注意到，在每種限制條件下，可能的人工智能模型的規模都會變大，也就是說，芯片的上限比功率高，數據的上限比芯片高，以此類推。

但是，如果我們把所有限制因素放在一起考慮，那么模型只能在遇到第一個瓶頸時才有可能實現。在這種情況下，瓶頸就是功率。即便如此，技術上還是可以實現大幅擴展。

Epoch認為：“如果綜合考慮，這些人工智能瓶頸意味著到本十年末，訓練運行高達2e29FLOP是可行的。”

這將代表著相對于當前模型的大約10,000倍的擴展，意味著歷史上的擴展趨勢可以不間斷地持續到2030年。

雖然所有這些都表明持續擴展在技術上是可能的，但這也做出了一個基本假設：人工智能投資將按需要增長，以資助擴展，并且擴展將繼續產生令人印象深刻的進步，更重要的是，有用的進步。

目前，各種跡象表明，科技公司將繼續投入歷史性的巨額現金。在人工智能的推動下，新設備和不動產等方面的支出已經躍升至多年來從未見過的水平。

Alphabet首席執行官Sundar Pichai在上一季度的財報電話會議上表示：“經歷這樣的曲線時，投資不足的風險要遠遠大于投資過度的風險。”

但支出還需要進一步增長。Anthropic公司首席執行官Dario Amodei估計，今天訓練的模型成本可能高達10億美元，明年的模型成本可能接近100億美元，此后幾年每個模型的成本可能達到1000億美元。

這是一個令人眼花繚亂的數字，但企業可能愿意為此付出代價。據報道，微軟已經為其Stargate人工智能超級計算機投入了這么多資金，該項目是微軟與OpenAI的合作項目，將于2028年推出。

不言而喻，投資數百億或數千億美元的意愿并不能保證。畢竟這一數字超過許多國家的GDP和科技巨頭目前年收入的一大部分。隨著人工智能的光芒逐漸褪去，人工智能能否持續增長可能會變成一個“你最近為我做了什么”的問題。

投資者已經在檢查底線。如今，投資金額與回報金額相比相形見絀。為了證明加大投入是合理的，企業必須證明其規模不斷擴大，能夠生產出更多更強大的人工智能模型。

這意味著即將推出的模型面臨著越來越大的壓力，必須超越漸進式的改進。如果收益下降，或者有足夠多的人不愿意為人工智能產品買單，情況可能會發生變化。

此外，一些評論家認為，大型語言和多模態模型可能只是個昂貴的死胡同。而且，總有可能出現突破，就像這一輪的突破一樣，表明我們可以用更少的資源完成更多的任務。我們的大腦只需一個燈泡的能量就能持續學習，而不需要互聯網那樣龐大的數據量。

Epoch稱，盡管如此，如果目前的方法“能將相當一部分經濟任務自動化”，其經濟回報可能高達數萬億美元，足以證明花費的合理性。許多業內人士都愿意下這個賭注。但究竟結果如何，目前還不得而知。

技術是在不斷進步的，對于我們的日常生活，以及商業活動、企業經營管理等都會造成重大影響。對于商家來說，只有跟上變化步伐，不斷適應新形勢，才能長久經營。

四川多享信息技術有限公司是一家專注于數字化服務、系統開發、新媒體營銷、農村電商的專業互聯網公司，公司位于成都高新區天府二街，成立16年，至今已助力5000+中小企業實現數字化轉型升級。

研發了B2C商城系統、私域電商系統、分銷商城系統、S2B2b2C供應鏈電商系統、小程序商城系統等，支持中臺云倉、供應商、自營商城、直播、短視頻、分銷、零售商管理、運營商管理、營銷工具、數據分析、會員儲值、積分商城等功能，幫助企業實現數字化轉型，助力降本增效，獲取更多收益！