據悉，近日全球半導體行業(yè)研究公司 SemiAnalysis 首席分析師 Dylan·Patel 表示，由于 ChatGPT 運行在價格昂貴的計算基礎設施之上，OpenAI 每天為運行 ChatGPT 投入的成本可能高達 70 萬美金。
Dylan·Patel 表示，無論是撰寫求職信、生成教學計劃、幫助用戶優(yōu)化個人資料，還是基于事實或假設對事物進行判斷分析，ChatGPT 均需要龐大的算力才能基于用戶的輸入信息做出反饋，而這部分成本都來自于昂貴的服務器。
Dylan·Patel 及其同事 Afzal·Ahmad 均認為，雖然訓練 ChatGPT 背后的大語言模型可能要花費上億美元，但其運營費用或其背后的內容生產成本會更高，即使采用任何合理的部署規(guī)模都遠遠超過了其訓練成本。
近日傳言微軟為了降低生成式人工智能模型的運行成本正在開發(fā)一款代號為“Athena”的 AI 芯片。報道稱該項目自 2019 年以來一直在生產中，并可供一小部分 Microsoft 和 OpenAI 員工進行測試。
微軟之前與 OpenAI 達成了 10 億美元的投資協(xié)議，要求 OpenAI 僅在微軟的 Azure 云服務器上運行其模型。此前有消息稱，因為短缺導致微軟為一些內部團隊配給 GPU。而英偉達的處理器售價很高，因此微軟期望以相同工作負載的更便宜方式來運行。
除了強大的性能之外，英偉達的芯片還具有顯著的軟件優(yōu)勢，大部分 AI 工作負載都是為它們設計的，并且擁有數十年的開發(fā)人員經驗。目前微軟大約有 300 多名員工正在開發(fā)這款芯片。
消息人士稱，該芯片最早可能在明年發(fā)布供微軟和 OpenAI 內部使用，微軟官方對此沒有回復，但是否也讓 Azure 客戶使用還正在討論中。谷歌開發(fā)了自己的 AI 芯片系列 TPU，是目前唯一開發(fā) LLM 的競爭對手芯片，而亞馬遜擁有自己的替代產品線 Trainium。
據悉，“Athena”基于 5nm 工藝節(jié)點，專為大型語言模型 (LLM) 等訓練軟件而構建，這些軟件是近幾個月出現的生成式 AI 激增的核心，但這些模型的增長一直受到 AI 訓練芯片市場領導者英偉達GPU 短缺的困擾。
網站客服
粵公網安備 44030402000946號