元宇宙英語論文

⑴ 大模型量化感知訓練開山之作：LLM-QAT

近日，Meta的元宇宙部門 Reality Labs 提出了針對大模型的量化感知訓練，該論文被認為是大模型量化感知訓練的開山之作。本文將深入探討該論文的技術原理、實驗效果、數據選擇策略、量化方法對比、知識蒸餾方法的消融實驗。
摘要指出，目前針對大模型的訓練後量化方法在低至 8 比特的情況下也能表現出良好效果。然而，作者發現這些方法在較低比特精度下存在缺陷。因此，本文研究了大模型的量化感知訓練（Quantization Aware Training，QAT），以進一步提升量化水平。同時，提出了數據無關的蒸餾方法，利用預訓練模型產生的生成數據，可以更好地保留原始輸出分布，允許獨立於其訓練數據來量化任何生成模型，類似訓練後量化方法。文中創新性地量化了 KV 緩存，這對於提高吞吐量和支持當前模型規模的長序列依賴至關重要。
論文通過在低至 4 比特的量化級別上對 LLaMA-7B/13B/30B 模型進行實驗，顯示相對於訓練免費方法，該訓練感知量化對模型效果有顯著改進，尤其是在低比特場景下。
序言部分介紹了大模型的誕生證實了隨著模型參數規模的增加，模型能力的提升。然而，由於需要大量算力和顯存，服務如此大規模的模型對用戶來說仍面臨挑戰。因此，針對大模型的量化研究變得尤為重要。文中指出現有工作主要集中在針對權重和激活進行 8 比特的訓練後量化，但在 LLaMA-65B 這類大模型中，即使模型權重仍然需要大量的 GPU 內存，KV 緩存的內存需求也非常高。這使得上述工作並未考慮對 KV 緩存的量化。然而，較低比特的量化方法在 LLaMA-65B 等大模型上會導致模型質量急劇下降。因此，有必要採用 QAT 來提高量化水平。
在現有針對大模型量化感知訓練研究相對空白的背景下，該論文的出現填補了這一空白。首先，QAT的實施對大模型的訓練提出了技術挑戰和算力要求。其次，QAT需要訓練數據，但對於大模型來說，獲取這些數據非常困難，預訓練數據的龐大規模和多樣性本身就是一個障礙，數據預處理也面臨挑戰。此外，法律限制和多階段復雜訓練過程也影響了 QAT 的實施。本文提出了一種數據無關的蒸餾方法，利用大模型本身生成的數據進行知識蒸餾，解決了上述問題。實驗結果表明，這種方法能夠更好地保留原始模型的輸出分布，且僅使用少量采樣數據就能提取量化模型，保證計算成本合適。所有實驗都在單個 8-GPU 訓練節點上完成。
該論文將 QAT 應用於 LLM，產生了第一個精確的 4 比特量化 LLM。同時，證實了在量化權重和激活時同時量化 KV 緩存對於緩解長序列生成的吞吐量瓶頸至關重要。通過新穎的數據無關蒸餾方法實現，這使得 QAT 對於大型預訓練生成模型非常實用。
在方法部分，論文深入探討了 QAT 在 LLM 中應用的挑戰，包括選擇合適的微調數據集的重要性以及如何確保預訓練模型在量化後保持其在零射擊生成方面的表現。對於大模型的獨特權重和激活分布，論文確定了適合 LLM 的量化方法。通過使用大模型本身生成的數據進行知識蒸餾，論文提出了數據無關的量化感知訓練方法，適用於任何生成模型，無論原始訓練數據是否可用。
在數據無關蒸餾部分，論文介紹了從原始預訓練模型生成下一個 Token 數據的方法。通過在詞彙表中隨機化第一個 Token，並讓預訓練模型生成下一個 Token，然後將生成的 Token 附加到起始 Token 以生成新的輸出，重復這一過程直到達到句子 Token 的結尾或最大生成長度。通過測試三種不同的采樣策略，論文發現基於預訓練模型的 SoftMax 輸出的隨機采樣策略能夠產生更豐富的句子，提高微調學生模型的准確性。
在 QAT 部分，論文研究了線性量化和基於裁剪的量化方法。對於大語言模型，論文觀察到權重和激活都存在顯著的異常值，這些異常值對量化過程有顯著影響。然而，通過保留這些異常值而非裁剪它們，論文證明了在 QAT 過程中能夠實現更好的性能。同時，論文針對具有門控線性單元（GLU）的模型發現激活權重大多是對稱分布的，因此選擇對稱 MinMax 量化作為量化方法。論文還介紹了如何在等式 3 中採用 Per-token 量化來量化 KV 緩存。
在知識蒸餾部分，論文採用基於交叉熵的 logits 蒸餾從全精度預訓練教師網路訓練量化的學生網路。論文建議利用預訓練模型的預測作為軟標簽，這為指導學生模型的訓練提供了更多信息的目標。
實驗部分通過在 LLaMA-7B/13B/30B 模型上進行實驗並展示各種任務的結果，評估了提出方法的有效性。實驗結果表明，使用 LLM-QAT 的 4 比特模型優於類似大小的 8 比特模型。論文通過消融實驗分析了數據選擇策略、量化方法和知識蒸餾方法對最終性能的影響，結果表明，利用生成數據進行微調的模型在零樣本任務中表現出優異的通用性，並且與現有數據相比，采樣生成的數據具有更大的多樣性，這顯著提高了所有任務的性能。
結論部分強調了針對 LLM 的數據無關的量化感知訓練的重要性，以及該方法的廣泛適用性，包括在多階段訓練模型上的應用。論文為大模型的量化提供了理論基礎和實踐指導，推動了該領域的發展。

⑵ 一篇看懂國內大廠元宇宙布局

元宇宙國內大廠布局新就業風口來了

一、騰訊

國內元宇宙產業布局先鋒，目前戰術，通過資本（收購&投資）+流量（社交平台）組合拳，在底層架構（引擎UnrealEngine）、後端基建（雲服務、大數據中心）、內容與場景（各類型內容產品與成熟的社交網路互通生態）這三大方向上均著力布局，未來將像搭積纖歷木一樣探索與開發元宇宙。

1、底層架構：騰訊通過投資EpicGames、Snap占據VR、AR生態的有利地位UnrealEngine幫助渲染虛擬世界、Snap協助打造鏡像世界，布局XR硬體。騰訊於2012年花費3.3億美元投資EpicGames48.4%股份，Epic Games目前有三大塊業務，自研游戲，游戲平台，游戲引擎。

2、後端基建：ToC端，騰訊打造全周期雲游戲行業解決方案，為用戶提供全鏈路雲游戲平台與生態。ToB端，騰訊雲布局全場景IDC能力，目標是做新基建的「基建」，例如Roblox的G輪融資跟投，獨家代理Roblox中國區產品發行。迷你玩科技，旗下游戲《迷你世界》核心玩法是線上堆積木，引導玩家創作虛擬作品，目前月活超過1億。

3、內容與場景：騰訊在社交（微信+00）、游戲（全球最大游戲公司）、娛樂內容（閱文集團）等領域的優勢地位穩固，例如社交型產品Soul、虛幻引擎4驅動的3D升級版OO秀等。

騰訊在智慧零售、企業服務方面等也緊抓企業數字化浪潮推進，以「雲服務」為主要抓手，構建騰訊會議、騰訊文檔、小程序服務等通信與效率辦公Saas工具，支持企業客戶內部及其與外部用戶的協作。

4、元宇宙技術層面：根據公開數據顯示，騰訊在全球126個國家、地區中，共有24000餘件元宇宙領域的已公開專利申請，其中，發明專利佔99.74%。

騰訊在該領域的專利布局主要集中於數據處理、區塊鏈、伺服器、人工智慧、圖像處理、虛擬場景等專業技術領域。同時，騰訊在元宇宙的布局也包括數據中心的支撐，上海松江為騰訊提供了236畝的土地，助力騰訊數據中心加速落地，進而助推騰訊元宇宙基建順利實施。

二、阿里巴巴

阿里的業務核心在於電商，將圍繞某寶、TM等電商平台以及支付亮棚寶支付平台為主，逐漸打造自身的元宇宙平台。其根本原因在於這兩大平台，都為阿里巴巴聚集了大量的用戶體系，和內容生態體系。

1、某寶的VR購物Buy+計劃

Buy+是利用計算機圖形系統和輔助感測器，生成可交互的三維購物環境。用戶可以直接與虛擬世界中的人和物進行交互，甚至將現實生活中的場景虛擬化，成為一個可以互動的商品，增強線上購物的體驗感。攜手虛擬數字人AYAYI推廣營銷，並為商家提供虛擬數字人的解決方案。

2、達摩院XR實驗室

阿里趁著元宇宙這波風潮，在旗下的達摩院研究所中建立了XR實驗室，該實驗室所展示的Demo中，包括了和tm合作的全息店鋪的案例。在該場景中，XR實驗室通過三維重建的技術構建出線下店鋪的VR模型。此外，XR實驗室也與松美術館合作開發AR藝術展，成功研製應用於IDC機房的智能運維機器人。

三、網路

2021年12月網路推出的第一個，主打元宇宙的APP產品希壤宣布正式定向內測，希壤打造了一個跨越虛擬與現實、永久續存的多人互動空間。主會場是一個具有未來感的城市場景，在主會場之外的空間布局方面，希壤引入大量中國元素。

功能主要分為虛擬空間定製、全真人機互動、商業拓展平台，希壤打造的世界由無限連接的虛擬空間組成，每個虛擬空間都是一座獨一無二的城市。在希壤虛擬世界裡，每個用戶都有一套Avatar3D角色形象。通過虛擬形象，可以跟客戶或者合作夥伴進行即時的語言、互動和交流。

2022年7月，網路智能雲推出數字人直播平台，可實現超寫實數字人24小時純AI直播。2020年網路核心研發費用占收入比例達敬豎則21.4%，研發投入強度位於中國大型科技互聯網公司前列。在探索下一代互聯網的過程中，網路的努力方向是成為元宇宙引擎，為希壤以及其他元宇宙產品提供AI和雲計算能力。

四、位元組跳動

位元組跳動基於「硬體+內容」的邏輯，以社交與娛樂為切入口，基於短視頻流量優勢在海內外市場同步發力，同時斥資90億元收購國內規模最大的VR軟硬體製造商Pico。

從硬體及操作系統（收購Pico）、底層架構（投資代碼乾坤、維境視訊）、內容與場景（短視頻、游戲、VR社交）這三大組件發力著力布局元宇宙。

今年1月，位元組跳動推出社交App「派對島」，主打沉浸式社交，是一個實景化的實時線上活動社區，用戶在這里可以隨時以自己的虛擬形象化身和朋友一起閑逛，還可以一起實時聊天互動、共同參與線上活動，並獲得意想不到的陪伴與參與感。不過「派對島」是一個仍在小范圍內測的社交產品，必須有邀請碼才可以使用。

五、網易

網易作為游戲大廠，具備元宇宙先天優勢。除了在自家游戲中探索元宇宙之外，還積極推出了元宇宙基礎設施的軟體框架，網易稱之為下一代互聯網技術架構。

1、推出下一代互聯網技術架構

去年年12月，網易首次公布其面向「元宇宙」的下一代互聯網技術架構，並推出其虛擬人SDK（軟體開發工具包）「有靈」、沉浸式活動系統「瑤台」。

1）有靈虛擬人SDK，包括3D智能捏臉、3D動畫合成、語音合成等多個模塊，使用戶能夠製作虛擬數字人，降低使用門檻。

2）沉浸式活動系統瑤台，目前主要面向活動、會展、會議等應用場景，使參會者可以定製自己專屬形象，進行動作和表情遷移，獲得沉浸式的虛擬活動體驗。

3）網易伏羲推出虛擬人「林么」，首次亮相網易嚴選6周年慶代言人徵集活動，並穿越至三次元世界打卡嚴選實體店。

2、游戲結合元宇去年10月，在《逆水寒》中舉辦了第二屆國際分布式人工智慧學術會議。全球300多位學者換上古風服裝、梳起發髻，在大宋皇宮中討論人工智慧前沿技術，採用瑤台提供支持，PPT入式播放、分會場自由切換和文字及語音群聊等會議功能，其中最受好評的要數定製化的「牆展」功能。

參會學者可以閱讀牆展論文，像線下一樣對話、交流，充分還原了學術會議中最有魅力的交流環節。

六、京東

京東首次提出了「產業元宇宙」的概念，並重點闡釋了去發展布局和基礎實踐。京東探索研究院院長陶大程認為，產業元宇宙不止強調數字世界的構建，而是更加重視數字世界對現實世界的再創造能力，著力提升人類在現實世界、實體經濟中認識和改造世界的能力。

基於此，京東構建了OmniForce開放生態平台的體系，提供一體化中台解決方案，向開發者提供數字攣生的復刻能力、數字伴生的模擬優化能力，以及數字原生對現實世界的改造能力，夯實產業元宇宙的雲底座。

七、華為

積極布局元宇宙的後端基建，在5G、晶元領域具有優勢。華為河圖擁有先進的「3D地圖+空間計算+視覺識別」技術，能夠為移動終端用戶帶來全新的交互模式和視覺體驗。

華為河圖已經落地了一些初步應用場景，比如和北京首鋼園合作的「首鋼園元宇審」項目、華為AR地圖開啟敦煌「飛天游」等。在硬體設備方面，2021年11月，推出了VRGlass6DoF游戲套裝。