記者7日從安徽省量子計算工程研究中心獲悉，本源量子計算科技（合肥）股份有限公司、合肥綜合性國家科學中心人工智能研究院等機構聯(lián)合攻關，在我國超導量子計算機“本源悟空”真機上，實現(xiàn)十億參數(shù)級AI大模型微調(diào)任務的全球首次運行。
實驗結果顯示，在參數(shù)量減少76%的前提下，訓練效果反而提升8.4%。這一成果不僅驗證了量子計算助力實現(xiàn)大模型輕量化的可行性，更為破解大模型“算力焦慮”開辟了新路徑。
微調(diào)是指在通用大模型的基礎上，通過進一步訓練特定領域數(shù)據(jù)，使其適應醫(yī)療診斷、金融風控等專業(yè)場景。量子計算憑借其疊加態(tài)和糾纏態(tài)特性，可同時探索海量參數(shù)組合，提升大模型微調(diào)的效率。
本源量子計算科技（合肥）股份有限公司副總裁竇猛漢介紹，團隊創(chuàng)新設計了“量子加權張量混合參數(shù)微調(diào)”，將模型權重轉(zhuǎn)化為量子神經(jīng)網(wǎng)絡與張量網(wǎng)絡混合架構，量子神經(jīng)網(wǎng)絡通過量子門操作提取高維非線性特征，張量網(wǎng)絡則壓縮參數(shù)規(guī)模。“就好比給經(jīng)典模型裝上了‘量子引擎’，讓兩者協(xié)同發(fā)力?！备]猛漢說。
實驗數(shù)據(jù)顯示，優(yōu)化后的模型在心理咨詢對話數(shù)據(jù)集（CPsyCountD）上訓練損失降低15%，數(shù)學推理任務（R1-Distill-SFT）的嚴格準確率從68%提升至82%。
合肥綜合性國家科學中心人工智能研究院副研究員陳昭昀說：“這是量子計算首次‘真機實戰(zhàn)’大模型任務，證明現(xiàn)有硬件已能初步支撐大模型微調(diào)。”
“本源悟空”是目前我國先進的可編程、已交付超導量子計算機，已為全球139個國家超2300萬人次提供量子算力云服務，完成35萬個量子運算任務。（記者吳長鋒 洪敬譜）
網(wǎng)站介紹 | 聯(lián)系我們 | 版權聲明
中安在線版權所有 未經(jīng)允許 請勿復制或鏡像
增值電信業(yè)務經(jīng)營許可證：皖B2-20080023 信息網(wǎng)絡傳播視聽節(jié)目許可證：1208228 2009-2010年度全省廣告發(fā)布誠信單位
pc版
客戶端
