【智慧城市網(wǎng) 企業(yè)關(guān)注】2024年，“兩會(huì)”政府工作報(bào)告中首次提到“人工智能+”行動(dòng)，人工智能被視為形成新質(zhì)生產(chǎn)力的重要引擎。隨著人工智能技術(shù)的快速演進(jìn)，AI大模型已成為全球科技競(jìng)爭(zhēng)的新高地、未來(lái)產(chǎn)業(yè)的新賽道、經(jīng)濟(jì)發(fā)展的新引擎，展現(xiàn)出巨大的發(fā)展?jié)摿蛻?yīng)用前景。AI大模型的應(yīng)用領(lǐng)域廣泛，包括但不限于辦公、制造、金融、醫(yī)療、政務(wù)等，這些領(lǐng)域的創(chuàng)新和發(fā)展為AI大模型產(chǎn)業(yè)注入了強(qiáng)大的活力。當(dāng)前，我國(guó)AI大模型產(chǎn)業(yè)呈現(xiàn)蓬勃發(fā)展的態(tài)勢(shì)，通用大模型、行業(yè)大模型、端側(cè)大模型如雨后春筍般涌現(xiàn)，并在多個(gè)領(lǐng)域取得了顯著成果。
 

　　大模型是典型的人工智能平臺(tái)賦能性技術(shù)，加快我國(guó)大模型技術(shù)創(chuàng)新和應(yīng)用落地，需要加強(qiáng)大模型評(píng)測(cè)體系研究，搭建全量測(cè)試題庫(kù)、自動(dòng)測(cè)試平臺(tái)和高效測(cè)試方法，降低研發(fā)和使用成本，滿足大模型能力持續(xù)監(jiān)測(cè)和能力迭代的要求，從而推動(dòng)我國(guó)自主可控的大模型產(chǎn)業(yè)生態(tài)繼續(xù)向前邁進(jìn)。
 

　　中國(guó)信息通信研究院(簡(jiǎn)稱“中國(guó)信通院”)長(zhǎng)期研究大模型發(fā)展態(tài)勢(shì)，自2022年3月啟動(dòng)大模型評(píng)測(cè)技術(shù)研究以來(lái)，根據(jù)產(chǎn)業(yè)發(fā)展不斷優(yōu)化迭代，已形成一套覆蓋范圍全、評(píng)測(cè)指標(biāo)精、需求映射準(zhǔn)的大模型評(píng)測(cè)體系。此次全新升級(jí)的“中國(guó)信通院可信AI評(píng)測(cè)服務(wù)——大模型評(píng)估測(cè)試體系(2024)”覆蓋七大模塊：大模型基礎(chǔ)軟硬件及集群系統(tǒng)、大模型能力基準(zhǔn)測(cè)試、大模型平臺(tái)、基礎(chǔ)大模型、行業(yè)大模型、智能應(yīng)用和大模型能力安全測(cè)試。
 

　　具體來(lái)說(shuō)，評(píng)測(cè)體系一是為滿足大模型訓(xùn)練及推理的軟硬件系統(tǒng)、軟硬件系統(tǒng)前沿技術(shù)能力以及當(dāng)前我國(guó)AI軟硬件兼容適配及能力遷移需求，提供多種能力驗(yàn)證服務(wù)；二是從綜合能力、通用能力、行業(yè)和應(yīng)用能力方面構(gòu)建大模型基準(zhǔn)測(cè)試體系；三是從大模型平臺(tái)、基礎(chǔ)大模型、行業(yè)大模型和大模型智能應(yīng)用全鏈條提供產(chǎn)品評(píng)估服務(wù)；同時(shí)針對(duì)大模型各種服務(wù)形式，全方位開展MaaS安全、基準(zhǔn)安全、模型安全、內(nèi)容安全、數(shù)據(jù)安全和服務(wù)安全等評(píng)估，助力行業(yè)安全發(fā)展。
 

　　“中國(guó)信通院可信AI評(píng)測(cè)服務(wù)——大模型評(píng)估測(cè)試體系(2024)”作為業(yè)界專業(yè)面向大模型的可信AI測(cè)評(píng)體系，從技術(shù)、應(yīng)用、安全等各方面對(duì)大模型相關(guān)產(chǎn)品進(jìn)行評(píng)估測(cè)試，為“人工智能+”行業(yè)落地保駕護(hù)航。
 

　　規(guī)范行業(yè)發(fā)展，樹立標(biāo)桿應(yīng)用。通過(guò)科學(xué)、客觀的評(píng)測(cè)，有利于更好地理解和把握大模型技術(shù)的發(fā)展趨勢(shì)，為政府部門提供科學(xué)依據(jù)，支持國(guó)家在人工智能領(lǐng)域的政策制定和頂層設(shè)計(jì)。通過(guò)有效篩選出高性能、高可靠性的大模型產(chǎn)品服務(wù)，并針對(duì)測(cè)試過(guò)的大模型標(biāo)桿企業(yè)開展應(yīng)用推廣活動(dòng)，樹立可推廣、可復(fù)制、高價(jià)值的標(biāo)桿產(chǎn)品應(yīng)用。
 

　　推動(dòng)應(yīng)用落地，加速產(chǎn)業(yè)化進(jìn)程。不僅幫助供需各方評(píng)估和優(yōu)化其模型性能，激發(fā)廠家優(yōu)化迭代產(chǎn)品，有利于形成行業(yè)市場(chǎng)良性競(jìng)爭(zhēng)環(huán)境；還可以通過(guò)提供測(cè)試指標(biāo)、方法和工具，促進(jìn)技術(shù)標(biāo)準(zhǔn)化，拓展大模型應(yīng)用的廣度和深度，加速產(chǎn)業(yè)化進(jìn)程，實(shí)現(xiàn)技術(shù)、應(yīng)用與產(chǎn)業(yè)的協(xié)同發(fā)展。
 

　　幫助用戶了解產(chǎn)品，協(xié)助企業(yè)驗(yàn)收。一方面，大模型評(píng)測(cè)是一項(xiàng)重要的驗(yàn)收工具，可以幫助企業(yè)全面檢驗(yàn)產(chǎn)品各項(xiàng)指標(biāo)，并了解性能瓶頸和改進(jìn)方向，不斷優(yōu)化模型結(jié)構(gòu)和算法；另一方面，通過(guò)參與評(píng)測(cè)并與同行交流，企業(yè)能夠獲取更多的行業(yè)信息和優(yōu)秀實(shí)踐，提升技術(shù)水平和競(jìng)爭(zhēng)力。
 

　　部分已通過(guò)評(píng)測(cè)企業(yè)(持續(xù)更新)