【智慧城市網 科技動態】“兩張人眼看上去一模一樣的照片，機器人讀取后為何會攻擊其中一張圖呢？因為不正常的照片中被嵌入了特殊的噪聲，人工智能產品讀取了帶有攻擊性的信息。”“同一張禁止標記，被放入了不同信息，人工智能產品讀取一張是正常的停止標簽，另一個則是綠燈。”上?？茖W院直屬單位上海計算機軟件技術開發中心主任蔡立志介紹道，以上就是上海市生成式人工智能質量檢驗檢測中心(質檢中心)所提供的檢測服務之一。
7月20日下午，走入剛剛成立的上海市生成式人工智能質量檢驗檢測中心(質檢中心)內，深入了解當下最火熱的生成式人工智能如何保障可靠可信，為人工智能產業的健康發展保駕護航。
防止人工智能“變壞”
做產業健康診斷師
近年來，隨著生成式人工智能技術的快速發展，為經濟社會發展帶來新機遇的同時，也產生了傳播虛假信息、侵害個人信息權益(換臉侵害明星肖像、合成語音進行詐騙等)、數據安全和偏見歧視等問題。
在此背景下，上海首個生成式人工智能質檢中心在6月8日正式批籌。該中心由上海計算機軟件技術開發中心籌建，上海市人工智能行業協會推薦指導，提供人工智能質量“一站式”測評服務，面向生成式人工智能及其涉及的計算機視覺、自然語言處理、AI內容生成等領域，打造人工智能測評第三方服務新模式，聚焦生成式人工智能系統的邏輯推理能力、生成內容語義和諧性、功能有效性、性能、安全隱私風險等方面，開展系統檢測、風險評估、內容鑒別等專業服務。
人工智能發展不同于此前的軟件時代，需要不斷開放數據，不斷學習，才能不斷進步，走得更好。而開源開放也就意味著產生更多潛在的“危險”。蔡立志說：“就像孩子一樣，不正確的教育方式會教壞孩子，我們就是防止人工智能產品‘變壞’，阻止不良數據導入等。”
據悉，上海計算機軟件技術開發中心去年就推進了300多個人工智能質檢項目，并在業界取得了良好的口碑。
“與傳統的檢測以發現不合格為首要任務不同，在人工智能時代，新設立的生成式人工智能質量檢驗檢測中心不僅僅是守底線，更多的是引導產業向健康的方向發展。”上海計算機軟件技術開發中心副主任宋俊典解釋說，這就是新型產業檢測中心的不同之處。
近年來，在上?？茖W院的整體部署下，上海軟件中心積極布局并開展了人工智能應用、人工智能治理、人工智能測評等技術研究與第三方技術服務。陸續參與人工智能國際、國家標準的研制，是國家信標委SC42人工智能分委會首批單位會員，參與編寫了《中國人工智能標準化白皮書(2021)》，完成了《人工智能 深度合成圖像系統技術規范》《人工智能 深度學習算法評估規范》《人工智能 計算機視覺系統測評規范》等30余項標準研制。
“我們還在牽頭制定多項新標準，生成式只是人工智能的一部分，未來我們還會探索工業智能質檢、智慧醫療等領域。”蔡立志表示。
給狂飆的生成式人工智能
系上“安全帶”
生成式人工智能的狂飆突進，大模型時代已然降臨。在“百模大戰”越戰越酣之時，大模型其內生及衍生安全威脅也愈演愈烈，數據泄露、幻想、生產歧視、排斥和有害內容等安全問題層出不窮。如何將制約大模型應用發展的“絆腳石”變為“壓艙石”？
以自動駕駛領域而言，自動駕駛需要通過真實世界的數據來訓練、測試和驗證模型算法的安全性和準確性，其過程需要大量數據支持和復雜的駕駛環境。然而，讓汽車通過實際道路測試在道路上可能遇到的每一個場景是不現實的，AIGC(人工智能生產內容)正可以用于模擬各種駕駛場景。
在上海市生成式人工智能質量檢驗檢測中心(質檢中心)內，檢測平臺正在進行“自動駕駛魯棒性檢測”。魯棒測試是對各個模塊的功能進行容錯性的測試，檢測AI模型或者系統在異常輸入和苛刻環境條件下能否保持正常工作。
“自動駕駛包括車道、紅綠燈檢測等模塊，我們基于視覺去攻擊自動駕駛系統的感知算法，針對每一個模塊進行仿真檢測。”質檢中心檢測工程師馬澤宇說。
自動駕駛正快速在上海發展，如《浦東新區無駕駛人智能網聯汽車創新應用規定》以及相關實施細則的落實，上海浦東新區自動駕駛汽車已迎來了無人化階段，眾多企業正在加速產品的研發。業界專家認為，在人工智能領域建立質檢中心，正是為了給狂飆的生成式人工智能系上“安全帶”。
截止到2023年7月8日，中國國內推出了近100個大模型，如何客觀地評價、比較大模型及其他AIGC模型的性能，成為大模型應用的關鍵一環。7月10日，國家網信辦等國家七部委聯合發文《生成式人工智能服務管理暫行辦法》，自2023年8月15日起施行，管理辦法明確了AIGC服務提供者的責任，包括信息源可信責任、生成內容合法合規責任、申報安全評估及算法備案責任。管理辦法的落地亟需專業的第三方機構提供人工智能質量檢驗檢測服務。
據悉，新建立的質檢中心將參考國內外人工智能測評標準和前沿技術，建立人工智能檢驗檢測評價指標體系等。“要讓企業的人工智能研發工作平穩可持續發展，為人工智能產品的安全性保駕護航，讓老百姓在使用人工智能產品時用得放心，用得安心。”蔡立志說。
移動版
智慧城市網APP
智慧城市網小程序
微信公眾號
