【智慧城市網 科技動態】Meta今天發布了一個新的AI基準測試，名為FACET，旨在評估在照片和視頻中對人和物體進行分類和檢測的AI模型的“公平性”。
FACET由32，000張包含50，000個人標簽的圖像組成，這些標簽由人類注釋者標注。除了與職業和活動相關的類別，如“籃球運動員”、“DJ”和“醫生”，還包括人口統計和身體屬性，使Meta能夠對針對這些類別的偏見進行“深度”評估。
Meta在一篇與TechCrunch共享的博客文章中寫道:“通過發布FACET，我們的目標是讓研究人員和從業者能夠進行類似的基準測試，以更好地理解他們自己的模型中存在的偏見，并監控所采取的緩解措施對這些偏見的影響。” “我們鼓勵研究人員使用FACET來評估其他視覺和多模態任務的公平性。”
當然，探測計算機視覺算法偏見的基準測試并不是什么新鮮事。Meta自己幾年前就發布過一個基準測試，用于揭示計算機視覺和音頻機器學習模型中的年齡、性別和膚色歧視。許多研究已經對計算機視覺模型進行了評估，以確定它們是否存在針對某些人群的偏見。
此外，事實上，Meta 在負責任的人工智能方面并沒有最好的記錄。去年年底，Meta不得不撤下一款AI演示，因為它編寫了種族主義和不準確的科學文獻。有報道稱，該公司的AI倫理團隊基本沒有作用，而它發布的反AI偏見工具被形容為“完全不足夠”。同時，學術界指責Meta加劇了其廣告服務算法中的社會經濟不平等，并在其自動審查系統中表現出對黑人用戶的偏見。
但Meta聲稱FACET比之前所有的計算機視覺偏見基準測試都要深入——能夠回答這樣的問題:“當被感知的性別表現具有更多傳統男性特征時，模型是否在將人們分類為滑板運動員方面做得更好?”以及“當頭發卷曲程度與直發相比時，任何偏見都會放大嗎?”
為了創建FACET，Meta讓上述注釋者為32，000張圖像中的每張人物圖像標注人口統計屬性(例如圖片中人物的感知性別表現和年齡組)、額外的身體屬性(例如膚色、光線、紋身、頭飾和眼鏡、發型和面部毛發等)以及類別。他們將這些標簽與其他來自Segment Anything1Billion的關于人、頭發和服裝的標簽結合。Segment Anything1Billion是Meta設計的用于訓練計算機視覺模型從圖像中“分割”或隔離物體和動物的數據集。
Meta告訴我，FACET圖像的來源是Segment Anything1Billion，而這些圖像則從“照片提供商”處購買。但目前還不清楚圖片中所描繪的人是否知道他們的圖片將被用于這個目的。此外——至少在博客文章中——還不清楚Meta是如何招募注釋者團隊的，以及他們得到了多少工資。
從歷史上看，甚至在今天，許多為AI培訓和基準測試標注數據集的注釋者來自發展中國家，收入遠低于美國的最低工資標準。就在本周，《華盛頓郵報》報道，規模最大、融資最充足的注釋公司之一Scale AI向工人支付的工資極低，經常拖欠或扣發工資，并為工人提供尋求救濟的渠道很少。
在描述FACET如何誕生的白皮書中，Meta表示注釋者是“經過培訓的專家”，他們來自包括北美(美國)、拉丁美洲(哥倫比亞)、中東(埃及)、非洲(肯尼亞)、東南亞(菲律賓)和東亞(中國臺灣)等多個地理區域。Meta表示，它使用了來自第三方供應商的“專有注釋平臺”，并按照每個國家一小時的工資標準向注釋者提供報酬。
撇開FACET可能存在問題的出處不談，Meta表示該基準測試可用于探測不同人口統計屬性下的分類、檢測、“實例分割”和“視覺基礎”模型。
作為測試用例，Meta將其自己的DINOv2計算機視覺算法應用于FACET，該算法已于本周開始商業使用。Meta表示，DINOv2發現了幾種偏見，包括對某些性別表現的人的偏見以及對典型地將女性照片識別為“護士”的可能性的偏見。
在博客文章中，Meta寫道:“DINOv2預訓練數據集的準備過程可能無意中復制了為策展選擇的參考數據集中的偏見。我們計劃在未來的工作中解決這些潛在的不足之處，并相信基于圖像的策展也可以幫助避免因使用搜索引擎或文本監督而產生的潛在偏見。”
沒有完美的基準測試。值得稱贊的是，Meta承認FACET可能無法充分捕捉現實世界的概念和人口群體。它還指出，由于自FACET創建以來，許多職業形象可能已經發生了變化。例如，在COVID-19大流行期間拍攝的FACET中的大多數醫生和護士都佩戴了比大流行前更多的個人防護裝備。
在白皮書中，Meta寫道:“目前我們不打算更新此數據集。我們將允許用戶標記任何可能令人反感的內容，并在發現時刪除這些內容。”
除了數據集本身外，Meta還提供了一個基于網絡的數據集瀏覽器工具。要使用該工具和數據集，開發人員必須同意不將其用于訓練計算機視覺模型——而只用于評估、測試和基準測試。
移動版
智慧城市網APP
智慧城市網小程序
微信公眾號
