【
智慧城市網 科技動態】近日，華中科技大學軟件學院白翔教授領銜的VLRLab團隊聯合金山辦公，發布了多模態大模型——“Monkey”。該模型能夠實現對世界的“觀察”，對圖片進行深入的問答交流和精確描述。
多模態大模型是一類可以同時處理和整合多種感知數據(例如文本、圖像、音頻等)的AI架構，近年來在眾多場景中展現了驚人的能力。
Monkey模型在18個數據集上的實驗中表現出色，特別是在圖像描述和視覺問答任務方面，超越了眾多現有知名的模型如微軟的LLAVA、谷歌的PALM-E、阿里的Mplug-owl等。此外，Monkey在文本密集的問答任務中顯示出顯著的優勢，甚至在某些樣本上超越了業界公認的領先者——OpenAI的多模態大模型GPT-4V。
Monkey的一個顯著特點是其出色的“看圖說話”能力。在詳細描述任務中，Monkey展現了對圖像細節的感知能力，能夠察覺到其他多模態大模型所忽略的內容。如對下圖進行的文本描述中，Monkey正確地將其識別為埃菲爾鐵塔的繪畫，并提供了構圖和配色方案的詳細描述。而對左下角的文字，只有Monkey和GPT-4V能將其準確地識別為作者名。
這樣驚人的描述能力是怎么做到的？目前，幾乎所有多模態大模型都需要運用網上爬取的圖文對數據集，這些數據集只能進行簡單的圖文描述，無法大分辨率圖片的需求。Monkey巧妙利用現有的工具構建了一種多層級的描述生成方法，即通過五個步驟依次對圖片進行整體簡述、空間定位、模塊化識別、描述賦分選取和最終總結，此舉可以充分結合不同工具的特性，打出一套威力十足的“組合拳”，大幅度提升描述的準確性和豐富程度。
“一個個工具就好比不同的零件，合理的排列組合才能使其發揮最大作用，”白翔教授說，“我們團隊從2003年開始便從事圖像識別研究，去年我們又從海外引進了專攻多模態大模型的青年人才，Monkey的最終方案是大家一起反復討論，嘗試了10余種方案后最終確定的。”白翔教授說。
Monkey的另一亮點是能夠處理分辨率高達1344×896像素的圖像，這是目前其他多模態大模型所能處理的最大尺寸的6倍。這意味著Monkey能對更大尺寸的圖片進行更準確、豐富、細致的描述甚至推理。
目前，業內能處理的圖片最大分辨率為448×448像素。而想要進一步提升處理能力，需投入十分高昂的算力成本。如何更低成本擴大輸入分辨率？該團隊骨干青年教師劉禹良向記者介紹，團隊采用了創新性的“裁剪”方法，將原始輸入圖片分割成多個塊，每塊尺寸小于448×448像素，并為每個塊配備了一個“放大鏡”，放到合適的位置可以“看”清更多細節。多個“放大鏡”同時工作，分別“放大”不同的圖片塊，就能提取更多局部特征。
“未來，我們希望Monkey更強大，真正成為神通廣大的‘孫悟空’！”對這“只”小猴子，白翔教授信心滿滿。
以光谷為核心承載，目前，武漢已成功推出并商業化落地“紫東太初”多模態大模型、東湖靈境SoulGPT等大模型，已落地應用“星火”大模型、金山辦公WPS AI，并推出“武漢.LuoJia”遙感大模型，還有幾款行業大模型正在開發。
近期，光谷還發布了“軟件十條”，開源平臺建設最高補貼3000萬元，鼓勵各類主體進行重大開源項目軟件開發，孕育原創性、爆炸性、轟動性的具有全球影響力的大模型。
我要評論
所有評論僅代表網友意見，與本站立場無關。