計算美學

計算美學(Computational Aesthetics):研究系列計算模型與算法,量化“美”的規律,能夠使得機器(計算機、機器人、智慧型體等)具有感知美、理解美、生成美等類似於人類發現美、欣賞美、創造美等審美與藝術創作的能力。其涉及的藝術形式包括但不局限於:攝影、繪畫、音樂、視頻、電影、舞蹈、設計、雕塑、戲曲、戲劇、表演、美食、文學等。計算美學是計算機科學、人工智慧、美學、心理學、認知科學、神經科學等學科的交叉方向。計算美學已經實際套用於攝影美學評價、智慧型輔助攝影、影像智慧型管理、採集畫質評估、繪畫美學評價、穿搭美學評價、音樂美學評價等。

注(義項名):計算美學是數學/計算機科學/人工智慧與美學的交叉學科。

基本介紹

參考定義,相關領域,歷史沿革,現代發展,主要團隊,西安電子科技大學李雷達教授團隊,北京郵電大學明安龍教授團隊,北京電子科技學院金鑫教授團隊,

參考定義

【來自大英百科全書】計算美學,人工智慧的一個子領域,目標是在音樂、視覺藝術、詩歌、棋類問題等人類創新表達的領域,用計算的方法給出“美“”的評價。通常人們使用能夠表征美學特徵或規則的數學模型,以及統計模型結合特定的算法給出美學的數值評價。理想情況下,計算美學給出的評價能夠很好地與美學領域的人類專家的評價相符合。該技術很有用,例如,當有大量作品需要評價或者難以請到人類評審或評審費很貴的時候,得到的評價會很主管並且會收到個人偏見的影響,這時使用計算美學技術能夠穩定的給出美學評價。計算美學的研究同時可以對探索人類美學感知的奧秘大有益處。
北京大學彭鋒教授在文獻中指出:計算美學已成為事實,但關於它的基礎性問題仍然沒有得到澄清。美學的研究對象通常包括美、審美和藝術,只有當這三個對象都變得可以計算了,真正的計算美學才有可能。其中關於美的計算模型為本詞條重點闡述內容,文中提到的審美的計算模型主要指的是情感的計算模型,可以參見詞條情感計算,文中提到的藝術的計算模型主要指的是可計算的創造,可以參見計算創意方面的資料。
斯洛維尼亞馬里博爾大學的Matjaž Perc在文獻中總結了計算美學的兩個主要任務:量化美和人的美學感知模型構建,其中量化美主要指的對人類藝術作品(烹飪藝術、繪畫藝術、音樂藝術、文學藝術等)的量化分析,本詞條主要闡述人的美學感知建模。

相關領域

計算美學與哲學美學、社會學美學、實驗美學、神經美學等不同,主要研究美學的計算模型。

歷史沿革

1928年,美國數學家喬治·戴維·伯克霍夫(George David Birkhoff)在其著作《Aesthetic Measure》中提出美學度量公式M=O/C,其中M是美學度量(Measurement),O是秩序(Order),C是複雜度(Complexity)。伯克霍夫認為藝術作品的美學評分與秩序成正比與複雜度成反比,例如,他通過多邊形的對稱性(秩序)與邊數(複雜度)計算其美學評分。這一公式被視為計算美學的雛形,然而其沒有給出秩序和複雜度的通用計算公式。
1950年代,法國工程師亞布拉罕·莫爾斯(Abraham Moles)和德國哲學家馬克斯·本澤(Max Bense)獨立地將克勞德·艾爾伍德·香農(Claude Elwood Shannon)的資訊理論與美學結合起來,提出資訊理論美學,該學科將藝術作品視為信息載體,通過信息通訊模型分析審美主客體關係,主張用自然科學方法量化審美感知過程。
1970年代,艾爾伍德·舍夫(ElwoodShafer)等人設計了一個測量景觀審美價值的公式。他們採用了100 張風景照片,每張照片都被分割為這樣的區域:(1)天空;(2)植被近景;(3)植被中景;(4)植被遠景;(5)非植被近景;(6)非植被中景;(7)非植被遠景;(8)溪流;(9)瀑布;(10)湖泊。每片區域都用一個1/4 英寸見方的覆蓋物來獲得四種類型的量度:(1)周長;(2)內景平方數;(3)面積;(4)垂直邊線的平方數。另外,他們還確定了六個有價值的變數:植被近景周長(X1);植被中景周長(X2);植被遠景周長(X3);植被中景面積(X4);任何種類的水域面積(X5);非植被遠景面積(X6)。舍夫等人在一些公共場所邀請人們根據自己的審美偏好給這些照片打分,最終得出了一個複雜的測算審美偏好的公式。
1993年,荷蘭學者雷姆科·斯查(Remko Scha)和倫斯·博德(Rens Bod)發表學術論文《Computational Esthetics》,總結了前人的工作,正式提出“計算美學”這一名詞。
1990年代初期,美國羅格斯大學心理學系教授,麥可·萊頓(Michael Leyton)創建了國際數學與計算美學學會(International Society for Mathematical and Computational Aesthetics),旨在連線數學、計算機科學與美學的研究。

現代發展

進入2000年後,計算美學開始以智慧型模型為主線蓬勃發展,以下是系列代表性事件。
(1)【第一個計算美學機器學習模型】2004年,微軟亞洲研究院提出第一個計算美學領域的機器學習模型,他們收集了16643幅專業攝影師拍攝的照片作為“正樣本”,12897幅普通用戶拍攝的照片作為“負樣本”,並且對379幅照片進行了人工評級(8男8女):'Bad', 'Poor', 'Fair', 'Good' or 'Excellent',選擇了顏色、能量、紋理、形狀等21類圖像底層特徵,共846維,訓練機器學習中的分類模型與回歸模型,用於自動區分專業攝影師拍攝的照片與普通用戶拍攝的照片,以及給照片的美學評分。
(2)【第一個計算美學學術會議】2005年,在西班牙舉辦的歐洲計算機圖形學會議上,舉行了第一屆計算機美學研討會(EG Workshop on Computational Aesthetics in Graphics, Visualization and Imaging,簡稱CAe),給出了計算美學的一種新定義:計算美學研究計算方法,以類似於人類的方式做出具有實用性的審美判斷(Computational Aesthetics is the research of computational methods that can make applicable aesthetic decisions in a similar fashion as humans can.)。CAe 研討會後來更名為:國際計算美學(圖形、可視化、成像)研討會(International Symposium on Computational Aesthetics in Graphics, Visualization, and Imaging),從2005年到2018年共舉辦了14屆,該研討會通過整合計算機科學、哲學、心理學,以及純藝術、套用藝術與表演藝術的相關內容,搭建起了分析與綜合之間的橋樑。旨在推動對創造性行為的分析與賦能,同時還致力於研發能夠提升純藝術與套用藝術表現力的工具,並深化人類對審美評價、審美感知及審美內涵的理解。該學術會議匯聚了兩類人群:一類是具備技術經驗、能開發計算機工具以解決審美問題的專業人士,另一類是擁有藝術或設計背景、會運用這些新型工具開展實踐的從業者,有效的推動了計算美學領域的發展。
(3)【基於內容解譯的圖像美學評價模型】2010年,北京航空航天大學金鑫博士在UCLA朱松純教授的指導下,提出了基於內容解譯的圖像美學評價方向,改善了以往圖像美學評價研究工作不考慮圖像內容,只設計通用美學特徵的弊端,以人像光影為例,提出人像光影美學評價模型。2011年香港中文大學湯曉鷗團隊進一步將圖像分成風景、植物、動物、夜景、人像、靜物、建築七類,針對每一類圖像設計不同的專用美學特徵,隨後多項計算美學領域的研究都將圖像內容納入圖像美學評價模型構建中。
(4)【第一個大規模圖像美學數據集】2012年,西班牙巴塞隆納自治大學計算機視覺中心的Naila Murray提出一個大規模的視覺美學分析的數據集:AVA(Aesthetic Visual Analysis),該數據集有255530幅有效圖像,每一幅圖像均來自國外著名攝影社區DPChallenge,每一幅圖像都由多個網站註冊的人類藝術家會員評分(1-10), 每一幅圖被評分的人數範圍為78-539,平均210人參與評分。該數據集是圖像美學評價領域公認的規模最大的基準數據集,其標註數據質量較高,能夠支持美感分類、美感評分、美感分布、美學評論等方面的研究。
(5)【第一個圖像美學評價深度學習模型】2014年,美國賓夕法尼亞大學James J. Wang團隊提出第一個圖像美學評價深度學習模型RAPID,AVA數據集發布之後的第一個深度學習模型,該模型引入了全局和局部視角作為雙路深度神經網路的輸入,並且使用了AVA數據中的圖像風格與內容信息作為旁路信息支撐,在當時取得了AVA數據集上圖像美學評分任務的最高性能,該工作開創了往後近十年的圖像美學評價深度學習模型時代。
(6)【圖像美學評價七層任務模型】2018年,北京電子科技學院金鑫教授團隊提出圖像美學評價七層任務模型,包括美學感知層面的美感分類、美感評分、美感分布、美學因素,以及美學鑑賞層面的美學評述,具體而言:
1)美感分類是指給定一幅圖像,輸出“好”和“不好”或者美感“高”或“低”兩個類別;
2)美感評分是給出圖像的美學質量評分,是個連續數值;
3)美感分布是給出圖像的美學質量分數分布直方圖;
4)美學屬性是給出圖像的光影、配色、構圖、模糊、運動、趣味等多個美學子維度(屬性)的數值評價;
5)美學評述給出圖像美學方面的語言評論;
6)美學問答根據圖像美學方面的內容回答提問;
7)美學指導給出提高圖像美感的建議。
這7層任務中,層級越高,需要對圖像美學的理解越透徹,越有利於分析審美的主觀性與動態過程,越接近人類藝術家的理解,對人類的幫助越大。該七層任務模型銜接了圖像美學評價的深度學習時代和後面的大模型時代。
(7)【第一個圖像美學評價國際標準】2023年,北京郵電大學明安龍教授團隊提出了第一個圖像美學評價元數據國際標準,該標準推薦在手機攝影中所需要考慮的圖像美學元數據,攝影師相關的構圖、顏色、相機角度、光影、特殊技巧,相機相關的銳度、曝光、白平衡、飽和度、噪聲、偽影、對焦,以及照片查看者相關的內容偏好、文化與個性化,該標準是圖像美學評價領域的第一個國際標準,有力地推動了手機拍攝智慧型評價的發展。
(8)【第一個圖像美學評價多模態大模型】2024年,西安電子科技大學李雷達教授團隊提出第一個圖像美學評價多模態大語言模型AesExpert,以及用於微調多模態大模型的美學多模態指令微調數據集AesMMIT(Aesthetic Multi-Modality Instruction Tuning),能夠實現美學感知(包括圖像技術質量評價、顏色、光照、構圖、內容等圖像美學屬性評價)、美學共情(包括圖像情感、獨特性、興趣),美學評分以及美學解釋四大類能力,在圖像美學多模態評價基準測試集AesBench上,超越了GPT-4V和Gemini-Pro-Vision等商用閉源大模型的性能。

主要團隊

主要活躍的計算美學研究團隊包括:西安電子科技大學李雷達教授團隊、北京郵電大學明安龍教授團隊、北京電子科技學院金鑫教授團隊等。

西安電子科技大學李雷達教授團隊

李雷達教授團隊創建了類腦視覺感知與評估實驗室(Brave:Brain Inspaired Visual Preception and Evaluation),該實驗室在計算美學領域的主要貢獻包括:
(1)構建了第一個大規模個性化圖像美學評價數據集。
PARA(Personalized image Aesthetics database with Rich Attributes ),該數據集包含了31220幅圖像,由438名被試標註。PARA具有9個面向圖像的客觀屬性和4個面向人類的主觀屬性,同時記錄了標註者的個人信息,包括人格特質等,以支持個性化圖像美學評價語用戶畫像的研究,PARA數據集的構建,有力的推動了個性化圖像美學評價的蓬勃發展。
(2)提出了第一個圖像美學評價多模態大模型:如現代發展代表性事件(8)所述。
(3)推動美學評價模型的實際套用。
Brave實驗室在計算美學領域的研究成果,獲OPPO“產學研優秀合作夥伴”獎,研究成果套用於OPPO ColorOS,團隊提出的針對大模型美學理解能力的評測基準AesBench登上VIVO影像盛典。

北京郵電大學明安龍教授團隊

明安龍教授團隊創建了視覺機器人與智慧型技術實驗室(Lab of Visual Robots & Intelligent Technologies),該實驗室在計算美學領域的主要貢獻包括:
(1)構建了首個面向圖像色彩屬性的的美學評價數據集ICAA17K(Image Color Aesthetics Assessment),共1萬7千張左右圖像,按色彩搭配的類型進行標註,隨後提出首個色溫美學評價模型 ICTA2Net(Image Color Temperature Aesthetics Assessment)。
(2)提出第一個圖像美學評價國際標準:如現代發展代表性事件(7)所述。
(3)推動美學評價模型的實際套用。
研發了一套多因素的畫質評估系統,能支持整體美學、色彩美學、清晰度,噪聲,曝光、對比度六個因素的無參考和有參考評估,並能生成專業的評估報告,相較於傳統的手工評測,時間和價格成本下降99%,已經實際套用於企業圖像採集畫質評估中。

北京電子科技學院金鑫教授團隊

金鑫教授團隊創建了第一個以計算美學命名的實驗室:計算美學實驗室(CALab:Computational Aesthetics Laboratory),該實驗室在計算美學領域的主要貢獻包括:
(1)提出基於內容解譯的圖像美學評價模型:如現代發展代表性事件(3)所述。
(2)提出圖像美學評價七層任務模型:如現代發展代表性事件(6)所述。
(3)提出繪畫、視頻、音樂等多種藝術形式的美學評價模型。
包括由構建多個美術學院標註的繪畫美學評價數據集APDD(Aesthetics of Paintings and Drawings Dataset)以及繪畫美學評價模型ArtClip、由多個電影學院標註的視頻美學評價模型VADB( Video Aesthetic DataBase)以及視頻美學評價模型VADB-Net、以及基於伯克霍夫秩序複雜度模型的音樂OCMAA(Order-Complexity Model for Aesthetic Assessment:樂譜、演奏、音頻)美學評價模型等。
(4)推動計算美學技術的實際套用。攝影智慧型評價:CALab於2022年推出第一個圖像美學評價微信小程式“AI品圖”,能夠給出用戶上傳照片的美感評分,以及構圖、色彩/影調、用光三個美學屬性的評分,能夠用於攝影比賽的AI評審。智慧型輔助攝影:CALab於2025年與華為合作研發的AI輔助構圖技術已經上線華為Pura 80系列手機,能夠在用戶用手機拍照的時候自動推薦構圖並變焦,該系列的Ultra型號被美國《時代》周刊評為2025年度最佳發明之一,評語為:“一款尖端的智慧型手機相機,這款設備,本質是一台出色的相機,只是恰好具備了智慧型手機的功能”。影像智慧型管理:CALab於2024年為中國中央電視台研發的智慧型相冊中,加入了“照片推優”功能,能夠在一系列智慧型檢索後的照片集合中選擇出最優的照片,推薦使用,已經實際部署並套用於中央電視台的實際業務中。繪畫智慧型評價:CALab於2024年聯合中央工藝美術學院附中研發了美術作品智慧型評分系統(繪畫閱卷),用於繪畫類作業及試卷的美學評分,能夠用於工美附中學生的平時練習、作業以及考試的全程指導,減輕教師繁瑣的工作量,同時積極推動工美附中繪畫評分標準的制定。穿搭美學評價:CALab於2025年研發智慧型穿衣鏡:“穿搭魔鏡”,可以給出用戶的穿搭評分,以及穿搭建議,並且給出推薦後的穿搭效果,供用戶選擇。音樂美學評價:CALab於2025年將音樂美學評價模型套用於音樂生成模型“心聲系統”,將美學評分嵌入到音樂生成過程中的美學價值函式中,用於提升生成音樂的美學價值。

相關詞條

熱門詞條

聯絡我們