欠損して発見されたモネ 幻の大作「睡蓮、柳の反映」の復元を人工知能の手を借りて実現:絵画の残存部分の色彩と製作当時の白黒写真から全体の色彩を機械学習により推定し、復元担当者の色彩推定を補正

課題

美術品の修復や復元は製作当時の様子や素材を可能な限り忠実に再現する作業です。この中で、作品の素材の科学鑑定や当時の時代考証、同じ作者の作品に基づくタッチの再現など美学的な観点以外の客観的な学術調査は欠かせません。

2016年に60年ぶりに発見されたモネの幻の大作「睡蓮、柳の反映」は、画布の上半分が失われた状態でした。欠損箇所が大きいことから復元のためには局所的な修復ではなく、根拠に基づく欠損部分の推定が必要です。

解決方法

国立西洋美術館(館長:馬渕明子)と凸版印刷は、2016年に60年ぶりに発見されたモネの幻の大作「睡蓮、柳の反映」の欠損箇所を推定復元したと発表しました。この際に、筑波大学人工知能科学センターの飯塚里志助教と協力して開発した、人工知能に基づいた自動色彩技術を人の担当者の色彩推定の補助として用いて、客観性を高めました。

絵画の変換に関する技術として、画家のタッチを写真などへ導入するNeural Style Transferや、白黒画像を自動的にカラー画像に変換することもできるpix2pixといった技術が知られています。今回の復元に貢献した飯塚助教は白黒写真の自動色つけ技術を専門として、開発された技術はSIGGRAPH 2016でも発表されています。飯塚助教らの技術は、白黒画像を入力としてカラー画像を出力とするニューラルネットワークですが、既存のカラー画像を白黒化して教師データとしているため、教師データに存在する色彩パターンがカラー化でも現れることになります。今回は、残存した箇所のカラー画像を元に学習を行い、フランスに残されていた製作当時の作品を写したガラス乾板から高精細にスキャンされた白黒画像データを取り寄せ、その白黒データからカラー化を試みたようです。

発見された「睡蓮、柳の反映」
https://prtimes.jp/main/html/rd/p/000000234.000033034.html
復元された作品
https://prtimes.jp/main/html/rd/p/000000234.000033034.html

どうなったか

復元された画像は2019年6月11日(火)から国立西洋美術館で開催される企画展「国立西洋美術館開館60周年記念 松方コレクション展」で公開されます。(特別内覧会では関係者に作品が公開されているようです

まとめ

白黒画像からカラー画像を得るための技術が美術作品の復元に貢献した事例を紹介しました。

カラー化技術を応用したプロジェクトとしては、東京大学の渡邉英徳教授が取り組むプロジェクト「記憶の解凍」が有名です。このプロジェクトでは戦前・戦中の白黒写真にニューラルネットワークにより自動的に色付けを行っています。色つけされた写真はリアリティを増し、当時の情景を想像しやすくすることができます。これにより一般の興味を引きつけるとともに、お年寄りへのインタビューでも当時の記憶を呼び起こすために活用されています。

これまでは技術の世界に閉じていた研究開発が、美術作品の復元や社会問題の提起にも活用され始めました。今後もますます人工知能の力を借りた思いも寄らない活用方法が期待されます。

参考資料

(森裕紀)