한국의 개발자들을 위한 Google for Developers 국문 블로그입니다.
딥 러닝을 활용하여 전문가 수준의 사진 만들기
2017년 8월 17일 목요일
<블로그 원문은
여기
에서 확인하실 수 있으며, 블로그 번역 리뷰는
곽동현(Machine Learning GDE)
님이 참여해 주셨습니다.>
게시자: Hui Fang, 기계 인식 팀 소프트웨어 엔지니어
ML(기계 학습)은 목표가 명확히 정해진 많은 영역에서 탁월한 성과를 냅니다. 정답과 오답이 존재하는 작업은 학습 과정을 도와주고, 이미지에서 객체를 올바르게 식별하는 것이든, 서로 다른 언어로의 적절한 번역을 제공하는 것이든, 알고리즘이 기대하는 목표를 달성할 수 있게 합니다. 하지만, 객관적인 평가가 불가능한 영역이 있습니다. 예를 들어, 사진이 아름다운지 여부는 사진의 미적 가치를 기준으로 측정되는데, 이는 매우 주관적인 개념입니다.
캐나다 재스퍼 국립공원의 풍경을 담은 전문가 수준(?)의 사진
ML이 주관적인 개념을 어떤 식으로 학습할 수 있는지를 살펴보기 위해, 예술적 콘텐츠 작성을 위한
실험적인 딥 러닝 시스템
을 소개합니다. 이 시스템은 전문 사진작가의 작업 방식을 흉내냅니다. 즉, Google 스트리트 뷰에서 풍경 파노라마를 훑어보면서 가장 좋은 구도를 찾은 후 다양한 후처리 작업을 수행하여 미학적 즐거움을 주는 이미지를 만들어냅니다. 우리가 실험한 가상의 사진작가는 알프스, 캐나다의 밴프 및 재스퍼 국립공원, 캘리포니아 빅서, 옐로스톤 국립공원 등의 지역에서 촬영된 약 40,000장의 파노라마 사진을 '여행'하듯 샅샅이 살펴본 후 꽤나 인상적인 작품을 내놨습니다. 그중 몇몇은 전문 사진작가가 판단하기에도 전문가 수준의 품질에 가까웠습니다.
모델 학습
미학적 측면은
AVA
와 같은 데이터셋을 사용하여 모델링이 가능하지만, 단순히 이런 모델을 사용하여 사진을 향상시킬 경우, 사진을 과채도 상태로 만들어버리는 등 미학적 측면을 일부 놓칠 수도 있습니다. 그런데 지도 학습을 사용하여 여러 미학적 측면을 제대로 학습하려면 레이블 수집이 불가능에 가까운 데이터셋이 요구됩니다.
우리의 접근 방식은 전/후 이미지 쌍 또는 추가적인 레이블이 없는, 오직 전문가 수준의 사진 컬렉션에만 의존합니다. 이는 미학적 요소를 여러 측면으로 자동 분할해주고, 이러한 각각의 측면은 결합 이미지 연산(coupled image operation)으로 생성된 나쁜 예제들을 통해 개별적으로 학습됩니다. 이러한 이미지 연산을 '반직교' 상태로 유지함으로써, 빠르고 분리 가능한 최적화를 통해 구도, 채도/HDR 수준 및 극적인 조명 측면에서 사진을 향상 시킬 수 있습니다.
파노라마 (a)가 (b)로 잘리고, (c)에서는 채도와 HDR 강도가 향상되고, (d)에서는 극적인 마스크가 적용되었습니다. 각 단계는 하나의 학습된 미학적 측면을 기준으로 수행됩니다.
채도, HDR 디테일 및 구도에 대한 잘못된 학습 예제를 생성하는 데는 전통적인 이미지 필터가 사용되었습니다. 극적인 마스크라고 하는 특수한 연산도 도입하는데, 이는 극적인 조명 개념을 학습하는 동안에 함께 만들어진 연산입니다. 이런 잘못된 예제는 전문가 수준의 사진에서 무작위로 명암을 수정하여 모양새를 저하시키는 이미지 필터들의 조합을 적용하여 생성되었습니다. 학습에서는
GAN(Generative Adversarial Network)
을 사용합니다. 여기서 생성 모델은 잘못된 예제의 조명을 고치기 위한 마스크를 만드는 반면, 판별 모델은 실제 전문가가 촬영한 사진과 향상된 결과의 구별을 시도합니다. 비네트 효과와 같은 형태-수정 필터와 달리, 극적인 마스크는 사진의 콘텐츠를 인식한 명도 조절 효과를 더해줍니다. GAN 학습의 경쟁적 특성은 이러한 방법을 좋은 변화의 방향으로 이끌어냅니다. 저희가 작성한
논문
에서 학습에 대한 자세한 내용을 더 확인하실 수 있습니다.
결과
우리가 개발한 시스템에서 Google 스트리트 뷰를 기반으로 만든 작품 몇 가지가 아래에 나와 있습니다. 여러분도 볼 수 있듯이, 학습된 미학 필터를 사용하면 몇몇 극적인 결과(이 게시물 시작 부분에 있는 이미지 포함!)가 생성됩니다.
캐나다 재스퍼 국립공원
스위스 인터라켄
이탈리아 파르코 델레 오로비에 베르가마쉐 공원
캐나다 재스퍼 국립공원
전문가 평가
우리가 개발한 알고리즘이 얼마나 성공적인지 평가하기 위해 시스템에서 생성된 작품을 다양한 수준의 다른 사진들과 섞어서 여러 전문 사진작가에게 보여 주는 '튜링 테스트' 같은 실험을 설계했습니다. 테스트에 참가한 전문 사진작가는 각각의 사진에 대해 다음과 같은 기준에 따라 품질 점수를 매기라는 지침을 받았습니다.
1: 구도, 조명 등을 고려하지 않고 바로 찍음
2: 사진 촬영술에 대한 배경 지식이 없는 일반 대중이 찍은 괜찮은 수준의 사진. 예술적인 부분이 두드러지지는 않음
3: 준전문가 수준. 명확하게 예술적 측면을 보여 주는 훌륭한 사진. 사진을 찍은 사람이 전문가가 되기 위한 올바른 길을 가고 있음
4: 전문가 수준.
다음 차트에서 각각의 곡선은 특정한 점수대를 받을 것이라고 예상된 사진들에 대해, 전문 사진작가가 매긴 점수를 보여 줍니다. 높은 점수가 예상된 작품의 경우, 실제로 받은 점수 중 약 40%가 "준전문가 수준"에서 "전문가 수준"에 해당되었습니다.
각기 다른 점수가 예상된 사진에 대해 전문 사진작가로부터 받은 점수
향후 작업
스트리트 뷰 파노라마는 우리 프로젝트에서 실험장 역할을 했습니다. 언젠가 이 기법이 현실 세계에서 더 나은 사진을 찍는 데 도움이 되는 날이 올 것입니다. 우리는 만족할 정도의 품질로 만들어진 사진들이 수록된
쇼케이스
를 엮었습니다. 좋아하는 사진이 있는 경우 그 사진을 클릭하여 근처 스트리트 뷰 파노라마를 불러올 수 있습니다. 그때 만약 당신이 카메라를 들고 있었다면 같은 결정을 내렸을까요?
감사의 말
본 연구는 Google Research의 기계 인식 팀에 속해 있는 Hui Fang과 Meng Zhang이 실시한 것입니다. 인셉션 네트워크를 사용하여 AVA 점수를 예상하는 이전의 연구를 수행해 주신 데 대해 Vahid Kazemi에게 감사의 인사를 드리고, Google 스트리트 뷰 파노라마를 처리하는 데 도움을 주신 Sagarika Chalasani, Nick Beato, Bryan Klingner 그리고 Rupert Breheny에게도 감사의 인사를 드리고 싶습니다. 또한, 도움이 되는 리뷰와 의견을 제공해 주신 Peyman Milanfar, Tomas Izo, Christian Szegedy, Jon Barron 그리고 Sergey Ioffe에게도 고맙다는 인사를 전하고 싶습니다. 익명의 전문 사진작가 여러분에게도 심심한 감사를 드립니다!
Contents
ML/Tensorflow
Android
Flutter
Web/Chrome
Cloud
Google Play
Community
Game
Firebase
검색
Tag
인디게임페스티벌
정책 세미나
창구프로그램
AdMob
AI
Android
Android 12
Android 12L
Android 13
Android 14
Android Assistant
Android Auto
Android Games
Android Jetpack
Android Machine Learning
Android Privacy
Android Studio
Android TV
Android Wear
App Bundle
bootcamp
Business
Chrome
Cloud
Community
compose
Firebase
Flutter
Foldables
Game
gdg
GDSC
google
Google Developer Student Clubs
Google Play
Google Play Games
Interview
Jetpack
Jetpack Compose
kotlin
Large Screens
Library
ma
Material Design
Material You
ML/Tensorflow
mobile games
Now in Android
PC
Play Console
Policy
priva
wa
wear
Wearables
Web
Web/Chrome
Weeklyupdates
WorkManager
Archive
2024
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2023
12월
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2022
12월
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2021
12월
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2020
12월
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2019
12월
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2018
12월
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2017
12월
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2016
12월
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2015
12월
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2014
12월
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2013
12월
11월
10월
9월
8월
7월
6월
5월
4월
3월
2월
1월
2012
12월
11월
10월
9월
8월
7월
6월
5월
3월
2월
1월
2011
12월
11월
Feed
