Google for Developers Korea Blog: AdaNet 소개: 학습 보장을 이용한 빠르고 유연한 AutoML

AdaNet 소개: 학습 보장을 이용한 빠르고 유연한 AutoML

2019년 1월 24일 목요일

.post-body span { white-space: normal !important; } <블로그 원문은 이곳에서 확인하실 수 있습니다>
게시자: Charles Weill, Google AI 소프트웨어 엔지니어(뉴욕)
다양한 머신러닝(ML) 모델 예측 결과를 조합하는 기술인 앙상블 학습은 최상의 성능 달성을 위해 신경망과 함께 널리 사용되는데, 이를 바탕으로 풍부한 기록과 이론적 보장을 활용해 Netflix Prize 및 다양한 Kaggle 경진 대회와 같은 도전에서 성공을 거둘 수 있습니다. 그런데 실제로는 훈련 시간이 길어 그다지 많이 사용되지는 않으며, ML 모델 후보를 선택할 때 해당 분야에 대한 고유의 전문성이 요구됩니다. 하지만 TPU와 같은 뛰어난 전산 처리 능력을 갖춘 전문 딥 러닝 하드웨어를 더욱 손쉽게 바로 사용할 수 있게 됨으로써, 머신러닝 모델이 더욱 크게 성장할 것이며 앙상블이 더욱 큰 비중을 차지하게 될 것입니다. 신경망 아키텍처를 통해 자동으로 검색하면서 최선의 선택 사항을 고품질 모델에 결합하는 방법을 학습하는 도구를 상상해 보세요.
오늘 최소한의 전문가 개입만으로 고품질 모델을 자동으로 학습하기 위한 경량의 TensorFlow 기반 프레임워크인 AdaNet을 공유하게 되어 더없이 기쁩니다. AdaNet은 우리가 최근에 힘을 쏟고 있는 강화 학습 및 진화 기반 AutoML을 토대로 구축된 프레임워크로, 빠르고 유연하면서도 학습 보장을 제공합니다. 중요한 점은, AdaNet이 신경망 아키텍처를 학습하기 위한 일반적인 프레임워크뿐 아니라 훨씬 더 나은 모델을 얻기 위해 앙상블을 이루는 방법을 학습하기 위한 프레임워크도 제공한다는 사실입니다.
AdaNet은 사용하기 쉽고 고품질 모델을 생성하므로, ML 현업 전문가가 최적의 신경망 아키텍처를 선택하고 하위 네트워크의 앙상블로서 신경망 아키텍처를 학습하기 위한 적응형 알고리즘을 구현하는 데 통상적으로 소요되는 시간을 절약할 수 있습니다. AdaNet은 다양한 깊이와 폭의 하위 네트워크를 추가하여 다양한 앙상블을 만들고 성능 향상과 매개변수의 개수를 적절히 절충할 수 있습니다.

신경망의 앙상블을 순응적으로 성장시키는 AdaNet. AdaNet은 반복할 때마다 각 후보에 대한 앙상블 손실을 측정하여 다음 반복으로 이동하기에 최상의 후보를 선정합니다.
빠르고 사용하기 쉬움 AdaNet은 서비스 제공을 위해 훈련, 평가, 예측 및 내보내기를 캡슐화하여 머신러닝 프로그래밍을 대폭 간소화하는 TensorFlow Estimator 인터페이스를 구현합니다. AdaNet은 TensorFlow Hub 모듈, TensorFlow Model Analysis 및 Google Cloud의 Hyperparameter Tuner와 같은 오픈소스 도구와 통합됩니다. 분산 훈련 지원으로 훈련 시간이 상당히 단축되고 사용 가능한 CPU 및 액셀러레이터(예: GPU)와 함께 선형적으로 스케일링됩니다.

CIFAR-100에서 훈련 단계(x축)에 따른 AdaNet의 정확도(y축). 파란색 선은 훈련 세트에 대한 정확도이고 빨간색 선은 테스트 세트에 대한 성능입니다. 1백만 단계마다 새로운 하위 네트워크가 훈련을 시작하고, 결국 앙상블의 성능을 높여줍니다. 회색 선과 녹색 선은 새 하위 네트워크를 추가하기 전 앙상블의 정확도입니다.
TensorBoard는 훈련 중에 모델 측정항목을 시각화하기 위한 최상의 TensorFlow 기능 중 하나이므로, AdaNet은 하위 네트워크 훈련, 앙상블 컴퍼지션 및 성능을 모니터링하기 위해 TensorBoard와 완벽하게 통합됩니다. AdaNet은 훈련을 마치면 TensorFlow Serving과 함께 배포 가능한 SavedModel을 내보냅니다.
학습 보장 신경망의 앙상블을 빌드하려면 여러 가지 문제를 해결해야 합니다. 예컨대 고려해야 할 최상의 하위 네트워크 아키텍처는 무엇일까요? 같은 아키텍처를 재사용하는 것이 최선일까요, 아니면 다양성을 장려하는 것이 최선일까요? 매개변수가 더 많은 복잡한 하위 네트워크가 훈련 세트에 대해 더 나은 성능을 발휘하는 경향이 있겠지만, 복잡성이 증가하므로 알지 못하는 데이터에 대해 이를 섣불리 일반화할 수는 없습니다. 이러한 문제는 모델 성능 평가에서 비롯됩니다. 훈련 세트에서 분할되는 홀드아웃 세트에 대한 성능을 평가할 수 있지만, 그 과정에서 신경망 훈련을 위해 사용할 수 있는 예의 개수가 줄어듭니다.
그 대신, ('AdaNet: Adaptive Structural Learning of Artificial Neural Networks', ICML 2017에 제시된) AdaNet의 접근 방식은 훈련 세트에 대한 앙상블의 성능과 이를 알지 못하는 데이터에 대해 일반화하는 능력 사이에서 균형을 유지하며 절충한다는 목표를 최적화하는 것입니다. 어떤 후보 하위 네트워크가 앙상블의 일반화 능력에 미치는 영향보다 더 많이 앙상블의 훈련 손실을 개선할 때만 앙상블이 해당 하위 네트워크를 포함한다는 것이 직관적 통찰입니다. 이는 다음 사항을 보장합니다.

앙상블의 일반화 오류가 훈련 오류와 복잡성에 의해 한정됩니다.

우리는 이 목표를 최적화함으로써 이 한계를 직접적으로 최소화하고 있습니다.

이 목표를 최적화하는 실용적인 이점은 앙상블에 추가할 후보 하위 네트워크를 선택하기 위한 홀드아웃 세트의 필요성을 제거한다는 점입니다. 이는 하위 네트워크를 훈련하기 위해 더 많은 훈련 데이터를 사용할 수 있도록 한다는 추가적 이점이 있습니다. 자세한 내용은 AdaNet 목표에 대한 가이드를 살펴보세요.
확장성 우리는 연구 및 생산 용도로 모두 유용한 AutoML 프레임워크를 만드는 관건이 합리적인 기본값을 제공할 뿐 아니라 사용자가 자체적인 하위 네트워크/모델 정의를 적용해 볼 수 있도록 하는 것이라 믿습니다. 따라서 머신러닝 연구자, 현업 전문가, 애호가가 모두 tf.layers와 같은 상위 레벨 TensorFlow API를 사용하여 자체적인 AdaNet adanet.subnetwork.Builder를 정의해 보실 것을 권장합니다.
TensorFlow 모델을 시스템에 이미 통합한 사용자는 TensorFlow 코드를 AdaNet 하위 네트워크로 손쉽게 변환하고 adanet.Estimator를 사용하여 모델 성능을 향상하는 동시에 학습 보장을 받을 수 있습니다. AdaNet은 후보 하위 네트워크의 정의된 검색 공간을 탐색하고 하위 네트워크를 조화시키는 방법을 학습할 것입니다. 예를 들어, 우리는 NASNet-A CIFAR 아키텍처의 오픈소스 구현을 선택하여 하위 네트워크로 변환하고 8회의 AdaNet 반복 후 CIFAR-10의 최신 결과를 바탕으로 개선했습니다. 게다가, 우리의 모델은 다음과 같이 더 적은 수의 매개변수로 이러한 결과를 성취합니다.

Zoph 외, 2018에 제시된 NASNet-A 모델의 성능과 CIFAR-10에 소규모 NASNet-A 하위 네트워크를 결합하기 위한 AdaNet 학습의 비교.
또한 사용자들에게 회귀, 분류 및 멀티태스크 학습 문제를 훈련하기 위해 기성 또는 맞춤형 tf.contrib.estimator.Heads를 통해 AdaNet 목표의 일부로서 자체적인 맞춤 손실 함수를 사용할 것도 권장하는 바입니다.
사용자는 adanet.subnetwork.Generator 클래스를 확장하여 탐색할 후보 하위 네트워크의 검색 공간을 완전히 정의할 수도 있습니다. 사용자는 이를 통해 사용 가능한 하드웨어를 기반으로 검색 공간을 늘리거나 줄일 수 있습니다. 하위 네트워크의 검색 공간은 다양한 임의의 속도로 동일한 하위 네트워크 구성을 복제하기만 하면 간단하게 다양한 하이퍼 매개변수 조합으로 수십 개의 하위 네트워크를 훈련하고 AdaNet이 최종 앙상블에 포함할 하위 네트워크를 선택하도록 할 수 있습니다.
직접 AdaNet을 사용해보고 싶은 분은 우리의 Github 저장소를 확인해보시고 가이드 노트북의 안내에 따라 사용해보세요. 손쉽게 시작하실 수 있도록 조밀한 계층과 콘볼루션을 사용하는 작업 예제를 몇 개 포함해 두었습니다. AdaNet은 계속 이어지는 연구 프로젝트이므로 자발적 기여를 환영합니다. AdaNet이 연구 커뮤니티에 어떤 도움이 될 수 있을지 설레는 마음으로 지켜보고 있습니다.
감사의 말
Corinna Cortes, Mehryar Mohri, Xavi Gonzalvo, Charles Weill, Vitaly Kuznetsov, Scott Yak, Hanna Mazzawi를 비롯한 핵심 팀원의 노고 덕분에 이 프로젝트를 진행할 수 있었습니다. 우리가 진행한 테스트 작업을 도와주신 Google의 Gus Kristiansen, Galen Chuang, Ghassen Jerfel, Vladimir Macko, Ben Adlam, Scott Yang 등 많은 공동작업자, 레지던트 및 인턴 사원 여러분께도 특별한 감사의 마음을 전합니다.