Google for Developers Korea Blog: TensorFlow Serving의 혁신적인 기능들을 확인해 보세요.

Google for Developers Korea Blog

한국의 개발자들을 위한 Google for Developers 국문 블로그입니다.

TensorFlow Serving의 혁신적인 기능들을 확인해 보세요.

2017년 12월 14일 목요일

여기최성준(Machine Learning GDE)
2016년 2월TensorFlow Serving

최적화된 서비스 제공 및 사용자설정 기능 기본 제공: 우리는 이제 AVX 지원 최신 CPU에 맞게 최적화되어 미리 빌드된 표준 서비스 제공 바이너리를 제공하므로 개발자가 특별한 요구 사항이 없는 한 Google 라이브러리에서 자체적인 바이너리를 어셈블할 필요가 없습니다. 그와 동시에, 레지스트리 기반 프레임워크를 추가하여 라이브러리를 사용자설정(또는 TensorFlow 이외) 서비스 제공 시나리오에 사용할 수 있도록 했습니다.

다중 모델 서비스 제공: 한 모델에서 동시에 서비스가 제공되는 여러 모델로 전환하면 성능과 관련하여 여러 가지 장애물이 발생합니다. 우리는 (1) 격리된 스레드 풀에 로드하여 트래픽이 발생시키는 다른 모델에서 지연 시간의 급증이 발생하지 않도록 하고, (2) 서버 시작 시 모든 모델의 초기 병렬 로드를 가속화하며, (3) 다중 모델 배치 인터리빙을 통해 하드웨어 액셀러레이터(GPU/TPU)를 다중화함으로써 다중 모델을 원활하게 제공합니다.

모델 형식 표준화: 우리는 SavedModel을 TensorFlow 1.0에 추가하여 훈련 및 서비스 제공 간에 제대로 작동하는 단일의 표준 모델 형식을 커뮤니티에 제공했습니다.

사용이 간편한 추론 API: 우리는 일반적인 추론 작업(분류, 회귀)에 사용할 수 있는 사용이 간편한 API를 출시했으며, 이는 광범위한 Google 애플리케이션에서 올바르게 작동하는 것으로 확인되었습니다. 더욱 발전된 사용을 지원하기 위해 더 low-level tensor 기반 API(predict)와 멀티태스킹 모델링을 사용하는 새로운 다중 추론 API를 지원합니다.

SRE TFXClipperUC 버클리 RISE LabCloud ML Prediction릴리스

세분화된 일괄 처리: 특수화된 하드웨어(GPU 및 TPU)를 통한 높은 처리량을 달성하기 위해 우리가 택한 핵심 기술은 여러 사례를 공동으로 처리하여 효율성을 높이는 기술인 '일괄 처리'입니다. 우리는 (a) 효율성을 극대화하기 위해 일괄 처리가 계산에서 GPU/TPU 부분만 대상으로 삼을 수 있도록 하고, (b) 텍스트 및 이벤트 시퀀스와 같은 시퀀스 데이터를 처리하는 데 사용되는 순환적 신경망 내에서 일괄 처리가 가능하도록 하는 것을 목표로 일괄 처리를 향상할 수 있는 기술과 모범 사례를 개발하고 있습니다. 우리는 일괄 처리/일괄 처리 해제 작업 쌍을 사용하여 임의의 부분 그래프를 일괄 처리하는 것을 실험하고 있습니다.

분산 모델 서비스 제공: 우리는 하나의 서버 노드에 맞추기에는 너무 큰 모델을 처리하거나 메모리 효율적인 방식으로 하위 모델을 공유하는 수단으로서 모델 분할 기술을 연구하고 있습니다. 최근에 프로덕션 환경에서 1TB 이상의 모델을 출시하고 좋은 결과를 내고 있으며, 이 기능을 곧 오픈소스로 제공하기를 바라고 있습니다.

github.com/tensorflow/serving

Contents

ML/Tensorflow
Android
Flutter
Web/Chrome
Cloud
Google Play
Community
Game
Firebase

검색

Tag

Archive

2024
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2023
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2022
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2021
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2020
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2019
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2018
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2017
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2016
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2015
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2014
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2013
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2012
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 3월
- 2월
- 1월

2011
- 12월
- 11월

Feed

Google
Privacy
Terms