Google Developers Korea Blog

Pose Animator - 모션 캡처를 통해 브라우저에서 SVG 캐릭터에 생명력을 불어넣기 위한 오픈소스 도구

Thursday, June 4, 2020

.post-body span { white-space: normal !important; } 작성자 : Shan Huang(Google Partner Innovation, Creative Technologist)
원문은 여기서 확인 가능하며 정지용(Google TensorFlow Ecosystem)님이 번역 리뷰에 참여해주셨습니다.
배경 PoseNet 및 (Mediapipe의) Facemesh TensorFlow.js 모델은 간단한 웹캠을 통해 브라우저에서 실시간으로 사람을 인식할 수 있게 만들었습니다. 캐릭터 애니메이션의 복잡한 기술을 마스터하려고 발버둥치는 애니메이션 마니아로서, 필자는 몸으로 제어되는 대화식 애니메이션을 위해 이들 모델을 사용하여 실험하면서 희망을 보았고 정말 흥미로웠습니다.
그 결과물이 바로 웹캠에서 얻은 신체 인식 결과로 SVG 캐릭터에 생명력을 불어넣는 오픈소스 웹 애니메이션 도구인 Pose Animator입니다. 이 블로그 게시물에서는 Pose Animator의 기술적 디자인뿐 아니라, 디자이너가 자신만의 캐릭터를 만들고 애니메이션하는 방법도 다룹니다.
TensorFlow.js와 함께 FaceMesh 및 PoseNet을 사용해 전신 캐릭터 애니메이션 표현 2D 벡터 일러스트레이션을 선택해 PoseNet과 FaceMesh에서 얻은 인식 결과를 기반으로 곡선으로 표현된 일러스트레이션을 실시간으로 업데이트하는 것이 Pose Animator의 대략적인 아이디어입니다. 이를 실현하기 위해, Pose Animator는 컴퓨터 그래픽에서 뼈대 기반 애니메이션의 아이디어를 차용해 벡터 캐릭터에 적용합니다.

뼈대 애니메이션에서는 캐릭터가 다음 두 부분으로 표현됩니다.

캐릭터를 그리는 데 사용되는 표면

표면 애니메이션에 사용되는 상호 연결된 뼈로 구성된 계층적 집합

Pose Animator에서는 입력 SVG 파일에서 표면이 2D 벡터 경로로 정의됩니다. 뼈 구조의 경우, Pose Animator는 PoseNet과 FaceMesh의 주요 지점을 기준으로 미리 정의된 리그(rig, 뼈 계층 구조) 표현을 제공합니다. 입력 SVG 파일을 통하여 캐릭터 일러스트레이션과 뼈 구조의 초기 포즈가 주어집니다. 그 이후의 뼈 위치는 ML 모델에서의 인식 결과에 의해 실시간으로 업데이트됩니다.

PoseNet(파란색)과 FaceMesh(빨간색)로 인식된 주요 지점

설명을 따라 Pose Animator를 위한 자신만의 SVG 캐릭터를 만들어보세요.

PoseNet 및 FaceMesh 출력으로 제어되는 애니메이션의 베지어 곡선

리깅 흐름 개요 전체 리깅(rigging, 뼈대 바인딩) 처리에는 다음과 같은 단계가 필요합니다.

둘 다 T-pose(초기 포즈)에 있는 벡터 일러스트레이션과 미리 정의된 뼈대에 대한 입력 SVG 파일을 파싱합니다.

벡터 경로에 있는 모든 세그먼트에 대하여 각각의 뼈로 인한 가중치 영향과 변환을 반복하여 계산합니다. 이 때 Linear Blend Skinning(이 글에서 이후 설명함)을 사용합니다.

실시간으로 각각의 입력 프레임에서 FaceMesh 및 PoseNet을 실행하고 결과 주요 지점을 사용하여 뼈 위치를 업데이트합니다.

업데이트된 뼈 위치, 뼈 가중치 및 변환으로부터 벡터 세그먼트의 새 위치를 계산합니다.

유사한 인형술사 기능을 제공하는 다른 도구들이 있지만, 그 대부분은 각 요소의 바운딩 박스를 업데이트할 뿐이고 인식한 주요 지점으로 캐릭터의 실제 형상을 변형하지는 않습니다. 또한 전신 인식과 애니메이션 기능을 제공하는 도구는 거의 없습니다. Pose Animator는 개별 곡선을 변형함으로써 얼굴 및 전신 동작의 미묘한 차이를 포착하는 능력이 뛰어나며, 더욱 표현력이 풍부한 애니메이션을 제공하리라는 기대를 갖게 합니다.
리그 정의 리그 구조는 PoseNet과 FaceMesh의 출력 주요 지점에 따라 디자인됩니다. PoseNet은 전신에 대해 17개의 주요 지점을 반환하는데, 이는 리그에 직접 포함하기에 충분할 정도로 간단한 수준입니다. 하지만 FaceMesh는 486개의 주요 지점을 제공하므로, 필자는 어떤 것을 포함할지 좀 더 조심스럽게 골라야 했습니다. 마침내 FaceMesh 출력에서 73개의 주요 지점을 선택했으며, 아래 그림과 같이 모두 합쳐 90개의 주요 지점과 78개의 뼈로 구성된 전신 리그를 만들었습니다.

90개의 주요 지점과 78개의 뼈로 구성된 전신 리그

모든 입력 SVG 파일에는 기본 위치에 이 뼈대가 포함되어 있어야 합니다. 더 구체적으로, Pose Animator는 각각 나타내는 관절로 명명된 앵커 요소가 포함된 'skeleton'(뼈대)라는 그룹을 찾습니다. 샘플 리그 SVG는 여기에서 찾을 수 있습니다. 디자이너는 리그를 캐릭터에 가장 잘 삽입하기 위해 디자인 파일에서 관절을 자유롭게 이동할 수 있습니다. 극단적인 케이스(예: 무척 짧은 다리/팔 뼈)는 리깅 알고리즘에서 잘 지원되지 않아 부자연스러운 결과가 생성될 수 있지만, Pose Animator는 SVG 파일에서 기본 위치에 따라 스키닝(skinning)을 계산합니다.

디자인 소프트웨어(Adobe Illustrator)에서 리그가 삽입된 일러스트레이션

벡터 경로를 위한 Linear Blend Skinning Pose Animator는 뼈대 구조를 사용하여 표면을 변형하기 위한 가장 일반적인 리깅 알고리즘 중 하나인 Linear Blend Skinning(LBS)을 사용하는데, LBS는 각 뼈의 영향을 가중치로 적용하여 각각의 뼈만으로 제어되는 변환을 함께 합쳐서 표면의 정점을 변환합니다. 우리의 사례에서는, 정점이 벡터 경로상의 앵커 지점을 가리키며 뼈는 위의 리그에서 연결된 두 주요 지점으로 정의됩니다(예: 주요 지점 ‘leftWrist’와 ‘leftElbow’이 뼈 ‘leftWrist-leftElbow’를 정의함).
수식으로 표현하자면, 정점 vi’의 세계 공간 위치는 다음과 같이 계산됩니다.

여기서 - wi 는 뼈 i가 정점 i에 미치는 영향이고, - vi 는 정점 i의 초기 위치를 설명하며, - Tj 는 뼈 j의 초기 포즈를 현재 포즈에 맞춰주는 공간 변환을 설명합니다.
뼈의 영향은 자동으로 생성하거나 가중치 페인팅을 통해 수동으로 할당할 수 있습니다. Pose Animator는 현재 자동 가중치 할당만 지원합니다. 정점 i에 미치는 뼈 j의 순수한 영향은 다음과 같이 계산됩니다.

여기서 d는 정점 i에서 뼈 j의 가장 가까운 지점까지의 거리입니다. 마지막으로, 정점에 대한 모든 뼈의 가중치를 정규화하여 그 합이 최대 1이 되도록 합니다.

이제, 직선과 베지어 곡선으로 구성된 2D 벡터 경로에서 LBS를 적용하려면 내부 핸들과 외부 핸들을 사용한 베지어 곡선 선분에 대한 특수 처리가 필요합니다. 곡선 점, 내부 제어점, 외부 제어점에 대해 별도로 가중치를 계산해야 합니다. 그러면 제어점에 대한 뼈의 영향이 더 정확히 포착되므로 외관상 더 나은 결과가 나옵니다.
한 가지 예외적 사례는 있습니다. 내부 제어점, 곡선 점, 외부 점이 동일 선상에 있을 때는 애니메이션 실행 시 세 점이 동일 선상에 있도록 보장하기 위해 세 점 전부에 대해 곡선 점 가중치를 사용합니다. 이는 곡선의 평활도 유지에 도움이 됩니다.

동일 선상의 곡선 핸들은 동일 선상에 머무르기 위해 같은 가중치를 공유함

모션 안정화 LBS는 이미 애니메이션된 프레임을 제공하지만, FaceMesh 및 PoseNet 출력을 그대로 이용하면 눈에 거슬릴 정도로 잡음이 발생합니다. 잡음을 줄이고 더 부드럽고 매끈한 애니메이션을 얻으려면 예측 결과에서 나온 신뢰도 점수를 사용해 각각의 입력 프레임에 고르지 않게 가중치를 주어 신뢰도가 낮은 프레임의 영향을 줄일 수 있습니다.
이 아이디어에 따라, Pose Animator는 프레임 t에서 관절 i의 평활화(smoothing)된 위치를 다음과 같이 계산합니다.

여기서

프레임 i의 평활화된 신뢰도 점수는 다음과 같이 계산됩니다.

극단적인 경우를 생각해봅시다. 연속되는 두 프레임의 신뢰도 점수가 모두 1일 때, 50%의 속도로 최신 위치를 향하여 움직이므로 응답성이 좋고 적당히 매끈해 보입니다. (응답성을 좀 더 시험해보려면 최신 프레임에 대한 가중치를 변경해 접근 속도를 조정할 수 있습니다.) 최신 프레임의 신뢰도 점수가 0일 때는 그 영향이 완전히 무시되어 낮은 신뢰도 결과로 인한 갑작스러운 변동 발생을 방지합니다.
신뢰도 점수 기반 클리핑 신뢰도 점수로 관절 위치를 보간하는 것 외에, 경로를 렌더링해야 할지 여부를 결정하는 최소 임계값도 도입합니다.
경로의 신뢰도 점수는 세그먼트 점의 신뢰도 점수를 평균한 값으로, 이는 영향을 주는 뼈의 점수에 대한 가중 평균입니다. 전체 경로의 점수가 특정 임계값 미만일 때 특정 프레임에 대한 전체 경로를 숨깁니다.
이는 종종 카메라 뷰를 벗어나는 신체 부분인 저신뢰도 영역에 있는 경로를 숨기는 데 유용합니다. 상체 사진을 생각해봅시다. PoseNet은 신뢰도 점수가 낮겠지만 다리와 엉덩이에 대한 주요 지점 예측을 항상 반환합니다. 이 클램핑 메커니즘을 사용해 하체 부분이 이상하게 왜곡된 경로로 나타나는 대신 적절히 숨겨지도록 할 수 있습니다.
전망 메시할 것이냐 말 것이냐 현재 리깅 알고리즘은 주로 2D 곡선을 중심으로 합니다. 이는 뼈의 길이가 비교적 고정적인 게임 내 애니메이션과는 달리, PoseNet과 FaceMesh에서 생성된 2D 리그는 동작 범위가 크고 뼈 길이가 유동적이기 때문입니다. 필자는 현재 입력 경로에서 삼각 메시를 변형할 때보다 베지어 곡선을 변형할 때 더 매끈한 결과를 얻고 있는데, 이는 베지어 곡선이 입력 선의 곡률/일직선을 더 잘 유지하기 때문입니다.
필자는 메시에 대한 리깅 알고리즘을 꼭 개선하고 싶습니다. 그 밖에도, 구부러진 영역 주변으로 볼륨이 얇아지는 것과 같은 제한 사항이 있는 LBS보다 더 발전된 리깅 알고리즘을 탐구해보고 싶습니다.
새로운 편집 기능 Pose Animator는 벡터 그래픽 편집에 강력한 능력을 발휘하지만 애니메이션/스키닝 요구 사항을 해결하는 데는 적합하지 않은 Illustrator와 같은 디자인 소프트웨어에 일러스트레이션 편집을 맡겨둡니다. 필자는 다음을 비롯한 더 많은 애니메이션 기능을 브라우저 내 UI를 통해 지원하고 싶습니다.

주요 지점에 대한 개별 가중치를 수동으로 조정할 수 있도록 하기 위한 스키닝 가중치 페인팅 도구. 이 도구는 자동 가중치 할당보다 더 정밀한 조정을 가능하게 만들 것입니다.

아티스트가 디자인에 사진/그림을 사용할 수 있도록 입력 SVG 파일에서 래스터 이미지를 지원합니다. 이미지 바운딩 박스를 벡터 경로로 쉽게 표현할 수 있으므로, 현재 리깅 알고리즘을 사용하여 간단하게 변형을 계산할 수 있습니다.

직접 체험해 보세요! 기존 캐릭터로 시험해보거나 자신만의 고유한 SVG 캐릭터에 생명력을 불어넣을 수 있는 라이브 데모를 사용해보세요.
필자는 이 창의적인 커뮤니티에서 어떤 종류의 대화식 애니메이션을 창작해낼지 볼 수 있으리라는 기대에 정말 마음이 들뜹니다. 데모는 인간 캐릭터이지만 Pose Animator는 어떤 2D 벡터 디자인에서나 작동하므로, 한계를 더 멀리 확장하고 싶은 만큼 마음껏 추상적이고 아방가르드한 창의성을 발휘하실 수 있습니다.
애니메이션 가능한 일러스트레이션을 직접 창작하려면 이 가이드를 확인해보세요! 소셜 미디어에서 해시태그 #PoseAnimator로 창작품을 꼭 공유해주세요. 궁금한 점이 있으시면 망설이지 마시고 트위터에서 @yemount로 메시지를 남겨주세요. 또는 소스 코드를 보고 싶으신 분은 github에서 포크하실 수 있습니다. 즐겁게 활용해보세요!

BiT 오픈 소스 공개: 컴퓨터 비전을 위한 대규모 사전 훈련

Wednesday, June 3, 2020

.post-body span { white-space: normal !important; } 작성자 : Lucas Beyer, Alexander Kolesnikov (Google Research 리서치 엔지니어) 원문은 여기서 확인할 수 있으며 블로그 번역 리뷰는 박해선(ML GDE)님이 참여해 주셨습니다.
컴퓨터 비전 연구자들은 최신 심층 신경망에서는 늘 더 많은 레이블된 데이터가 필요하다고 종종 불평합니다. 현재 최고 수준의 CNN은 OpenImages나 Places와 같은 데이터셋에서 훈련해야 합니다. 이런 데이터셋은 1백만 개 이상의 레이블된 이미지로 구성되어 있습니다. 하지만 많은 애플리케이션에서 이런 양의 레이블된 데이터를 모으는 것은 평범한 기술자들에게 엄두도 낼 수 없는 일입니다.
컴퓨터 비전 작업에서 레이블 데이터 부족을 보완하기 위해 널리 사용하는 방법은 범용 데이터(예를 들면 ImageNet)에서 사전 훈련된 모델을 사용하는 것입니다. 범용 데이터에서 훈련한 비주얼 특성을 주어진 문제를 위해 재사용할 수 있습니다. 사전 훈련 방식이 실전에서 꽤 잘 동작하지만 새로운 개념을 파악하고 서로 다른 맥락에서 이해하는 능력은 여전히 부족합니다. 하지만 비슷한 관점에서 BERT와 T5가 언어 영역에서 보여준 발전을 보면 대규모 사전 훈련이 컴퓨터 비전 모델의 성능을 높일 수 있다고 생각합니다.
우리는 “Big Transfer (BiT): General Visual Representation Learning” 논문에서 사실상 표준인 데이터셋(ILSVRC-2012)을 넘어서 대규모 이미지 데이터셋을 사용한 효과적인 범용 특성의 사전 훈련 방법을 제시했습니다. 특히 사전 훈련 데이터 양이 증가할수록 적절한 정규화 층 선택과 네트워크 용량 확장이 중요하다는 점을 강조했습니다. 퓨-샷few-shot 인식 테스트와 최근에 소개된 “현실적인" ObjectNet 벤치마크를 포함해 다양한 새로운 비전 작업에 적용하여 이전에 없던 성능을 달성했습니다. 기쁜 소식이 있습니다. 공개 데이터셋에서 사전 훈련한 최고의 BiT 모델을 TF2, Jax, PyTorch 코드와 함께 공개합니다. 이제 누구라도 클래스마다 약간의 레이블된 이미지를 가지고 주어진 작업에서 최고 수준의 성능에 도달할 수 있습니다. 사전 훈련 데이터 크기에 따른 영향을 조사하기 위해 3개의 데이터셋과 많이 사용하는 사전 훈련 설정(활성화와 가중치 정규화, 모델의 깊이와 너비, 훈련 스케줄 등)을 사용했습니다. 이 데이터셋은 ILSVRC-2012 (1,000개의 클래스로 구성된 1.28백만 개의 이미지), ImageNet-21k (~2만 1천개의 클래스로 구성된 1천 4백만 개의 이미지), JFT (~1만 8천개의 클래스로 구성된 300백만 개의 이미지)입니다. 이 3개의 데이터셋을 사용해 이전에 잘 다루지 않았던 대규모 데이터 설정에 초점을 맞추었습니다.
먼저 데이터셋 크기와 모델 용량 사이의 상호 작용을 조사했습니다. 이를 위해 간단하고 재현이 용이하지만 성능이 좋은 기본 ResNet 모델을 훈련했습니다. 기본 50층 깊이의 “R50x1”에서 4배 넓고 152층 깊이를 가진 “R152x4” 모델까지 위에서 언급한 데이터셋으로 훈련했습니다. 늘어난 데이터의 장점을 얻으려면 모델 용량을 늘려야 한다는 점이 관측되었습니다. 아래 그림의 왼쪽 편에 있는 빨간 화살표가 이를 나타냅니다.

왼쪽: 사전 훈련을 위해 대규모 데이터셋을 효과적으로 사용하려면 모델 용량을 늘려야 합니다. 빨간 화살표가 이에 대한 예시입니다. 작은 모델(작은 원)은 대규모 ImageNet-21k 데이터셋에서 사전 훈련할 때 성능이 낮아졌지만 큰 용량의 모델(큰 원)은 향상되었습니다. 오른쪽: 대규모 데이터셋에서 사전 훈련이 반드시 성능을 향상하는 것은 아닙니다. 예를 들어 ILSVRC-2012에서 상대적으로 더 큰 ImageNet-21k 데이터셋으로 바꾸었을 때입니다. 하지만 컴퓨팅 리소스를 늘리고 훈련을 더 오래하면 성능이 향상됩니다.

그다음 더 중요한 점은 훈련 기간이 아주 중요하다는 것입니다. 컴퓨팅 리소스와 훈련 시간을 늘리지 않고 대규모 데이터셋에 사전 훈련하면 성능이 더 나빠질 가능성이 있습니다. 하지만 새로운 데이터셋에 학습 스케줄을 맞추면 크게 향상될 수 있습니다.
조사하는 단계에서 성능을 향상하는데 중요한 다른 수정 사항을 발견했습니다. 배치 정규화(BN, 활성화를 정규화하여 훈련을 안정시키기 위해 널리 사용하는 층입니다)을 그룹 정규화(GN)로 바꾸면 대규모 사전 훈련에 도움이 됩니다. 첫째, BN의 상태(활성화의 평균과 분산)는 사전 훈련과 전이 학습 사이에 조정이 필요합니다. 하지만 GN은 상태가 없어서 이런 문제를 피할 수 있습니다. 둘째, BN은 배치 수준의 통곗값을 사용하기 때문에 대규모 모델에서 어쩔 수 없이 사용하는 장치당 작은 배치 사이즈에서 불안정합니다. GN은 배치 수준의 통곗값을 계산하지 않기 때문에 이 이슈를 피해갑니다. 안정된 성능을 위한 가중치 표준화 기법을 포함하여 조금 더 기술적인 내용은 논문을 참고하세요.

사전 훈련 전략 요약: 표준 ResNet에서 깊이와 너비를 늘리고 BatchNorm(BN)을 GroupNorm과 가중치 표준화(GNWS)로 바꿉니다. 그리고 매우 크고 범용적인 데이터셋에 오랫동안 훈련합니다.

전이 학습 언어 모델에서 BERT가 세운 방법을 따라 사전 훈련된 BiT 모델을 다양한 작업을 위한 데이터에서 세부 튜닝했습니다. 이런 작업들은 레이블된 데이터가 매우 적습니다. 사전 훈련된 모델은 이미 세상을 바라보는 방법을 이해하고 있기 때문에 간단한 이런 방법이 아주 잘 동작합니다.
세부 튜닝할 하이퍼파라미터는 학습률, 가중치 감쇠 등을 포함해 많습니다. 이런 하이퍼파라미터를 선택하는 경험적인 방법으로 “BiT-HyperRule”을 제안합니다. 이 방법은 이미지 해상도와 레이블된 샘플의 수와 같이 데이터셋의 고수준 특성을 기반으로 합니다. 자연 이미지에서 의학 이미지까지 20개 이상의 다양한 작업에 BiT-HyperRule을 성공적으로 적용했습니다.

BiT 모델을 사전 훈련하고나면 레이블된 샘플이 적은 어떤 작업에서도 세부 튜닝할 수 있습니다.

BiT 모델을 샘플이 매우 적은 작업에 전이 학습할 때 사전 훈련에 사용한 범용 데이터의 양과 모델의 용량을 같이 늘려야 새로운 데이터에 적용하는 결과 모델의 성능이 크게 향상한다는 것을 관찰했습니다. 1-샷과 5-샷 CIFAR(아래 그림 참조)의 경우 ILSVRC에서 사전 훈련할 때 모델 용량을 증가하면 성능 향상이 제한적입니다(녹색 곡선). 하지만 JFT에서 대규모 사전 훈련하면 모델 용량을 늘릴 때마다 성능이 크게 향상됩니다(갈새 곡선). BiT-L 모델이 64%의 1-샷과 95%의 5-샷을 달성했습니다.

이 곡선은 5번 독립적으로 실행(밝은 원)하여 얻은 평균 정확도입니다. 클래스 당 1개 또는 5개 이미지(총 10개 또는 50개 이미지)를 가진 CIFAR-10에 전이 학습했을 때입니다. 대규모 데이터셋에 사전 훈련한 대용량 모델이 적은 데이터를 더 잘 활용한다는 증거입니다.

이 결과를 더 일반적으로 검증하기 위해 VTAB-1k에서도 BiT를 평가했습니다. VTAB-1K는 19개의 다른 작업으로 이루어져 있고 각 작업마다 레이블된 샘플이 1,000개 뿐입니다. BiT-L 모델을 이 작업에 모두 전이 학습하여 전체적으로 76.3%의 점수를 달성했습니다. 이는 최고 수준의 이전 성능 보다 5.8% 향상된 것입니다.
대규모 사전 훈련과 단순한 전이 학습 전략이 중간 규모의 데이터가 있는 경우에도 사용할 수 있습니다. BiT-L을 옥스포드 Pets, Flowers, CIFAR 등과 같은 몇 가지 표준 컴퓨터 비전 벤치마크에서 평가하여 확인했습니다. 이 모든 테스트에서 BiT-L은 최고 수준의 성능과 동일하거나 더 우수한 결과를 냈습니다. 마지막으로 MSCOCO-2017 감지 작업에서 BiT를 RetinaNet의 백본으로 사용하여 구조적인 출력을 내는 작업에서도 대규모 사전 훈련을 사용하는 것이 큰 도움이 된다는 것을 보였습니다.

왼쪽: 여러 가지 표준 컴퓨터 비전 벤치마크에서 최고 수준의 이전 모델과 비교한 BiT-L의 정확도. 오른쪽: MSCOCO-2017에서 RetinaNet의 백본으로 BiT를 사용했을 때 평균 정밀도(AP) 결과.

여기에서 다룬 여러 종류의 후속 작업에서 하이퍼파라미터 튜닝을 수행하지 않고 BiT-HyperRule에 의존했다는 것이 중요합니다. 논문에 있는 것처럼 충분한 양의 검증 데이터에서 하이퍼파라미터 튜닝을 하면 더 나은 결과를 얻을 수 있습니다. ObjectNet에서 평가 조금 더 도전적인 상황에서 BiT의 안정성을 평가하기 위해 ILSVRC-2012에서 세부 튜닝된 BiT 모델을 최근에 소개된 ObjectNet 데이터셋에서 평가했습니다. 이 데이터셋은 실제 상황에 매우 가깝습니다. 물체들이 일반적이지 않은 상황, 관점, 각도 등을 가지고 나타납니다. 놀랍게도 데이터와 모델의 규모로 인한 잇점이 BiT-L 모델에서 더욱 두드러졌습니다. 이전에 없던 80%의 톱-5 정확도를 달성했습니다. 이는 최고 수준의 이전 모델보다 25%나 향상된 것입니다.

ObjectNet 평가 데이터셋에서 BiT 모델의 결과. 왼쪽: 톱-5 정확도, 오른쪽: 톱-1 정확도.

결론 많은 양의 범용 데이터에서 사전 훈련한 후 간단한 전이 학습 전략은 클래스당 하나의 이미지가 있는 매우 적은 데이터를 가진 작업은 물론 많은 양의 데이터셋에서도 놀라운 성과를 냅니다. ImageNet-21k에서 사전 훈련한 R152x4 사전 훈련 BiT-M 모델을 Jax, TensorFlow2, PyTorch에서 전이 학습하는 코랩 노트북과 함께 공개합니다. 코드 공개와 함께 BiT 모델을 따라해 볼 수 있는 TensorFlow2 튜토리얼도 제공합니다. 널리 사용되는 ImageNet 사전 훈련 모델외에 기술자들과 연구자들에게 좋은 대안이 되기를 바랍니다. 감사의 말 BiT 논문의 공동 저자이고 모델 개발의 모든 부분에 참여해 준 Xiaohua Zhai, Joan Puigcerver, Jessica Yung, Sylvain Gelly, Neil Houlsby와 취리히의 Brain 팀에게 감사합니다. 입력 파이프라인 디버깅을 도와준 Andrei Giurgiu에게도 감사합니다. 이 블로그에 사용할 애니메이션을 만들어 준 Tom Small에게 감사합니다. 마지막으로 관심있는 독자들에게 이와 유사한 접근 방법인 Google Research 동료들의 Noisy Student, Facebook Research의 Exploring the Limits of Weakly Supervised Pretraining를 추천합니다.

모바일 앱에서의 사용자 여정(User Journey) 심층 탐구

Wednesday, May 27, 2020

.post-body span { white-space: normal !important; } ‘Google Play 앱 및 게임의 사용자 여정 가이드 안내’ 시리즈 Part 1 (총 4부 기획) 작성자: Chetan Maddipatla (Google Play, Head of Mobile Apps Consulting) 원문은 여기서 확인 가능하며, 본 게시물의 번역 리뷰는 임형준(Google)님이 참여해주셨습니다. 이 게시물은 Google Play의 성장 컨설팅(Growth Consulting) 팀에서 제공하는 도움말 시리즈의 일부이며 사용자 여정을 최적화하여 Google Play에서 앱의 성과를 높이는 방법에 중점을 두고 있습니다. 활성 사용자(Active users) 기반 없이는 어떠한 앱도 장기적으로 성공을 거둘 수 없습니다. 강력한 활성 사용자 층을 구축하고 사용자가 앱에 참여하면서 계속 소비하게 하려면 사용자의 동기 및 기대수준을 이해해야 합니다. 사용자를 더 잘 이해하려면 사용자가 앱에서 거치는 여정을 파악해야 합니다. 이번 게시물에서는 사용자가 앱에서 거치는 여정과 각 단계별 특징에 대해 알려드립니다. 게시물을 통해서 아래 질문에 대한 답변을 확인할 수 있습니다.

사용자 참여와 이탈을 단계별로 나눈다면 어떻게 나뉘게 되나요?

어떤 기준으로 사용자를 ‘열성 사용자’(committed)로 구분할 수 있나요?

앱을 제거한 사용자를 재활성화하려고 할 때 어떤 부분을 염두하면 되나요?

그럼 이제 각 단계별로 자세히 살펴보겠습니다. 시작해 볼까요?
시각화된 사용자 여정 모든 사용자는 앱을 설치한 순간부터 일종의 여정(journey)을 시작하게 됩니다. 이 때 앱 개발자의 목표는 사용자가 최대한 빨리 앱의 가치를 파악해, 앱을 계속 사용할 수 있도록 환경을 구축하는데 있습니다. 그 과정에서 각 사용자가 거치는 일련의 과정을 ‘사용자 여정'이라고 합니다. 이 사용자 여정의 각 단계를 잘 파악하여 완성하면, 개발자는 가장 적합한 환경을 구성하여 사용자가 장기적으로 꾸준히 사용하도록 유도할 수 있습니다. 이 도움말에서 Google Play 컨설팅팀은 아래의 순서도를 활용하여 사용자 여정의 각 단계 및 사용자 행동에 대해 알려드리고자 합니다 이 순서도는 중간 행 맨 왼쪽의 설치(Installed)부터 시작하여 앱 사용자 여정의 주요 단계를 보여줍니다. The App User Journey

앱 사용자 여정 각각의 네모 상자는 사용자 여정의 단계를 나타냅니다. 사용자는 각 단계별 작업을 완료하거나 특정한 사용 기준을 충족한 후에 해당 단계로 이동할 수 있습니다. 예를 들어 사용자가 앱을 설치하면 설치(Installed) 단계에 진입하고, 온보딩 과정을 완료하면 온보딩(Onboarding) 단계에 진입합니다. 각 사용자는 한번에 하나의 단계에만 머무를 수 있습니다.

사용자 여정의 단계 정의

설치(Installed)및 온보딩(Onboarding)은 모두 사용자에게 앱에 대해 알려주기 위해 설계된 단계 입니다. 설치 단계의 사용자는 애플리케이션을 다운로드하고 설치하기로 한 상태입니다. 온보딩 단계의 사용자는 앱을 열고 앱의 UI 및 핵심 작업을 확인하게 됩니다. '핵심 작업(core action)'은 앱의 가장 중요한 작업을 의미합니다. 아래에 몇 가지 예를 들어보겠습니다.

차량 공유 앱의 핵심 작업은 차량에 탑승을 완료하는 것입니다.

데이트 앱의 핵심 작업은 연결 가능한 매칭 대상을 두고 손가락을 왼쪽이나 오른쪽으로 밀어서 선택하는 동작입니다.

언어 학습 앱의 핵심 작업은 강의를 완료하는 것입니다.

농장 게임의 핵심 작업은 밭 갈기, 작물 심기, 채소 수확하기가 될 수 있습니다.

간단히 말해서 앱의 핵심 작업을 파악한 후 가능한 한 빨리 핵심 작업을 알려줄 수 있도록 온보딩 단계를 설계해야 합니다(이 시리즈의 다음 게시물에서 더 자세히 살펴보겠습니다). 활성화(Activated)는 온보딩을 마친 사용자가 앱의 핵심 작업을 충분히 파악하고 사용하여 앱의 가치 제안(value proposition)을 이해한 상태를 말합니다. 온보딩이 사용자에게 앱을 가르치는 단계라면 활성화는 사용자가 앱을 제대로 파악했는지 확인하는 단계입니다. 활성화는 사용자 여정의 다른 모든 단계에 있어 매우 중요합니다. 활성화에 관해 더 자세히 알아볼 예정이지만, 먼저 '가치 제안'이라는 용어를 정의해 보겠습니다. 가치 제안은 사용자가 제품을 사용하고 비용을 지불하기로 한 경우 앱에서 사용자에게 제공하기로 제안한 가치를 말합니다. 예를 들어 피트니스 앱은 건강 및 식단 정보를 정리하여 몸 상태를 개선한다는 가치 제안을 제공합니다. 사용자가 핵심 작업에 얼마나 자주 참여하는지 알아보면, 사용자가 앱의 가치 제안을 이해하는지 확인할 수 있습니다. 열성(Committed) 사용자는 앱에서 가장 충성도가 높은 사용자입니다. 이들은 가장 참여도가 높은 헌신적인 사용자로, 앱의 가치 제안에 적극 참여합니다. 활성 사용자와 열성 사용자를 구분하는 이유는 열성 사용자가 이탈할 확률이 낮고 유료 사용자로 전환할 가능성이 크기 때문입니다. 열성 사용자인지는 어떻게 알 수 있을까요? 다음의 세 가지 자격으로 열성 사용자인지 구분합니다. 세 가지 자격은 앱 또는 게임의 설계에 따라 맞춤 설정할 수 있습니다.

최근 사용일. 앱을 최근에 이용한 사용자에게만 열성 사용자의 자격을 부여하고자 합니다. 예를 들어 의도한 앱 사용에 따라(예: 일일, 주간, 월간으로 사용하는 앱) 지난 며칠 동안 핵심 작업을 적어도 한 번은 완료한 사용자가 이에 해당됩니다.

사용 빈도. 의도한 사용 빈도로(예: 일일, 주간, 월간) 앱을 이용하는 사용자를 포함하고자 합니다.

사용 기간. 30일 미만으로 앱을 이용한 사용자는 열성 사용자로 포함하지 않는 것이 좋습니다. 이렇게 하면 보통 불규칙한 참여 패턴을 보이는 신규 설치 사용자를 제외할 수 있습니다.

여러분과 개발 팀에서 사용자 기반을 가장 정확하게 살펴볼 수 있으니, 여러분 앱에 가장 적합한 세 가지 기준을 직접 정의하시면 됩니다. 열성 사용자는 장기적으로 사용자층 및 커뮤니티의 토대가 되므로 열성 사용자를 파악하고 모니터링하시기 바랍니다. 중단 및 앱 제거는 사용자가 이탈하는 단계입니다.

중단(Lapsed) 사용자는 동일한 빈도로 앱을 이용하지 않는 등 초기 이탈 징후를 보이는 사용자를 의미합니다.

앱 제거(Churned)사용자는 장기간 미사용으로 정의되어 더 이상 앱의 활성 사용자가 아닌 사용자를 의미합니다.

특히 앱이 게시된 지 오래된 경우 중단 및 앱 제거 사용자가 설치 사용자층의 다수를 차지하는 것은 정상입니다. 사실 Google Play에 게시된 많은 앱에 있어 재활성화는 성장할 수 있는 좋은 기회이며, 사용자 수명 주기에서 중단과 이탈은 끝이 아닌 일반적인 단계일 뿐입니다. 사용자의 요구는 시간에 따라 바뀌는 것이 자연스러운 일입니다. (적절한 시기에 인센티브를 제공하면 앱 제거 사용자가 다시 돌아오기도 합니다.) 이 게시물 시리즈의 후반부에서는 앱을 다시 이용하기 시작할 가능성이 있는 사용자를 타겟팅할 수 있도록 이탈한 사용자층을 세분화하는 방법에 대해 자세히 살펴보겠습니다. 제거(Uninstalled)는 전 단계 중에 가장 정의가 명확할 것입니다. 즉, 사용자가 기기에서 앱 또는 게임을 제거한 상태를 의미합니다. 앱에 만족하지 못하는 경우에만 사용자가 앱을 제거하지는 않으므로(예: 저장공간이 부족한 기기에서 흔히 앱을 제거함) 앱을 다시 설치할 가능성은 있습니다. 재 설치(Re-installed) 및 재 온보딩(Re-onboarded)은 각각 설치 및 온보딩과 비슷한 역할을 하지만, 재 사용자에게 조금 다른 환경을 제공할 수 있습니다. 예를 들어, 재 온보딩 사용자에게는 특정한 메시지(예: '안녕하세요' 대신 '다시 오신 것을 환영합니다')를 제공하고, 최신 업데이트를 알리며(예: '놓친 소식이 있습니다') 다음 작업에 대해 안내할 수 있습니다(예: 중단하신 곳에서부터 다시 시작하세요'). 이렇게 재 온보딩 사용자가 다시 활성화 단계로 이동할 수 있도록 핵심 작업을 설계하는 것이 필요합니다. 재 활성화(Re-activated)는 일정 기간 이탈한 후 되돌아온 사용자를 말합니다. 이 단계의 목표는 사용자가 다시 활성 사용자가 되어 열성 단계로 이동하도록 사용자를 효율적, 효과적으로 안내하는데 있습니다. 주요 단계별 정의를 알려드렸으니, 이제는 순서도로 다시 돌아가서 사용자가 어떤 방향으로 주요 단계를 이동하는지 살펴보겠습니다. The App User Journey

앱 사용자 여정
사용자 여정 단계 적용 다음과 같이 몇 가지 추가적으로 염두해야 할 사항이 있습니다.

앱은 사용자가 점차 높은 단계로 이동할 수 있도록 UI/UX 과정을 최적화해야 합니다(예: 설치에서 온보딩으로, 활성화에서 열성으로).

사용자가 열성 단계로 이동하면, 사용자의 지속적인 참여를 유도하는데 목표를 두면 됩니다.

재 활성화 캠페인과 재 온보딩 과정을 최적화하여 사용자를 다시 확보하고 열성 단계로 이동하도록 진행할 수 있습니다.

앞서 알려드린 바와 같이 사용자 여정을 인지하고 앱에 적용하면, 사용자가 지속적으로 앱을 사용하도록 맞춤 환경을 조성할 수 있습니다.

Pose Animator - 모션 캡처를 통해 브라우저에서 SVG 캐릭터에 생명력을 불어넣기 위한 오픈소스 도구

BiT 오픈 소스 공개: 컴퓨터 비전을 위한 대규모 사전 훈련

모바일 앱에서의 사용자 여정(User Journey) 심층 탐구

Tag

Archive

Feed