Google for Developers Korea Blog: 강화 학습을 통한 오픈 소싱 액티브 질문 재공식화

Google for Developers Korea Blog

한국의 개발자들을 위한 Google for Developers 국문 블로그입니다.

강화 학습을 통한 오픈 소싱 액티브 질문 재공식화

2019년 1월 24일 목요일

.post-body span { white-space: normal !important; } <블로그 원문은 이곳에서 확인하실 수 있습니다> 게시자: 소프트웨어 엔지니어 Michelle Chen Huebscher, 뉴욕 대학 박사 과정, Google AI 언어 소프트웨어 엔지니어 인턴 Rodrigo Nogueira
기계 번역, 문장 구성, 의미 분석 등에 적용되는 자연어 이해 는 현재 진행 중인 Google AI 연구 조사의 주요 초점입니다. 무엇보다 사용자의 질문에 직접적으로 대답할 수 있는 기능이 대화 기술에 점점 더 많이 요구됨에 따라, Google이 추구하고 있는 가장 활발한 연구 분야 중 하나는 인간 대화의 기본적인 구성 요소인 질문 답변(QA)입니다.
오픈 소싱 코드는 재현 가능한 연구 조사의 중요 구성 요소이므로 Google은 질문 답변을 위한 인공 에이전트 학습에 강화 학습의 활용 방안을 탐구하는 연구 조사 프로젝트인 액티브 질문 답변용(ActiveQA) TensorFlow 패키지를 선보입니다. ICLR 2018 논문 “올바르게 질문하기: 강화 학습을 통한 액티브 질문 재공식화 ”에 처음으로 소개된 ActiveQA는 더 나은 대답을 제공한다는 목표를 가지고 자연어를 사용하여 QA 시스템과 상호 작용합니다.
Active 질문 답변
전통적인 QA에서는 관리된 학습 기술이 임의로 입력된 질문에 답하는 시스템을 학습하기 위해 라벨로 지정된 데이터와 함께 사용됩니다. 이는 효과적이지만 질문을 재공식화하고 여러 번 검색을 실행하여 반응을 평가하고 종합하므로 인간처럼 불확실성에 대처할 수 있는 능력 부족으로 인한 어려움이 있습니다. "올바르게 질문을 하는" 인간의 능력에서 아이디어를 얻은 ActiveQA는 QA 시스템을 반복적으로 조사하는 에이전트를 도입합니다. 이렇게 함으로써 에이전트는 원래의 질문을 여러 번 재공식화하여 가장 좋은 답변을 찾아내 수 있습니다. 이 접근 방식은 에이전트가 QA 시스템과 동적인 상호작용을 하기 때문에 액티브라고 하며, 회신 답변의 품질을 개선하는 것이 목표입니다.
"Tesla는 언제 처음 생겼나요?"와 같은 질문을 예로 들어 보겠습니다. 에이전트는 다음 두 가지 방식으로 질문을 재공식화합니다. "Tesla의 설립일" 및 "Tesla 설립연도". 그리고 QA 시스템에서 두 질문에 대한 답변을 모두 가져옵니다. 이 정보를 모두 활용하여 "1856년 7월 10일"을 답변으로 결정하게 됩니다.

ActiveQA 시스템의 특징은 좋은 답변으로 유도하는 질문을 하도록 학습한다는 것입니다. 그러나 원래 질문과 보다 효과적인 변형의 쌍으로 이루어진 질문 형태에서는 학습 데이터를 쉽게 사용할 수 없기 때문에 ActiveQA는 학습 에이전트와 관련이 있는 머신러닝의 접근 방식인 강화 학습을 활용하여 환경과의 상호작용을 통해 보상을 최대화하는 작업을 수행하게 됩니다.
이 학습은 ActiveQA 에이전트가 QA 시스템과 상호 작용할 때 이루어지며, 각 질문의 재공식화는 해당 답변이 얼마나 우수한지, 즉 보상의 구성으로 평가됩니다. 답변이 좋으면 학습 알고리즘이 모델의 매개변수를 조정하여 답을 유도하는 질문 재공식화가 다시 이루어질 가능성이 더 높아지고 답변이 좋지 않으면 가능성이 낮아집니다.
논문에서는 그러한 에이전트들이 더 나은 질문을 함으로써 재공식화에 답변을 제공한 기본 QA 시스템을 능가하도록 훈련될 수 있다는 것이 나타나 있습니다. QA 시스템은 관리 학습으로 이미 동일한 과제를 해결하도록 훈련되었기 때문에 이는 중요한 결과입니다. 본 연구 조사의 또 다른 주목할만한 결과는 ActiveQA 에이전트가 상당히 정교하고 여전히 해석 가능한 재공식화 전략을 학습할 수 있다는 것입니다(강화 학습의 정책). 학습된 정책은 tf-idf 쿼리 용어 가중치 재부여와 같은 잘 알려진 정보 검색 기술을 활용합니다. 이는 일반 용어보다 더 많은 정보를 제공하는 용어들에 가중치가 부여되는 프로세스이자 단어의 어간을 추출(워드 스태밍)하는 기능입니다.
자체 ActiveQA 시스템 구축
Google이 선보이는 TensorFlow ActiveQA 패키지는 세 가지 주요 구성 요소로 이루어져 있으며 ActiveQA 에이전트를 학습시키고 구동하는데 필요한 모든 코드가 포함되어 있습니다.

질문을 입력으로 해석하여 공식화로 복귀하는 사전 학습 시퀀스 투 시퀀스 모델 이 작업은 영어에서 영어로 번역하는 기계 번역과 유사하며, 실제로 초기 모델은 일반적인 페러프레이징에 사용될 수 있습니다. 이를 구현하기 위해 Google은 TensorFlow 인공 신경망 번역 가이드 코드를 사용 및 맞춤화합니다. 정책 구배법을 사용하여 강화 학습을 통한 학습을 지원하는 코드를 조정했습니다.*

답변 선택 모델. 답변 선택기는 복잡한 신경망을 사용하여 원래의 질문, 재공식화 및 답변, 이 세 가지에 점수를 부여합니다. 선택기는 사전에 학습되며 공개적으로 사용 가능한 단어 삽입(GloVe)을 활용합니다.

질문 답변 시스템(환경) Google은 Seo 외(2017)의 논문에 설명된 바와 같이 유명한 질문 답변 시스템인 BiDAF 를 이 목적으로 사용합니다.

또한 학습된 모든 모델의 체크 포인트에 대한 포인터를 제공합니다.
Google의 사명은 전 세계의 정보를 조직화하여 그 정보를 유용하고 보편적으로 접근할 수 있게 만드는 것입니다. 그리고 ActiveQA가 그 사명을 실현하는 데 있어 중요한 단계라고 믿습니다. Google은 이 연구 조사가 더 우수하고 해석 가능한 답변을 제공하는 시스템 설계에 도움이 될 것이라고 생각합니다. 그리고 이 연구 조사가 자연어를 사용하여 세계와 상호작용할 수 있는 시스템을 개발하는 이들에게 도움이 되기를 바랍니다.
감사의 말
본 연구 조사 및 발간에는 Alham Fikri Aji, Christian Buck, Jannis Bulian, Massimiliano Ciaramita, Wojciech Gajewski, Andrea Gesmundo, Alexey Gronskiy, Neil Houlsby, Yannic Kilcher, Wei Wang이 도움을 주셨습니다.
* 본 논문에 보고된 시스템에는 Britz 외(2017) 논문에 사용된 TensorFlow 시퀀스 투 시퀀스 코드 를 이 목적으로 사용합니다. 이후 Google 번역 모델(GNMT)의 오픈 소스 버전이 가이드로 공개되었습니다. 오늘 출시된 ActiveQA 버전은 보다 최신이며 적극적인 개발 구현을 기반으로 합니다. 이러한 이유로 출시된 시스템은 논문과 다소 다릅니다. 하지만 성능과 동작은 질적 및 양적으로 유사합니다.↩

Contents

ML/Tensorflow
Android
Flutter
Web/Chrome
Cloud
Google Play
Community
Game
Firebase

검색

Tag

Archive

2024
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2023
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2022
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2021
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2020
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2019
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2018
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2017
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2016
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2015
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2014
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2013
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 4월
- 3월
- 2월
- 1월

2012
- 12월
- 11월
- 10월
- 9월
- 8월
- 7월
- 6월
- 5월
- 3월
- 2월
- 1월

2011
- 12월
- 11월

Feed

Google
Privacy
Terms