리턴제로 (ReturnZero)는 음성 인식과 텍스트 처리 솔루션을 제공하는 기업으로, Gemma 2를 한국어로 파인튜닝한 모델을 활용해 새로운 통화 요약 서비스를 개발했습니다. 리턴제로의 김동우, 하상천 담당자가 전하는 한국어 Gemma 2 파인튜닝 경험과 도쿄에서 열린 Gemma Developer Day 참여 후기를 자세히 확인해 보세요.
작성자: 리턴제로 김동우 (Senior Research Engineer), 하상천 (Researcher)
안녕하세요. 리턴제로는 음성인식 서비스로 시작하여 현재는 B2C STT ‘VITO’, B2B SaaS ‘Callabo’, B2B On-premise 솔루션 ‘RTZR STT’, ‘LEXINOS’ 등 다양한 인공지능 서비스를 제공하는 기업입니다. 클라우드로 음성인식 및 텍스트 분석 모듈을 제공하거나 설치형 솔루션도 제작하며, 주로 금융, 음성 녹음, 콜 센터 분야에서 음성 인식 및 텍스트 처리를 통해 기업의 생산성 향상과 디지털 자산화를 지원하고 있습니다.
리턴제로가 Gemma 2를 기반으로 한국어 파인튜닝 모델을 개발한 이유
저희는 리턴제로 서비스를 위해 여러 오픈 다국어 모델들을 테스트해봤는데, Gemma 2의 한국어 성능은 출시 시점부터 여타의 다른 모델들에 비해 월등하게 우수했으며 한국어 답변이 상용 서비스의 수준에 이르렀다는 느낌을 처음으로 받은 모델이었습니다. 또한 Gemma 2는 Colab 등에서 빠르게 파인튜닝되거나 모바일에서 구동이 가능한데요. 이처럼 기존의 다양한 프레임워크와 플랫폼에서 활용이 가능해, 새로운 기능과 서비스를 신속하게 개발하고 배포할 수 있는 점도 Gemma 2의 큰 장점이라 생각되었습니다.
그래서 저희는 Gemma 2 9B를 베이스 모델로 한국어 Vocab을 확장하고 CPT(Continuous Pre-training)를 진행하며, 한국어 토큰을 최적화했습니다. 이 과정을 거쳐 저희는 올해 초 Gemma 2 한국어 파인튜닝 모델 rtzr/ko-gemma-2-9b-it을 Huggingface를 통해 커뮤니티에 공개했습니다. Gemma 2 한국어 성능에 대한 저희의 주관적인 느낌은 해당 모델이 한국어 리더보드에서 정량적으로도 좋은 지표를 얻으면서 명확하게 확인할 수 있었습니다.
실제로 해당 모델을 저희 ‘VITO’ 서비스에 적용해보니 Gemma 2의 우수한 한국어 처리 능력으로 실질적인 이점을 얻을 수 있었습니다. 특히 일반 한국어 문어체 뿐 아니라, 구어체로 된 통화 데이터에서 대화 컨텍스트를 잘 이해하고 수준 높은 퀄리티로 요약이 가능해 저희 서비스 개발에 큰 도움이 되었습니다.
Gemma Developer Day에서 발표된 Gemma 2 최신 업데이트 및 Gemma 2 2B 일본어 파인튜닝 모델
10월 3일 Gemma Developer Day 참석 시 촬영한 기념 사진. (앞줄 가운데 김동우 리턴제로 Senior Research Engineer, 그 오른쪽이 하상천 리턴제로 Researcher)
이러한 노력으로 Google의 초청을 받아 지난 10월 3일 도쿄에서 열린 Gemma Developer Day에 다녀올 수 있었습니다.
행사에 깜짝 방문한 Google CEO Sundar Pichai의 환영사를 듣고 Google이 영어 외에 전 세계 다국어 커뮤니티에도 많은 관심을 갖고 있으며, Gemma 모델의 다국어 기능을 통해 개발자 생태계를 적극적으로 지원한다는 것을 크게 체감할 수 있었습니다. 특히 이 날 처음 공개된 Gemma 2 JPN Release는 2B 모델의 영어 성능을 그대로 유지하면서도 일본어에 특화된 모델이라 매우 인상적이었습니다.
또한, 학습할 때부터 성능 손실은 최소화하면서도 추론 능력을 최적화하는 최근 LLM 개발 동향이 Gemma 2에 많이 반영되었다고 느꼈습니다. 대표적인 예로 Arithmetic intensity를 줄이기 위해 기존의 Multi-head Attention(MHA) 기술이 아니라 Grouped Query Attention(GQA) 기술을 사용하고, Hidden dimension도 일반적으로 많이 사용하던 4096 차원에서 3584 차원으로 축소된 것을 확인할 수 있었습니다.
특히 Gemma를 한국어로 파인튜닝하면서 느꼈던 경험과 향후 제품에 대해 기대하는 부분들까지도 Google DeepMind 연구진 및 한국과 일본의 개발자들과 심도깊은 대화를 나눌 수 있어서, Gemma Developer Day 행사는 연구자 입장에서 너무나도 유익했던 시간이었습니다.
Gemma 2를 활용한 고품질 통화 요약 서비스 출시 및 향후 계획
리턴제로의 Gemma 2 한국어 파인튜닝 모델 rtzr/ko-gemma-2-9b-it을 토대로, 저희는 고품질 통화 요약 기능을 개발했고 내년 1월에 B2C STT ‘VITO’ 앱에서 프로모션과 함께 출시될 예정입니다. B2B 솔루션에서도 엔티티 추출, 텍스트 요약 등 기존 NLP/TA 모듈의 성능 개선에 해당 모델을 활용할 예정입니다. 2025년에는 Gemma-2-27B 모델을 통해 한국어 뿐만 아니라 여러 다국어를 다뤄보며 다양한 활용처를 발굴해 보고자 합니다.
Gemma Developer Day in Tokyo 행사의 주요 세션과 데모 영상은 여기서 시청하실 수 있으니, 영상으로 Gemma 최신 업데이트를 확인해보세요.
Google for Developers
