클라우드 서비스 아마존웹서비스(Amazon Web Services, 이하 AWS)와 SK텔레콤은 양사 협력을 통해 한국어 자연어 처리를 위한 GPT-2(Generative Pretrained Transformer-2) 모델(이하, KoGPT-2)을 공개했다고 4월28일 밝혔다.
양사에 따르면 GPT-2는 머신러닝(ML) 알고리즘을 활용해 입력된 샘플 텍스트를 분석해 구문론적, 문법적, 정보적 일관성을 갖춘 텍스트로 완성하고 생성하는 자연어 처리 모델이다. 한국어로 학습된 오픈소스 기반 GPT-2 모델인 KoGPT-2는 일반적인 질문에 대한 응답 생성, 문장 완성, 챗봇 등 한국어 해석이 요구되는 다양한 애플리케이션의 머신러닝 성능을 향상시킬 수 있다.
개발자들은 KoGPT-2를 직접 사용하거나 추가 학습해 보다 적은 자원과 NLP 지식으로 대규모 언어 모델 학습과 같은 NLP 업무를 보다 빠르게 처리할 수 있게 됐다. KoGPT-2는 챗봇 구축, 텍스트 감성 예측, 텍스트 분석 기반 응답 생성에 사용될 수 있다. SK텔레콤은 ML 커뮤니티 성장을 지원하기 위해 KoGPT-2 개발과 공개를 결정했다고 설명했다.
AWS와 SK텔레콤은 양사 NLP 지식과 학습 경험을 기반으로 KoGPT-2 모델을 학습시켰다. SK텔레콤이 제공한 한국어 데이터셋과 AWS 서비스를 활용해 한국어 모델을 개발, 학습했다.
KoGPT-2는 수정 MIT 라이선스(Modified MIT License) 아래 SKT AIX 센터 깃허브 저장소(https://github.com/SKT-AI/KoGPT2)에서 이용 가능하다. 관심 있는 개발자는 모델과 관련 소스를 다운로드해 프로젝트에 사용, 수정 및 적용할 수 있다.
SK텔레콤은 앞서 한국어 데이터셋을 활용해 학습된 오픈소스 텍스트 표현 모델인 코버트(KoBERT)를 공개한 바 있다. 코버트는 한국어 읽기에 특화됐고, 챗봇 및 법적 문서 검토 등 한국어 기반 분석이 요구되는 서비스에 사용된다. SK텔레콤의 에릭 데이비스(Eric Davis) 글로벌 AI 개발그룹 그룹장은 “ML은 디지털 전환을 촉진할 수 있는 잠재적인 가능성으로 인해 국내에서 많은 관심을 받고 있지만, 대부분 기업들이 KoGPT-2 모델과 같은 대규모 모델 개발에 어려움이 있었다. KoGPT-2가 노년층을 위한 챗봇, 코로나19와 관련된 가짜 뉴스 차단을 위한 검색 엔진 등 한국어를 해석하는 애플리케이션을 개발하는 중소기업과 스타트업의 기술 역량 발전에 이바지할 수 있기를 바란다”라고 말했다.