네이버는 지난해 6월 인공지능(AI) 기반 음악 스트리밍 서비스 ‘바이브’를 내놓았다. 바이브는 개인의 음악 취향을 학습해 사용자가 좋아할 만한 음악을 추천해준다는 점을 내세웠다. 네이버는 기존 ‘네이버 뮤직’을 바이브로 통합하는 강수까지 뒀다. 그만큼 AI 추천 서비스에 자신이 있다는 뜻일 터다. 그렇다면 바이브에는 어떤 추천 알고리즘이 적용됐을까.
네이버와 함께 음악 추천 시스템을 개발한 남주한 카이스트 교수는 지난 4월5일 ‘네이버 AI 콜로키움 2019’에서 ‘딥러닝을 이용한 오디오 기반 음악 추천’을 주제로 발표했다. 남주한 교수는 음악 추천 방식을 ‘협업 필터링 기반 추천’, ‘내용 기반 추천’ 등 크게 두 가지로 나누어 설명했다.
협업 필터링 기반 추천은 사용자의 음악 감상 패턴을 바탕으로 비슷한 취향의 사용자 그룹이 많이 소비한 음악을 추천해주는 방식이다. 하지만 음향적 특징보다 인기곡을 중심으로 추천이 되며, 감상 이력이 없는 신곡을 추천해주기 어렵다는 문제점이 있다.
내용 기반 추천은 장르, 무드, 악기 등 개별 음원의 특성을 추출해 이를 바탕으로 사용자가 좋아할 만한 곡을 예측하는 방식이다. 1999년 미국 판도라사가 인터넷 라디오 서비스 ‘뮤직 게놈 프로젝트’에 처음으로 도입했다. 당시 판도라는 450가지 음악 특징을 정의하고 전문가가 일일이 음악을 분석해 이 분석 결과를 기반으로 자동 선곡 서비스를 선보였다.
하지만 사람이 일일이 각 곡의 특징을 분석하는 방식이어서 음악 분석에 필요한 비용과 시간이 많이 들었다. 최근에는 내용 기반 추천을 자동화하는 방식으로 음악 스트리밍 서비스에 적용되고 있다.
네이버 바이브는 협업 기반 필터링과 내용 기반 추천을 합친 ‘하이브리드 추천 시스템’을 사용했다. 하지만 오디오 기반 추천에서 특정 장르, 무드를 분류하기 어려운 모호성 문제가 발생했다. 예를 들어 퀸의 ‘보헤미안 랩소디’ 같은 경우 사람마다 다른 기준으로 장르를 파악한다. 또 사람이 직접 음악의 장르적 특징, 무드 등을 레이블링을 해야 한다는 문제도 있다.
이 때문에 남주한 교수는 아티스트 레이블을 사용하는 방식으로 문제를 해결하는 연구를 진행했다고 밝혔다. 아티스트 레이블은 곡 출시와 함께 자동으로 생성되는 객관적인 정보다. 아티스트를 하나의 작은 장르로 해석하는 방식으로 기존 내용 기반 추천의 한계를 해결했다.
여기에 아티스트끼리 유사도를 학습하는 방식을 더해 출력 레이어가 과도하게 증가하는 문제도 해소했다. 남주한 교수는 바이브에 ‘무드 믹스’ 서비스를 적용한 결과 재생 시간이 늘었다고 밝혔다.
남주한 교수는 현재 한번도 들려주지 않았던 장르에 대해 맞추는 ‘제로 샷 학습’과 키워드 기반으로 음악을 추천해주는 연구를 진행 중이다. 향후 음악과 자연어처리(NLP) 결합 연구를 확장해 악보 등 다른 형태의 음악 데이터를 결합하는 방식으로 창작 분야에서도 활용할 수 있는 추천 기술을 개발할 예정이다.