“사진 속 그 옷, 쇼핑몰서 찾아드려요”

가 +
가 -

“이것과 비슷한 옷 없을까요?”

스마트폰으로 사진이나 이미지를 보여주면서, 이와 비슷한 옷이 있는지 물어본 적 있다. 매장 직원은 신기하게도 그럴싸하게 비슷한 옷을 찾아 추천했다. 사람은 손쉽게 하는 이 일을 컴퓨터가 하려면 여러가지 사전 작업이 필요하다. 컴퓨터가 ‘옷’이라는 걸 이해하게 작업하는 일서부터, ‘옷’과 비슷한 것을 찾는 일을 하나씩 차근차근 알려줘야 한다.

| 김현기 기술연구센터 머신러닝 랩 전임이 지난 11월28일 열린 ‘NHN 포워드’ 행사에서 '패션 검색: 사진만 줘, 그 옷 찾아줄게'를 발표하고 있다.

| 김현기 기술연구센터 머신러닝 랩 전임이 지난 11월28일 열린 ‘NHN 포워드’ 행사에서 ‘패션 검색: 사진만 줘, 그 옷 찾아줄게’를 발표하고 있다.

이미지 검색으로 옷 찾고 추천도 한다, ‘패션 비주얼 검색’

김현기 NHN 머신러닝 랩 전임은 지난 11월28일 열린 ‘NHN 포워드’ 행사에서 유사 옷 추천 서비스를 위해 패션 비주얼 검색을 개발했다고 밝혔다.

패션 비주얼 검색은 이미지로 옷을 검색하면, 이미지 속 옷과 유사한 상품을 찾는다. 이를 위해서는 컴퓨터가 먼저 ‘패션’을 배워야 한다. 패션 검색에서 중요한 건 옷과 신발, 가방 등 각 요소를 정확하게 인식하고, 각 요소가 어떤 분류에 들어가는지 컴퓨터가 알아야 한다. 이미지 속에서 옷만 찾는 게 아니라, 그 옷이 상의인지 하의인지, 점프슈트인지 등을 배워야 한다. 이를 위해 NHN은 수많은 패션 데이터를 바탕으로 각 데이터에 이름을 붙이는 ‘라벨링’ 작업부터 시작했다.

“옷을 찾는 ‘디텍터’, 옷의 색 등을 분석하는 ‘피처’, 얼마나 유사한지를 보여주는 ‘검색’ 등 3가지 요소로 비주얼 검색을 구성해 컴퓨터를 학습시킨 다음 처음엔 유사한 옷을 추천하고, 다음엔 신발이나 가방과 같은 잡화를 추천하는 식으로 패션 이미지 검색 추천 카테고리를 확장했습니다.”

김현기 전임은 이 과정을 디텍팅이라고 표현했다. 이 작업을 수행하기 위해선 각 옷이 어떤 이미지 형상을 가지고 있는지 컴퓨터에게 알려줘야 한다. ‘이런 모양의 옷은 점프슈트야’, ‘이런 모양은 드레스야’라고 다양한 데이터에 특징에 맞는 이름을 붙여주고 분류한다.

“확보한 패션 데이터에 싱글 샷 디텍터(SSD) 딥러닝 모델을 적용해서 사물 디텍션을 잘 할 수 있게 컴퓨터 학습을 설계했습니다. 물체 위치를 찾고, 물체 위치가 무엇인지 분류까지 해낼 수 있는 식으로요. 그런데 문제가 생기더라고요. 상의를 가방으로 착각하거나, 옷은 분류하지 못하고 신발만 찾는 일이 생겼습니다.”

한 이미지 안에서 하나의 카테고리만 찾다 보니 발생한 문제였다. 옷 안에 가방도 있고, 신발도 있고, 옷도 있을 때 이 중 하나만 정답으로 컴퓨터가 인식하다 보니 데이터 학습에 문제가 생겼다. NHN은 이미지에 여러 카테고리를 표시하는 식으로 멀티 레벨 데이터로 구성했다. 카테고리별 개수를 균등하게 하기 위해 상위 카테고리로 통합하는 작업도 우선했다. 예를 들어 기존에 셔츠, 코트, 자켓으로 분류한 카테고리를 ‘상의’로, 바지 스커트, 반바지는 ‘하의’로 분류한 다음 데이터 학습을 진행했다.

“이미지 검색 학습을 설계하다 보니 데이터 정제도 중요해졌습니다. 특히 옷과 가방을 혼동하는 경우가 많았습니다. 디텍터 학습에 사용된 가방 데이터를 보니, 가방 이미지 자체가 크게 잡혀서 컴퓨터 해당 이미지 부분에 옷과 가방을 구분하지 못하면서 발생한 일이더군요. 데이터 정체 가이드를 좀 더 세밀하게 짜 학습해서 지금은 좋은 결과를 얻고 있습니다.”

이미지 검색 시장에 도전장 내밀고파

구글과 마이크로소프트(MS), 아마존웹서비스(AWS)는 이미지를 검색하는 컴퓨팅 비전 분야에 지속적으로 투자하고 관련 기술을 개발하고 있다. 이들 기업의 컴퓨팅 비전 기술은 자사 서비스에도 활용되고 있다.

‘포레스터 뉴 웨이브 : 2019년 4분기 컴퓨터 비전’ 보고서에 따르면, 구글은 광범위한 영역에서 사전 훈련된 컴퓨터 비전 모델을 활용해 다양한 장치에서 컴퓨터 비전을 구현한다. 구글 검색에서 이미지 검색을 하면 유사한 이미지를 보여줄 때 사용되는 기술이다.

MS는 다양한 종류의 사전 훈련된 컴퓨터 비전 모델, 얼굴 인식 및 문서 분석, 모든 기능을 갖춘 컴퓨터 비전 교육 플랫폼을 지원하는 독창적인 비주얼 트릭이, AWS는 사전 훈련된 강력한 모델, 맞춤형 모델 개발을 위한 하이퍼 파라미터 튜닝 기능, 컴퓨터 비전 애플리케이션 생성을 위한 다양한 템플릿을 활용할 수 있는 점이 장점으로 꼽혔다.

NHN 역시 딥러닝 기술을 활용해 이미지 검색에 공을 들이고 있다. NHN은 패션 비주얼 기술 개발 엔진을 미국 LA 최대 의류 도매 사이트인 ‘패션고’에 적용했다. 쇼핑몰 내 상품을 사진과 같은 이미지 검색만으로 유사 상품을 추천한다. 12월 중에 정식으로 서비스를 선보일 예정이다.

이를 위해 패션 비주얼 검색 모델 자체 개선 작업을 진행중이다. 학습 방식을 앵커 프리 기반 모델로 변경해서 학습 성능과 속도를 높였다. 카테고리도 다시 세분화해서 작업했다. 기존 SSD 계열 모델로 학습할 때 보다 앵커 프리 모델로 학습할 때 정확도가 82.5%로 조금 더 높아졌다. 그러면서 속도는 80ms에서 50ms로 빨라졌다.

“쇼핑몰 내 유사상품 추천 및 사용자가 올린 이미지를 바탕으로 비슷한 옷을 찾아주는 비주얼 검색을 테스트하고 있습니다. 국내 쇼핑몰에도 구현하려고 준비중입니다. 동시에 더 상세한 검색 결과를 제공하기 위해 고도화 작업을 진행하고 있습니다. 이미지 검색 시장에 도전장을 내밀어보고자 합니다.”

네티즌의견(총 0개)