트렌드

‘갤S4’ 조작 논란으로 보는 벤치마크 잔혹사

2013.08.01

삼성전자가 벤치마크 테스트 조작 논란에 휩싸였다. 아난드텍은 삼성전자가 특정 벤치마크 테스트 프로그램에서 점수가 잘 나오도록 칩들이 오버클럭돼 작동한다고 보도했다. 삼성은 일부 앱들에 대한 최적화 작업을 한 것이라고 해명했다.

드라이버를 트윅해 성능을 끌어올리는 것을 조작이라고만 치부하기는 어렵다. 다만 최적화된 특정 앱들이 벤치마크 테스트 도구에 집중돼 있다면 곱게만 바라볼 수 없다.

사실 이는 그리 놀라운 일도 아니다. 흔한 일이기 때문이다. 스마트폰의 발전 단계상 한번쯤 터질 시기가 됐다는 생각도 들었다. “올 게 왔구나…”라고 할까. 다만 그 주체가 치열하게 뒤를 쫒는 2, 3위 업체들이 아니라 1위를 굳건히 지키고 있는 삼성이라는 점 정도가 놀랄 일이다.

이번 논란에 대해 삼성은 블로그를 통해 “조작이 아니라 최적화의 일환”이라고 설명했다. 사실 최적화와 벤치마크 조작은 종이 한장 차이다. ‘최적화’란 특정 앱이 작동할 때 최적의 성능을 내도록 하는 작업을 일컫는다. 그 대상에 벤치마크 테스트가 들어가지 말란 법은 없다.

그럼 삼성은 왜 벤치마크 테스트에 손을 댔을까. 그 배경이 더 궁금했다. 현재는 과거를 반영한다. 현재 삼성의 상황은 PC시장이 그동안 겪어온 여정과 호응한다. 잠깐 옛날로 돌아가 보자.

benchmark_galaxy

벤치마크 테스트 논란, 반복되는 역사

벤치마크 테스트는 제품을 고를 때 중요한 선택 기준이 된다. 특히 제품이 만들어내는 결과물이 크게 다르지 않고 하는 일이 비슷한 기기일수록 제조사들은 벤치마크 테스트 점수 1점에 더 목을 맬 수밖에 없다. 이론적으로야 누구나 시장에 뛰어들어 고성능 칩이나 고해상도 디스플레이를 살 수 있다. 플랫폼을 제공하는 업체는 편하지만, 이걸 완제품으로 만들어 차별화해야 하는 제조사 입장에서는 골치아픈 일이다.

PC에서는 ‘퓨처마크’와 ‘산드라’가 단골 벤치마크 테스트 항목이자 가장 많은 논란을 빚어낸 장본인이었다. 가장 시끄러웠던 건 역시 ATI(AMD)와 엔비디아의 그래픽 프로세서 싸움이다. 초기 그래픽카드는 아날로그로 출력했기 때문에 수치로 나오는 벤치마크 테스트보다도 화면을 왜곡 없이 더 선명하게 보내주는 램댁(RAMDAC) 정도만 수치로 판단할 수 있는 정보였을 뿐, 색 표현력이나 깜빡임 등 수치로 보여줄 수 있는 요소가 없었다. 하지만 이후 출력은 디지털로 바뀌었고, 그래픽카드 역할도 화면을 표시해주는 것이 아니라 3D 그래픽을 처리하는 것으로 확장됐다. 얼마나 많은 폴리곤을 처리하고 텍스처를 얼마나 매끄럽게 입히는지, 그래서 결국 1초당 화면을 몇 장 만들어서 뿌려주는지가 제품을 평가하는 기준이 됐다. 시장이 성능에, 숫자에 민감하게 반응하기 시작한 것이다.

3dmark
▲3D마크는 그래픽카드 판매량에 절대적인 영향을 끼쳐 왔다. 최적화냐, 조작이냐의 논란은 여기에서부터 시작된다.

그래픽 성능을 테스트하는 것은 지금도 그렇지만 초기부터도 3D마크의 역할이 매우 컸다. 여러 테스트가 많긴 했지만 결과적으로 3D마크에서 몇 점을 얻었는지를 기준으로 소비자는 칩을 결정했고, 그 안에서도 몇 점이라도 높은 제품을 내는 제조사의 제품을 원했다. 소비자로선 당연한 일이다. 대신 칩셋이나 보드를 만드는 제조사는 입이 바짝바짝 탔다.

결국 완제품 보드를 만드는 업체들은 오버클럭을 해서 경쟁을 하기 시작했다. 이건 긍정적인 효과를 낳았다. 더 좋은 캐패시터를 쓰고, 기판 설계나 냉각 효율을 높이려는 노력이 시작됐다. 한편으로 칩셋 제조사들은 드라이버로 최적화를 시작했다. 일단 ‘우리 칩이 가장 빠르다’는 이야기를 해야 했기 때문이다. 그 중 하나가 3D마크 최적화였다.

3D마크 최적화란 3D마크의 특정 효과에 넉넉한 자원을 끌어다 쓰도록 하는 일을 말한다. 두 칩셋 제조사들은 서로를 비난했고 소비자들도 편을 나눠 상대를 손가락질했다. 사과와 수습이 반복되기도 했다. 성적을 고치는 건 명백한 사기다. 달리 보면, 이건 애플리케이션 최적화다. 이후에 그래픽카드 업체들은 드라이버에 주요 게임의 프로파일을 심어 각 게임이 더 잘 돌도록 드라이버 최적화를 했다. 혼란이 있었지만 정리는 잘 된 사례다.

벤치마크 테스트 때문에 브랜드도 바꿔

조작 논란까지는 아니어도 벤치마크 테스트가 제품의 아키텍처나 이름에 영향을 끼친 적도 있다. 인텔과 AMD의 프로세서 경쟁이 한창이었던 90년대 후반부터 2000년대 초중반까지는 기자들 사이에서 허풍 조금 섞어 ‘자고 일어나면 새 칩이 나온다’고 이야기를 할 시기였다. 상대보다 몇십 MHz 더 뽑아내 가장 빠른 프로세서를 갖고 있어야 한다는 두 회사의 자존심이 매일 불꽃을 튀겼다.

여기에 새로운 카드로 던져진 게 바로 인텔의 ‘펜티엄4’ 프로세서였다. 펜티엄4는 작동 속도를 끌어올리는 것을 최우선 목표로 설계된 ‘넷버스트’ 아키텍처로 만들어졌다. 인텔이 꼭 벤치마크 테스트만을 위해 칩을 설계한 건 아니겠지만, 작동 속도가 높아지면 정수 연산 능력이 비례해서 좋아지는 건 당연한 일이다. 반면 클럭당 성능이 떨어지면서 실제 응용프로그램들의 속도를 결정하는 부동 소수점 연산 능력은 떨어졌다. 하지만 작동 속도를 끌어올리면 그마저도 빨라질 수 있었다. 특히 산드라 같은 벤치마크 테스트 프로그램은 작동 속도에 정비례했다. 그래서 산드라엔 ‘인텔에 유리한 결과를 내는 벤치마크 테스트’라는 평가가 따라붙었다.

AMD_Intel_500

AMD는 기존에 쓰던 아키텍처를 조금씩만 개선했다. 그러다보니 인텔 펜티엄4의 작동 속도를 따라갈 수가 없었다. 대신 벤치마크 테스트 성능을 비슷하게 맞췄다. 작동 속도가 낮기 때문에 발열과 소비 전력도 낮았다. AMD는 아주 기가 막힌 이름 정책을 내놨다. 직접 작동 속도를 표기하는 대신 인텔의 어떤 제품과 비슷하거나 더 낫다는 의미의 이름을 지었다. ‘애슬론 3000+’ 가운데 코드명 ‘바톤’은 2.1GHz, ‘윈체스터’는 1.8GHz로 작동했다. 하지만 인텔의 ‘펜티엄4 3GHz’와 비슷한 성능을 낸다는 의미로 이름을 3000+로 지었다. 벤치마크 테스트가 이름 체계까지 만들어버린 것이다.

조작과 최적화, 종이 한장 차이

비슷한 관점에서 삼성전자 상황도 비춰볼 수 있다. 지금 삼성으로선 마음이 조급하다. 삼성이 성공한 주된 배경엔 ‘가장 빠른 스마트폰’이 있었다. 체감 성능은 몰라도, 적어도 제품을 구입하려는 이들의 구미를 당기는 숫자를 보여줘야 했다. 갤럭시S로 1GHz 프로세서를 처음 만든 뒤엔 듀얼코어, 쿼드코어 프로세서로 성능을 과시했다. 갤럭시S4는 업계에서 처음으로 빅리틀 구조의 8개 코어 ARM 프로세서를 설계해서 넣기도 했다. 갤럭시S4는 가장 빠른 스마트폰 자리를 지켜야 하는 것 뿐 아니라 엑시노스 칩이 빠르다는 결과도 보여줘야 할 숙제를 떠안았다.

PR_Exynos_5_Dual-0

삼성이 조작 논란을 말끔하게 벗어던지기는 쉽지 않아 보인다.  아난드텍은 삼성의 해명 이후 또 하나의 기사를 냈다. 사진 촬영시에 실시간 필터를 넣거나 연사를 하는 등 무리해서 처리할 때 가끔 벤치마크 테스트에서 나오는 533MHz의 작동 속도를 순간적으로 낸 적이 있지만, 나머지 앱들은 여전히 480MHz에 머물러 있다는 게 뼈대였다. 반대로, 갤럭시S4는 웹브라우저 같은 앱은 250MHz를 넘기지 못하도록 막았다며, 그 이유가 배터리와 열 때문이라고 아난드텍은 주장했다. 어느 쪽이든 앱에 따라 성능을 매만진다는 사실은 달라지지 않는다.

안드로이드, 그리고 삼성 제품에 소프트웨어마다 CPU와 GPU의 성능을 조절할 수 있는 기술이 들어가 있다는 건 몰랐던 사실이지만, 한편으로 놀랍기도 하다. 성능에 따라 유동적으로 자원을 더 많이, 혹은 더 적게 줄 수 있다는 얘기니까. 그렇다면 누구든 신경만 쓰면 인텔의 터보부스트처럼 순간 오버클럭같은 기능을 만들어 넣을 수도 있겠다. 그래픽카드처럼 애플리케이션에 따른 프로파일 업데이트를 정기적으로 해주는 것도 좋겠다.

걱정도 든다. CPU나 GPU의 경우처럼 기술 개발에 한계점이 온 건 아닐까. PC시장이 지금껏 그랬다. 초기에는 수많은 업체들이 덤벼들었다. 그러다보니 어떤 PC는 화질이 좋고, 어떤 건 3D 성능이 좋고, 어떤 건 가격이 쌌다. 시장이 만들어지지 않았기에, 울퉁불퉁한 비포장 도로를 달리며 일부는 넘어졌다. 어느 순간 힘 있는 몇 업체만 살아 남아 포장도로에 올랐다. 여기에서 또 다시 경쟁을 통해 가장 잘 하는 업체가 두 곳씩 남았다. 그게 인텔과 AMD, 엔비디아와 ATI다.

스마트폰 시장도 흐름은 PC시장이 성숙되는 과정과 매우 닮아 있다. 정체기를 앞둔 단계에서 나오는 현상이 오버클럭, 벤치마크 테스트 같은 숫자놀음이다. 상향평준화 혹은 성숙 단계에 접어들면 제품별로 확실하게 성능을 벌리거나 숫자로 눈에 띄는 차별점을 두기 어려워지기 때문이다. 해프닝으로 웃고 넘기기엔 이번 논란이 던져주는 의미가 묵직하다.

allove@bloter.net

프리랜서 IT 컬럼니스트, 기술과 사람이 더 가까워질 수 있는 이야기를 담고 싶습니다. e메일 work.hs.choi@gmail.com