트렌드

“조작은 그만”…삼성·HTC, 벤치마크 목록서 삭제

2013.11.27

벤치마크 논란이 조금 사그라드나 했더니 아직 논란의 불씨는 꺼지지 않았다. 3D마크 벤치마크 테스트로 유명한 퓨처마크가 벤치마크 결과를 조작한 의혹을 받고 있는 삼성과 HTC 제품들의 테스트 결과를 목록에서 제외시켰다.

퓨처마크의 3D마크는 PC 시장에서 게이밍 성능을 가늠하는 가장 유명한 벤치마크 테스트 도구다. CPU의 성능 뿐 아니라 게임에 가장 큰 영향을 끼치는 그래픽 프로세서의 성능을 중점적으로 볼 수 있다. 특히 그 해 개발될 게임들이 쓰는 그래픽 기술을 이용해 실제 게임과 비슷한 3D 그래픽 환경을 만들기 때문에 인기가 높다.

benchmark_galaxy

이 3D마크가 모바일로 나오면서 스마트폰의 게임 성능을 눈으로 보기 쉽게 됐다. 그나마 신뢰도를 중요하게 여긴다는 3D마크였지만 특정 안드로이드 스마트폰들이 주요 벤치마크 도구에 대해 최적화를 하거나 점수를 높일 수 있는 치트 코드를 넣었다는 문제제기에서 벗어날 수는 없었다. 3D마크 역시 결국 응용프로그램이기 때문에 테스트가 작동할 때에 한해 CPU나 GPU가 최고의 성능을 내도록 명령을 주거나 한계를 넘는 오버클로킹을 했다는 것이다.

벤치마크 조작 논란은 사실 삼성전자만의 문제는 아니었다. 문제가 처음 불거진 건 삼성의 제품이었지만, 거의 모든 제조사가 웬만한 벤치마크 테스트 점수에 손을 댔다. 이들은 ‘너도 하니 나도 한다’는 얼토당토 않은 변명을 내세웠다. 제조사도, 벤치마크 테스트 업체들도 누구하나 책임을 지진 않았고 서로 책임을 떠밀다가 흐지부지된 게 사실이다.

퓨처마크는 단호한 결정을 내렸다. 결국 HTC의 ‘원’과 ‘원 미니’, 그리고 삼성전자의 ‘갤럭시노트10.1 2014’, ‘갤럭시노트3’ 등을 벤치마크 목록에서 내렸다. 갤럭시노트 10.1과 갤럭시노트3은 삼성은 엑시노스5와 스냅드래곤 800 제품 모두 순위에서 보이지 않게 됐다. 0점이 아니라 ‘목록에서 삭제'(Delisted) 조치가 된 것이다.

3dmark_delisted

퓨처마크는 PC시장에서 이미 벤치마크 테스트 조작으로 잔뼈가 굵은 팀이다. 엔비디아와 AMD(ATI)의 벤치마크 조작이 여러 차례 지적됐기 때문이다. 그래픽 칩셋 제조사들은 주로 드라이버에서 특정 프레임이나 오브젝트를 눈에 띄지 않게 숨기는 코드를 집어넣는 방법을 썼다. 실제 게임보다도 3D 마크에 최적화하는 게 더 중요한 것처럼 됐던 시절도 있었다. 이런 경우들은 문제가 되면 잠깐 사그라들었다가 잠잠해지면 다시 일어나는 일이 많았기 때문에 퓨처마크로서도 특단의 조치를 취한 것으로 보인다.

특히 신뢰도가 중요한 벤치마크 테스트 도구로서는 가장 높은 순위에 포진한 제품들이 계속해서 조작 의혹을 받는다는 것은 신경 쓰이는 일이다. 제조사가 명확하게 진상을 밝히고 테스트 결과를 수정하지 않기 때문에 직접 나서서 칼자루를 휘두른 꼴이다.

퓨처마크는 보도자료를 통해 “공정한 결과를 확인하기 위해 벤치마크 도구를 쓰고 있다”고 말했다.  퓨처마크는 “제조사들은 벤치마크 테스트 도구를 다른 앱들과 똑같이, 그러니까 특별한 수정 없이 실행해야 한다”며 “이 기본 원칙을 어긴 것이 의심되는 기기들은 목록에서 제외되고 다른 기기와 비교될 수 없다”고 순위 삭제 이유를 밝혔다.

여기에는 치트를 차단하지 못한 벤치마크 테스트 프로그램의 책임도 없지 않다. 이를 아예 사전에 차단하기 위해 제조사를 제물로 삼았다는 의견도 있다. 벤치마크 테스트 방식에 근본적인 변화가 요구되는 이유이기도 하다. 하지만 벤치마크 테스트 역시 앱이기 때문에 기기에서 특별한 권한을 갖는 것은 현실적으로 어렵다. 최적화와 조작의 논리 자체는 어차피 종이 한장 차이에 놓여 있다. 순위나 점수 다툼보다 제조사들의 자발적인 도덕성이 필요해 보인다.

allove@bloter.net

프리랜서 IT 컬럼니스트, 기술과 사람이 더 가까워질 수 있는 이야기를 담고 싶습니다. e메일 work.hs.choi@gmail.com