요즘 영화 ‘아바타’가 최고의 인기인가 봅니다. 아직 저는 보지 못했지만 참 궁금합니다. 그러나 당분간은 보기 어렵겠더군요. 직업이 직업인지라, 이 ‘아바타’란 영화가 어떤 환경에서 만들어졌는지 그리고 어떤 스토리지를 사용했는지 궁금했습니다. (이것도 직업병인가요? ^^)
아바타는 캘리포니아 LA에 있는 라이트스톰 엔터테인먼트(LightStorm Entertainment, 1990년 제임스 카메론이 설립한 회사로 터미네이터2, 타이타닉도 이 회사의 작품이라고 하는군요)라는 곳에서 제작되었는데요. 라이트스톰과 뉴질랜드에 위치한 웨타 디지털(Weta Digital)이라는 프로덕션과의 일종의 하도급 계약으로 이 영화가 탄생할 수 있었다고 합니다. 컴퓨터 그래픽(CG)과 관련해서는 역시 뉴질랜드가 최고인가 봅니다.
이 영화를 어떻게 만들었는지에 대해서는 워낙 제작 스토리가 많이 나와 있으니 따로 이야기하지는 않겠습니다. 솔직히 이 두 기업간 계약 관계에 대해서는 전 잘 모릅니다. 다만 IT 인프라 차원에서 어떤 제작환경에서 만들어졌는지를 소위 ‘이 바닥’에 있으면서 알아보는 것도 나쁘지 않을 듯 싶군요
라이트스톰은 고해상도 3D 작업 결과를 아이실론(Isilon IQ) 스토리지에 저장했다고 하는군요. 스토리지 공급사인 아이실론에 따르면 아바타 제작은 다양한 포맷의 데이터를 수 TB(테라바이트)에 달하는 용량으로 저장을 해야 했으며, 제작시스템은 아비드(Avid) 기반으로 되어 있다고 합니다. 무엇보다 아이실론 스토리지의 특징인 클러스터링(스케일 아웃) 방식의 스토리지가 절대적으로 필요했다고 합니다. 필요에 따라 계속해서 스토리지 노드를 붙이는 되는 방식이므로, 일반적으로 볼 수 있는 NAS 게이트웨이나 2개의 노드를 이용하는 클러스터드 스토리지로는 어려웠을 것입니다.
그런데 특이한 것은 라이트스톰은 아이실론의 스토리지를 사용했지만, 웨타는 넷앱 스토리지를 사용하고 있다는 점입니다. 웨타는 라이트스톰으로부터 받은 데이터를 넷앱 스토리지에 올려놓고 무려 3만개 코어(블레이드 서버와 워크스테이션의 CPU 코어 수)가 작업을 수행했다고 하는군요. 아이실론 스토리지는 특징상 스토리지 노드만 추가하면 성능이 바로 늘어나는데 반해, 넷앱은 그러한 구조가 아니기 때문에 절대적으로 시스템 사양이 커야만 했습니다. 넷앱 스토리지의 사양을 보니 160GB DRAM을 5개 사용했군요.
아이실론이나 넷앱은 국내에서도 상당히 알려져 있고 NAS에서 비교적 역할을 하고 있지만, 우리에겐 생소한 아스페라(Aspera)라는 업체가 여기서 새롭게 등장합니다. 스토리지 하드웨어를 제조·판매하는 기업은 아니고, 2개의 프로덕션 사이트간 거리가 워낙 멀기 때문에 데이터 전송이 상당히 어려운 난제였는데, 이 문제를 해결한 기업입니다.
LA와 뉴질랜드간 데이터 전송은 얼핏 생각해도 상당히 어려울 것 같은데요. 아스페라의 솔루션을 도입하기 전에 라이트스톰은 FTP나 하드드라이브를 직접 배달해 각자 데이터를 확인하곤 했습니다. FTP를 사용했다고 하는데 솔직히 FTP 써보신 분들은 아시겠지만 TB에 이르는 방대한 양의 데이터 송수신을 FTP로 한다는 것은 페덱스보다도 훨씬 느리기 때문에 절망 그 자체입니다. 물론 물리적인 하드드라이브를 배송한다는 것도 절대 쉬운 일은 아니었을 것입니다.
여기서 상당히 흥미로운 기술이 등장합니다(아래 그림 참조). 아스페라의 솔루션인 ‘아스페라 엔터프라이즈 서버’(Aspera Enterprise Server; AES)와 이 기업의 고유 기술인 ‘FASP v2.0 전송 기술’(transport technology)인데요. 벌크 형태로 파일을 전송하는 기술입니다. 아스페라에 따르면 FTP나 HTTP, CIFS와 같은 형태의 병목은 없애고 원거리 전송, 무선 전송, 위성 전송 등과 같이 열악한 네트워크 환경에서 전송을 보다 안전하고 빠르게 할 수 있다고 합니다.
아스페라 AES 구성 방법(아키텍처)
그림에서 보는 바와 같이 FASP는 통상의 TCP 통신에서의 패킷 로스 때문에 대역폭을 충분히 사용하지 못하는 문제점을 해결할 수 있게 됩니다. 그래서 주어진 회선을 충분히 사용할 수 있어 전송 속도를 개선할 수 있습니다. 아바타와 같은 영화를 제작하는데는 일반적으로 하나의 파일 사이즈가 큰 경우가 일반적이지만, 작은 파일이 여러 개인 경우에도 AES는 스트리밍할 수 있다고 합니다.
뉴질랜드와 LA를 오간 속도가 얼마나 되는가에 대해서도 어느 정도 알 수 있는 내용이 홈페이지에 공개돼 있는데요. 45Mbps를 사용하는 회선에서 45Mbps의 속도를 냈다고 하는군요. 일반 FTP와 비교할 경우 15~30배나 빠른 전송속도라고 합니다. 나중에는 클라우드 환경에서도 이 기술을 적용할 수 있을 것이라고 생각되네요.
1GB를 송신하는데 불과 16~17초 걸리는 FASP 기술(그림 참조)
IT 인프라를 설계하는데 있어 서버를 어떻게 구성하고 스토리지를 어떻게 구성하는가 하는 것은 매우 중요한 것입니다. 또한 그것에 못지 않게 통신을 어떻게 할 것인가 하는 것도 매우 중요하지요. 사람들은 영화에서 펼쳐지는 화려한 그래픽에 관심을 보이면서 놀라운 상상력, 완성도 있는 이야기에 매료되지만 직업상 그런 것만 보이지 않는 것은 지나친 편집증일까요? ^^
- fin –
와.. 영화 하나에 이런 시스템들이 필요한 것이군요.
새로운것을 배우고 갑니다 ^^
와..1GB에 17초면 엄청빠르넵..ㄷㄷ
와우~ 유용한 기사 보고갑니다.
다만 제가 이분야 전문가가 아니라서 궁금한점이 있는데요,
영화제작을 위한 데이터라도 분명 안정성이 중요할텐데요,
기사내용처럼, FASP가 데이터 손실율에서 약점이 있다면
그것을 어떻게 극복했던건가요?
또 LA와 뉴질랜드의 데이터 교환이 위성을 통해 이뤄진건가요?
(대륙간 광케이블?! 물리적인 전송 방법이 궁금합니다.)
아이실론에 모듈화되어 있는 Aspera의 FASP는 기존 WAN 구간을 통해 데이터 전송이
이루어 집니다. 그러므로 별도의 물리적인 전송 방법에 대해선 걱정 안하셔도 되겠죠?!.
데이터 손실률은 아시는 바와 같이 UDP의 단점이나, FASP는 이를 극복하기 위한 기술로써데이터 손실부분에 대해서만 다음번 전송시에 보내게 되어 있습니다.
기존 전송 프로토콜과의 기술력 차이가 이부분이 되겠네요.^^
아이실론에 모듈화 되어 있는 Aspera의 FASP는 기존 WAN 구간을 통해 데이터 전송이 이루어 지므로 세계어디서든 Agent가 설치되어 있다면 사용 가능합니다. 그러므로 더이상 전송방법에 대해서는 궁금하지 않으셔도 될듯.
데이터 손실률은 UDP 의 단점이나, FASP는 이를 극복하기 위해 다음 전송시 이전 전송의 데이터 손실부분에 대해서만 다시 전송하게 되어 있는 기술력이 기존 프로토콜과의 차별화가 되겠네요…^^
유에스비 써서 극복했구요
위성그딴거 필요없고 메가패스 쓰면됩니다
답글 달아주셔서 감사합니다.
덕분에 궁금중이 풀렸네요,
스토리지 전문가라면 데이터 전송기술에도 어느정도
발을 담궈야 하겠군요,
이분야에 업을 삼고있는것도 아니고
전문가도 아닌데, 올려주신 소식들 정말 재밌습니다.
잘 부탁드려요
PS.
ㅎㅎㅎ 믹키유천님 쵝오^^b
유에스비, 메가패스 빵 터졌삼…ㅎㅎㅎ
잘봤습니다~ 보통은 이런 영화에 관한 일반적인 과학기술 소개하는데 그런것에 멈추지않고 새로운 기술소개 감사합니다 ㅎㅎ 이런기사많이써주세요~
저도 윗분댓글처럼 궁금하네요.
packet loss를 희생하고나온 전송율인지..
아니면 복구하고나서의 전송율인지 궁금합니다.
그리고 대륙간 물리적 통신채널은 어떤걸 사용했는지요?
예전에는 거의 모든 영화 제작사가 실리콘그래픽스 제품으로 돌렸다는데 그게 스토리지 기능이었는지 아니면 단순한 그래픽 작업이었는지 몰라도 요즘은 디지털 영화관이 대세이다 보니 몇달전 CGV 영사실을 가니 마치 제가 집에서 영화 다운받아 보듯이 외장하드에 받아온 데이터를 틀더군요… 세상이 참 많이 변한거죠…필름 돌리는 영사 기사가 아니라 그냥 일반 IT 엔지니어가? 틀어주는 영화를 보니 말이죠…좋은 기사 잘 봤습니다.
그렇죠..^^;;
요즘..많은 영화 등등을 포함한 영상물들이..
디지털화 되어가면서..필름이란 단어가 사람들 머리속에서 많이 사라졌다고 하는데요..
요즘은..디지털 기기들이 보편화 되면서..
극장 등지에서도 외장하드 등의 기기에 빔 물리거나 해서 틀어주는 것이 흔하더군요..^^;;
게다가..각 영상들 프레임으로 필름에 찍어내는 돈이..한두푼이 아니더군요..@.@;;;
필름 돌리는 장비도..유지/보수 등의 어려움도 많고요..^^;;
참 많이 변했죠..^^
아 저 아바타 후유증 걸렷습니다 ㅋㅋ
영화보고나서
네이티리의 매력에 푹 빠졌구요
OST계속 듣게됩니다
영화도 계속봐도 안질리네요 ㅠㅠ
영화 하나에도 이런 기술이 들어가는 군요.
좋은 정보 알아갑니다.
손실율이 있더라도… 자료(이미지) 특성상 화면에 나타나지 않아서 선택한게 아닐까요? ㅎㅎ
흠..흥미로운 기사네요…
udp와 유사한….
아니..원리가…같을지…..흠..
1개의 아이디어로 n개의….생산물…
많은 생각이 드네요. ^^.
기사 잘 보았습니다. ㅎㅎ
[...] This post was mentioned on Twitter by Cheolhee Park, 신동헌. 신동헌 said: 아바타에 사용된 스토리지 및 파일 전송 기술. 뉴질랜드에서 LA 까자 테라급의 데이터를 이동시키는 기술이라는 데 어렵지만 흥미롭네요. 출처:블로터, http://bit.ly/4ZUPko [...]
네이버 메일에서 1GB 보내는데 1시간 넘게 걸림 ㅎㄷㄷ OTL
아바타 짱잼슴
스토리지 라고 해서 저는, 소설 플롯짜는 방법인가보다 (그림도 뭔가 그런거 같았구요)
하고 들어왔는데 컴퓨터 관련 기술이군요.
그나저나 역시 전문직 종사 하시는분들은 뭔가 되게 멋있네요ㅋ
하나의 45Mbps에서 45Mbps를 냈다고 하는군요. << bps 라고 하면.
초당 약 8MB 인데.. 잘 못된것 갔군요.. 45MBps겠지요?
그리고 45에서 45 라니… 무슨 말인지..
509Mb/s 이면 초당 63MB/s 이고, 이 데이터량 전송량이라면
1GB 보내는데 약 15~16초 걸리는게 맞는거 같은데.. 45Mbps는 어디서
나온 수치일까요?
최대 45Mbps까지 전송할 수 있는 회선에서 실제 데이터 전송속도가 45Mbps까지 나왔다는 이야기 같은데요…
그리고 509Mb/s를 전송한다는 그림은 보시면 기가비트 이더넷 환경에서 테스트 된것입니다. 뉴질랜드에서 LA까지 기가비트 이더넷으로 연결할 수는 없지요…
아마 기자님이 실수 하신것 같은데
혹시나 보시는 분이 오해하실 수 있을것 같아
적습니다. bps와 Bps는 엄연히 8배 차이나는 단위이므로
다 아시는 내용이겠지만 한번 짚고 넘어갑니다.
아바타잼있서아바타잼있서아바타잼있서아바타잼있서
우와 짱신기하다
손실률이 10%에 육박하면 테라바이트 단위의 데이터에서 엄청난 양을 차지할 텐데요
패리티나 CRC같은 걸로는 오류 파악이 어림도 없을텐데 이런 점은 어떻게 보완했는지
궁금하네요
저도 아바타 보았는데요~
정말 재미있어요~
특히 제가 존경하는 제임스 카메론 감독이 많들어서 그런가봐요~
정말 재미있었어요!!!!!!!
꼭 보세요~
저는 아바타 팬인데요~
정말 재미있어요!!!!
네이티리의 매력에 빠졌는데요!!!!!
저는 제임스 카메론 감독을 제일 존경합니다!!!!
아바타 꼭 보세요~~
참고로 CGV로 보면 더 재미있답니다~
영화에도 이런 비밀이 숨겨져 있군요~
스토리지가 뭔지 일단 개념부터 설명해야지 무슨 소린지 모르겠네요..
일반인이 알기 쉽게 쓰면 더욱 좋을듯…나만 머리가 나빠서 그런가?쩝
와… 영화 하나만드는데 이런 것들이!!
새로운 사실을 깨닭았네요.
이번에 아바타 보는데 아… 정말 좋은 작품!
우와. 테라급 이라니; 엄청나군요. 이런것도 사용되는구나..
그냥 비디오로 찍어서 편집하기만 하는건줄 알았는데.
글 중에 UDP가 브로드캐스트 한다는 말은 잘 못된 것 같습니다. UDP는 connectionl-less datagram protocol이라 속도는 빠르지만 전송되었다는 걸 보장못하지요.
“반면 UDP는 브로드캐스트하기 때문에 빠르긴 하지만 ” ==> “반면 UDP는 빠르긴 하지만”으로 바꾸시는 게 더 정확할 것 같습니다.
비밀 댓글로 하려고 했는데… 그 기능이 없어 그냥 댓글로 알려드립니다. 수정하신 후에는 삭제하셔도 무방합니다.
님의 글 중 이 부분은 정말 잘못 해석된 부분입니다.
“패킷 손실 가능성이 있다는 점이 단점으로 지적됨.
그림에서 보는 것과 같이 FASP를 사용해 위성 환경으로 데이터를 전송한다면 손실률이 10%까지 올라간다고 하는군요.”
이 부분이 님의 추측 글인지 Aspera사 쪽에서 공식적으로 이렇게 얘기한 것을 들었다는 것이지 확인하여 주시기 바랍니다.
도표가 말하려는 것은 RTT delay가 200ms, Paket loss율이 10% 가 되는 위성을 이용한 전송환경에서도 TCP를 이용한 전송(예를 들면 기존의 FTP) 에서는 전송 쓰루풋이 물리적 대역폭의 5%미만 뿐이 나오지 않는데 반하여 FASP를 이용하는 경우는 거의 90% 쓰루풋을 낼 수 있음을 보여 주는 도표입니다.
반드시 확린하여 주시기 바랍니다.
항상 새로운 기술은 과거의 기술로 부터 오해를 받고 시작됩니다.
패킷 로스에 관해서 간략히 말씀 드리겠습니다. FASP가 패킷 로스를 발생시킨다는 것은 아닙니다. 일반적으로 TCP 기술은 네트워크 상의 패킷 로스로 인해 재송신하는 등의 안정적인 절차를 거치게 되고 그래서 주어진 회선을 충분히 사용하지 못하는 단점이 있습니다. 하지만 FASP는 그러한 문제를 해결하여 주어진 네트워크 대역폭을 다 활용할 수 있다는 면에서 기존의 전송 기술과 비교하여 진일보한 것입니다.
글을 다시보니까, 주어와 술어간의 호응관계가 맞지 않는 모습이 많이 보이는군요. 그로 인한 오해가 있었다면 죄송합니다.