[GCP Cloud Data Transfer 서비스] 가장 빠르게 대용량 파일 업로드 (10GB 파일 2분에 업로드) 하는 방법

게시자: Charly Choi, 2020. 6. 18. 오후 5:48   [ 2020. 6. 18. 오후 7:06에 업데이트됨 ]
Google Cloud Platform 에서 제공하는 Cloud Data Transfer 서비스가 있습니다.

온프로미스 스토리지에 저장된 대용량 파일들을 클라우드상의 스토리지 인 Google Cloud Storage로 가장 빠르게 업로드 및 다운로드 서비스를 제공합니다.

이 서비스를 이용하면 1Gbps 속도를 지원하는 네트워크에서 1TB 업로드하는데 3시간안에 업로드할 수 있습니다. 10GB 파일은 2분안에 업로드가 가능합니다.

아래 표는 네트워크 속도 대비 파일 크기별 업로드 시간을 측정한 것입니다. (Google에서 제공한 자료) 



본 테스트의 목적은 로컬 스토리지에 저장된 대용량 파일들을 가장 효율적이고 빠르게 무제한 용량을 제공하는 G Suite Busiess/Enterprise 의 Google 드라이브에 업로드 할 수 있는 방법을 찾기 위한 테스트입니다.

G Suite Business/Enterprise 서비스를 도입한 많은 기업들이 겪고 있는 이슈중에는 로컬 스토리지 (NAS 장비)에 저당된 대용량 파일들을 클라우드인 무제한 용량의 Google 드라이브로 어떻게 하면 빠르게 업로드하는 것입니다.

이번 테스트에서는 로컬 파일을 Cloud Data Transfer 서비스를 이용하여 빠르게 GCP Cloud Storage 로 업로그 한 후, 이를 Google 드라이브로 전송하는 과정을 테스트 한 것입니다.

Transfer Data To Google Drive Using Google Storage Service




Google Cloud Data Transfer 서비스에서 제공하는  대용량 파일들을 빠르게 업로드할 수 있는 기술은  'Pararell Composite Upload (병령 복합 업로드)' 방법을 사용합니다. 
Amazon 에서는 '멀티 파트 다운로드' 라는 용어로 비슷한 기술을 사용하고 있습니다. 즉, 큰 크기의 파일을 하나의 작업으로 업로드하면 시간이 오래 걸림으로, 해당 파일을 작은 크기로 쪼깬후, 쪼갠 파일들을 병렬로 동시에 올린 후 다시 하나의 파일로 조합하는 방법입니다. 

Amazon S3는 내구성 및 확장성을 요구하는 업무에 활발하게 이용되고 있는 오브젝트 스토리지입니다. 현재까지 꾸준히 기능이 추가 및 개선되고 있으며, AWS 모든 서비스의 맏형격으로 다양한 워크로드와 서비스들의 중앙에 위치해서 정적인 멀티미디어 컨텐츠부터 로그 데이터 저장, 백업과 아카이빙, 빅데이터 분석 및 재난 복구 등을 위해 널리 활용되고 있습니다.

Amazon S3에 저장된 오브젝트는 HTTP/HTTPS프로토콜을 통해 일반적으로 인터넷을 경유해서 이동하게 됩니다. 작은 크기의 파일은 짧은 시간 내에 전송되겠지만, 큰 크기의 파일을 하나의 작업으로 전송하는 것은 시간적인 측면에서 이용자에게 적잖은 부담으로 남게 됩니다. AWS는 하나의 큰 오브젝트를 Amazon S3상에 빠르게 올릴 수 있는 방법을 제공하고 있습니다.

일명 멀티파트 업로드. 기본적으로 Amazon S3에 단일 작업으로 올릴 수 있는 객체 크기는 최대 5GB입니다. 따라서 5GB보다 큰 오브젝트는 멀티파트 업로드를 반드시 이용해서 업로드해야하며, 최대 5TB 크기 오브젝트를 업로드할 수 있습니다.


Comments