NAS (Windows Server) Data Migration to Google Shared Drive

게시자: Frank Jung, 2020. 12. 21. 오후 11:06
Nas 스토리지 서버의 대용량 데이터를 Google Drive의 공유 드라이브로 옮기는 방법에는 여러가지 구글에서 제공되는 Tool이 있습니다.

데이터 크기, 기간, 비용등을 고려해 적합한 마이그레이션 도구를 선택할 수 있습니다.

1) upload on Google Drive web page, 
2) Use Backup & Sync.
3) Customized an application through Google Drive API
4) Google Workspace Migrate

기존 고객사로에서 NAS 에서 15TB 가량의 데이터를 Google Workspace 의 공유 드라이브로 마이그레이션 요청이 있었습니다.

해당 마이그레이션의 특징은 local 에서 gsutil 를 이용해 GCP의 GCS(Google Cloud Storage)에 데이터 업로드 GCS 에서 오픈소스 rclone 을 이용해 Workspace Shared Drive 로 옮기는 사례입니다.



[프로젝트 개요]

Objective : 총 15TB 가량의 Data들을 Windows server Local에서 Gdrive로 Migration 해야 하는 상황,


Local의 File이 Gdrive와 같은 상태를 유지하는 것(최신 상태)이 가장 큰 issue.


Migration중에도 직원들이 Local파일들을 사용할 수 있어야 함.


Source는 다수 folder로 나뉘어져 있었으며 폴더 중에는 제외해야할 폴더가 존재하는 경우도 있었음.



Process :1. Source 파일을 Local->GCS Migration


     2. GCS -> Gdrive로 Migration


     3. Sync process로 Local -> Gdrive 간 최종 동기화 및 검증


    4. Gdrive 사용 시작


[Solution]

  • Migration은 GCS(Google Cloud Storage)를 경유하여 진행하는 것으로 결정 



  • Local -> Gdrive로 곧바로 Transfer 시에는 Local network의 불안정함에서 오는 Risk가 존재, Error 발생시마다 upload를 재개, upload된 파일과 안된 파일을 구별하는 것에도 적지않은 시간이 소요됨.


  • In addition, Google Drive API는 대량의 파일 전송에 특화되지 않음. API call 제한, upload 용량 제한 등 제약사항이 존재

-> GCS는 대량의 Upload에 특화됨, Multi-thread upload, retry handling, resumable upload, upload capacity 등..


  • So  대량의 파일을 Local->GCS upload 후, GCS -> Gdrive로 Migration해 Google internal network 간 Migration으로 Local network에서 오는 Risk를 줄일 수 있다.


[case]

Local -> GCS는 gsutil을 이용해, GCS -> Gdrive는 rclone을 이용해서 Migration하기로 결정.


  • Gsutil은 GCP에서 제공하는 공식 GCS Tool이기 때문에 안정성이 높고 Performance가 보장되어 있음.


  • Rclone은 open-source인 storage migration Tool로 GCS -> Gdrive 간 migration을 지원하는 공식 Tool이 없기 때문에 시중에 나와있는 Tool 중에는 가장 인지도가 높아 선택.




[해당 마이그레이션 솔루션 장점]

  • 비교적 전문 마이그레이션 Third Party 제품보다 저렴한 비용
  • 전문엔지니어(GCP, Workspace) 기술지원을 통한 안정적이고 맞춤형 마이그레이션
  • GCP 전용 Utility 프로그램과 Open Source Tool을 통한 빠르고 안정적인 마이그레이션
  • Workspace Drive 일일 공유드라이브 750G limit에 따른 최적화된 마이그레이션
  • 마이그레이션 후 변경된 데이터를 위한 추가 동기화 ( Windows Server and Google Drive ) 지원


Comments