Google Cloud Storage 연동

🚧

AWS S3 연동 기능과 본질적으로 동일한 기능이며, Raw Data를 Dump하는 타겟이 Google Cloud Storage 입니다. Google Cloud Storage 연동 기능은 에어브릿지 대시보드에서 지원하고 있지 않습니다. Google Cloud Storage 연동이 필요하신 분들은 아래 문서를 읽고, 담당 CSM에게 요청 메일을 보내주시기 바랍니다.

목표

Airbridge에서 제공하는 Raw Data(Tracking Link, Web, App)을 Google Cloud Storage로 매일 덤프 받습니다.

방법

1. GCP Service Accounts 만들기

1-1) IAM > Service Accounts 메뉴에 들어갑니다.

1-2) + Create Service Account를 눌러 새로운 Service Account를 생성합니다.

1-3) 생성한 Service Account의 키를 만들고(Add Key), JSON 형식으로 다운로드 받습니다.

2. Bucket 만들고, 권한 부여하기

2-1) Storage Browser 메뉴에서 새로운 버킷(Create Bucket)을 만듭니다.

2-2) 생성한 버킷의 Permissions 메뉴에 들어가, + Grant Access 이후 1-3)에서 다운로드 받았던 JSON 파일에 들어있는 client_email에게 Storage Object Admin 권한을 부여합니다.

3. Airbridge CSM에 연동 정보 전달하기

아래 3가지 정보를 CSM에게 전달합니다.

• 1-3)에서 다운로드 받았던 JSON 파일 내 client_email
• 1-3)에서 다운로드 받았던 JSON 파일 내 private_key
• 2-1)에서 만들었던 bucket 이름

참고사항

• 데이터 덤프는 아래의 경로에 됩니다.
  • 웹 이벤트: {bucket_name}/{app_name}/web/{version}/date={YYYY-MM-DD}/
  • 앱 이벤트: {bucket_name}/{app_name}/app/{version}/date={YYYY-MM-DD}/
  • 트래킹링크 이벤트: {bucket_name}/{app_name}/tracking-link/{version}/date={YYYY-MM-DD}/
• 연동이 완료된 이후에는 KST 기준 매일 새벽 4~6시 사이 덤프됩니다.
• 128MB 크기 이하의 파일이 여러개 덤프되므로, 여러개 파일을 로드하기 위한 처리를 해주시기 바랍니다.
• Raw Data 컬럼 정보는 https://abit.ly/dataspec 를 참고해주시기 바랍니다. 덤프 버전은 연동 요청 시점에 따라 달라질 수 있습니다.(요청 시점의 최신 버전을 덤프함)
• Google Cloud Storage Console에서 파일 다운로드시 .csv.gz 확장자의 파일이 .csv 확장자로 전환되어 다운로드 되는 경우가 있습니다.(Console 버그로 추정됨) 이 경우 .csv 확장자를 .csv.gz로 전환해준 뒤 gunzip 등의 명령어로 gzip 압축을 풀면 csv 파일을 확인하실 수 있습니다.