🧱 구글 시트 → BigQuery로 데이터 이전하기(데이터 체계화의 첫 단계)

🎯 들어가며

요즘 대부분의 팀이 데이터를 구글 시트에서 관리합니다.
처음엔 간단하고 협업하기도 편하지만, 데이터가 쌓이기 시작하면 관리가 점점 어려워집니다.

• 시트마다 컬럼이 다르고
• 수식이 꼬이거나
• 데이터가 많아지면 속도가 느려지고

결국 “데이터를 믿기 어려운 순간”이 오고는 합닏.

그래서 저는 이번 글에서

“데이터를 수집하고, 저장하고, 자동화할 수 있는 구조로 한 단계 옮기는 과정”
을 기록해보려고 합니다.
그 시작이 바로 ‘구글 시트 → BigQuery’ 데이터 이전입니다.

---

🧩 1. 왜 BigQuery로 옮길까?

BigQuery는 구글 클라우드에서 제공하는 데이터 웨어하우스입니다.
쉽게 말하면 “데이터를 안전하게 쌓고, 빠르게 조회할 수 있는 창고”입니다.

구글 시트로는 보기 어렵던 다음과 같은 일들이 가능해집니다.

• 수십만~수천만 건의 데이터를 빠르게 조회
• 여러 시트를 하나의 쿼리로 통합
• 주기적인 데이터 업데이트 자동화
• SQL 기반 분석 환경 구축

결국 BigQuery로 이전한다는 건,
‘엑셀 수준의 데이터 관리’에서 ‘엔지니어링 수준의 데이터 관리’로 가는 전환이라고 볼 수 있습니다.

---

⚙️ 2. 데이터 이전을 준비하며 정리한 핵심 포인트

이전 과정을 단순히 “시트 → DB 업로드”로 보지 말고, 데이터 체계화의 첫 단계로 접근하는 게 좋습니다.

① 데이터 구조를 정리하기

• 시트마다 컬럼 이름이 제각각이라면 통일해야 합니다.
• ‘컬럼 이름 → 데이터 타입 → 설명’을 표로 정리해두면 이후 모든 작업이 쉬워집니다.

예시)

컬럼명	설명	데이터 타입
user_id	사용자 고유 ID	STRING
created_at	가입일	TIMESTAMP
plan_type	요금제 유형	STRING
payment_amount	결제 금액	FLOAT

② 데이터 품질 점검

• 결측값(NULL)이 많거나, 날짜 포맷이 불규칙한 경우를 미리 정리
• 잘못된 값(예: 음수 결제 금액, 잘못된 이메일 등) 미리 필터링

③ 정제 규칙 문서화

“이 데이터를 믿을 수 있는 이유는 무엇인가?” 를 나중에 설명할 수 있어야 합니다.
데이터 정제 기준을 명시해두면 분석 단계에서 혼란이 줄어듭니다.

---

🪜 3. 실제 이전 과정

이제 본격적으로 시트 데이터를 BigQuery로 옮기는 과정을 살펴보겠습니다.

Step 1. Google Cloud 프로젝트 생성

1. Google Cloud Console 접속
2. 새 프로젝트 생성 → BigQuery API 활성화

Step 2. BigQuery Dataset 생성

1. BigQuery 콘솔 열기
2. 왼쪽 패널에서 Dataset 생성 (예: service_data)
3. 지역 설정 (서울: asia-northeast3)

Step 3. Google Sheet 연결

1. BigQuery에서 “외부 데이터 소스 연결” 선택
2. Google Drive → 연결할 Sheet URL 입력
3. 시트 첫 행을 컬럼 헤더로 지정
4. ‘미리보기’로 데이터 확인

Step 4. 쿼리로 불러오기

SELECT *
FROM `project_id.service_data.sheet_table`
LIMIT 10;

이렇게만 해도 시트의 데이터를 BigQuery에서 SQL로 바로 조회할 수 있습니다.

 

처음에는 ‘연결형 외부 테이블’로 두고,
데이터가 안정화되면 ‘정적 테이블’로 업로드하는 방식으로 점진적으로 전환하는 게 좋다고 합니다.

---

🔁 4. 자동화로 이어가기

단순 이전으로 끝내면, 며칠 후 또 “시트가 업데이트 됐어요” 하는 일이 생깁니다.

그래서 다음 두 가지 방식으로 자동화를 구성하는 것을 추천합니다.

① App Script + BigQuery API

• 구글 시트에서 변경이 생길 때 자동으로 BigQuery에 반영
• 정기 스케줄링도 가능

② Dataform or Airflow

• 여러 시트를 통합하는 ETL(Extract-Transform-Load) 파이프라인 구축
• 데이터 정제 및 업데이트 자동화

이 단계까지 오면, 데이터는 “사람이 수동으로 옮기는 것”에서 “시스템이 지속적으로 업데이트하는 것”으로 바뀝니다.

---

🧠 5. 이전보다 중요한 건 ‘데이터의 의미’

데이터를 옮기는 건 기술적인 일이지만, 그 과정에서 더 중요한 건 ‘데이터를 보는 관점이 달라지는 것’입니다.

• 단순히 “시트에 있는 정보”가 아니라
• “의미 있는 자산으로 축적되는 데이터”가 되기 시작합니다.

BigQuery 이전은 데이터를 체계적으로 다루는 감각을 만드는 첫 걸음입니다.
이 단계를 거치면 자연스럽게 다음 단계(ETL, 분석, 대시보드)로 연결됩니다.

---

☕ 마무리하며

이번 글은 ‘데이터 이전’이라는 기술적 주제를 다뤘지만, 사실은 데이터를 체계화하는 사고방식에 대한 이야기였던 것 같습니다.

 

데이터는 단순히 많이 쌓는 게 아니라, “정확하고, 일관되고, 다시 활용 가능한 구조로 쌓는 것”이 중요합니다.

 

구글 시트에서 BigQuery로의 이전은 그 출발점이지 않을까 합니다.