데이터 분석 시간 줄이는 방법

데이터 분석에 시간이 오래 걸린다. 타임 트래커 기록을 보니 적어도 4시간이 걸렸다.

왜 이렇게 오래 걸렸는지 원인을 분석하면 추후 분석 시간을 줄일 수 있을 것이다.

 

데이터 분석에 걸린 시간 기록

 

가장 큰 이유는 분석을 재수행했기 때문이다. 재수행을 줄이기 위해 아래의 검토 과정이 필요하다.

 

 

<미래에의 나에게 남기는 교훈>

 

1. 대량의 데이터는 기획자가 직접 추출하기 어려울 때가 있다.

 

2. 데이터 개발자에게 데이터 추출을 요청할 경우, 전달 받은 데이터가 맞는지 샘플링해서 검수부터 해야 한다.

 

3. 처음부터 내가 의도한대로 필터가 걸렸다고 생각하면 안 된다. 모든 필터가 제대로 걸렸는지 다 확인해봐야 한다. 

- 일정 수준의 데이터는 기획자도 직접 필터링해서 뽑을 수 있다.

- 내가 뽑은 데이터와 개발자가 준 데이터를 1:1 매칭해서 검수해야 한다.

- 적은 숫자여도 상관 없다. 다만 그룹이 나뉜 경우 그룹 별로 검수가 필요하다.

 

4. 데이터를 잘못 뽑는 상태에서 분석하면 제대로된 결과가 나오지 않는다.

- 데이터를 다른 버전으로 뽑으면 다시 분석해야 하므로 일을 두 번 하는 비효율이 발생한다.

 

5. 가능하면 데이터 추출까지 기획자가 하는 게 좋다. 기획자와 데이터 개발자 간의 커뮤니케이션 비용을 최소화할 수 있다.