안녕하세요 플랫폼 팀 정진서 입니다!
금주도 바쁜 하루하루를 보냈는데요, 날씨가 좋아진 덕분인지 업무 능률도 오른 것 같은(?) 기분입니다.
이번 주 업무 요약은
1. erp 데이터 입력 및 power bi 연동
2. 광고 단가 데이터 수집 및 자동화
입니다!
길고 긴 erp 데이터 입력이 끝나고 드디어 power bi 와 연동해 시각화를 할 수 있게 되었습니다!
물론 각 테이블마다 사용할 데이터를 정하고, 테이블 병합, 열 삭제 및 수정 등 거쳐야 할 과정이 많지만 erp 입력을 하면서 쿼리문에 더욱 익숙해졌기 때문에 수월하게 진행할 수 있을 것 같습니다.
우선적으로 필요없는 열 값이나 사용할 의도에 비해 너무 무거운 테이블들이 있기 때문에 데이터 로드 전에 변환을 거쳐서 수정 및 전처리를 진행하고, 시각화에 맞춰 테이블을 변환하는 등 여러 과정을 거칠 예정입니다.
무엇보다 로드나 상호작용의 속도가 문제일 것이라 예상되기 때문에 전처리 과정이 더욱 중요할 것 같습니다!
두 번째로 광고 데이터 수집 및 자동화는 크롤링을 통해 필요한 데이터를 수집하고, 용도에 맞게 전처리 후 입력까지 자동화를 진행하고 있고요, 과거 데이터들은 모두 수집이 완료 되었고 최신 데이터의 수집 또한 코드 작성이 완료 되었습니다.
이후엔 입력 방식을 정하고 다시 코드를 작성해서 마무리할 예정입니다!
처서가 지나고 환절기가 시작되었으니 건강 유의하시길 바랍니다.
감사합니다!