안녕하세요. 인턴 개발자 배진환입니다.
어느 새 2주라는 시간이 지났네요. 언제나 그러하듯 저의 욕심과 계획에 비해 시간은 너무 짧은 것 같아요.

Learn

이번 주에는 크롤링 작업의 안정성을 확보하기 위해 여러 가지 문제를 해결했습니다.
특히 크롬 드라이버의 버전 문제와 API 통신에서 발생한 오류를 해결하면서 디버깅 능력을 키웠고, 여러 상황에서의 문제 해결력을 향상시킬 수 있었습니다.

Plan

3주차 화요일에 실제 크롤링을 돌렸을 경우 문제없이 돌아가도록 하는 것이 가장 큰 계획이었습니다.
하지만 이번 한 주도 에러와 해결의 연속이었습니다.😂

Do

• 11/25

이미 업로드된 게시글 확인 시 호출하는 api가 본 서버에서는 작동하지 않아 본 서버에서 작동 가능하도록 api를 변경하였습니다.

변경점은 작가의 게시글 목록 중에 확인을 하는 방법에서 전체 게시글에서 확인하는 방법으로 바뀐 것이라 비효율적이라고 생각됩니다. 추후 다시 작가의 게시글 목록에서 확인하도록 변경할 생각입니다.

• 11/26

멀티프로세싱을 통해 크롤링 작업을 병렬 작업으로 처리하여 크롤링 시간을 단축시켰습니다.
즉, 하나 하나 순차로 진행했던 크롤링에서 동시에 여러 개의 크롤링 작업을 수행하도록 변경했습니다.
작가 목록 필드에 마지막으로 크롤링한 날짜를 추가하였습니다. 기존에는 무조건 1주일 전 게시글을 모두 확인하여 크롤링하였는데 마지막 크롤링 날짜 이후의 게시글에서만 확인하도록 변경했습니다.
위픽레터(메인 서버)에 요청해야할 api를 시도해보았습니다. 모두 401 에러가 발생하였고 상현 리드님께 도움을 요청드렸습니다.

• 11/27

크롤링을 진행할 시 사용자가 진행 중이라는 것을 눈으로 확인할 수 있으면 좋겠다고 생각해서 시각적으로 확인이 가능하도록 추가하였습니다.

• 11/28

오늘 위픽레터에 이미지 업로드하는 api와 태그 생성하는 api에서 또다시 401(로그인) 에러가 발생했습니다. 해결하고 보니 관리자 권한이 필요한데 관련 코드를 작성하지 않아서 발생한 문제였습니다. 맞습니다.. 에러에서 알려주듯이 401 (권한) 문제였던 것이죠..

(결국 다른 401 에러들도 위와 같은 이유였지 않을까 생각했습니다.. )

• 11/29

어제까지 잘 돌아가던 크롤링이 오늘 하루 종일 돌아가다가 멈춰버리는 현상이 발생했습니다. 무언가 오류를 던지거나 에러가 발생하면 이유를 찾을 수 있을 것 같은데 그냥 실행 중인 상태로 멈춰버려서 해결 과정이 오래걸리고 있습니다. (무한 루프에 걸려버린것 같아요!..ㅜㅜ)

확인 결과 태그를 생성할 때 사용하는 gemini API가 응답을 주지 않는 경우 타임아웃이 600초로 설정이 되어있는 것 같았습니다. 즉 10분 동안 기다리고 응답이 없을 때 에러를 발생시킨 후 종료시키는 것이죠. 이 부분을 해결하기 위해 고군분투 중입니다!

Insight

“문제가 생길 때마다 해결책은 항상 있다. 중요한 건 끊임없이 도전하며 해결책을 찾는 과정에서 성장한다는 것.”

이번 주에는 여러 가지 문제를 해결하면서 조금씩 자신감이 생겼고, 매일 작은 성취들이 쌓여가는 게 느껴졌습니다. 매 순간 에러를 해결할 때마다 나도 모르게 한 단계 성장한 느낌이 들었습니다.

마지막으로, 개발이라는 길은 항상 도전이지만, 그 속에서 얻는 배움이 가장 큰 보람임을 다시 한 번 느꼈습니다.
앞으로도 더 많은 경험을 통해 계속해서 성장하며, 개발자로서 더 나은 모습으로 돌아오겠습니다!
위픽 개발자 배진환, 더 나은 모습으로 계속 나아가겠습니다! 🚀