네이버 쇼핑 검색 순위 크롤링

일주일전 쯤 네이버 쇼핑 검색 순위를 selenium으로 크롤링 코딩을 하다가 뭔가 모를 문제가 발생했다. 크롤링이 안되서 한참을 고민을 했는데 해결을 못했다. 

 

▶지난 이야기는 아래 링크로 

쇼핑 검색 순위 크롤링 - 블루투스 이어폰 - 사용기, 추천

오늘 갑자기 다시 시도 해봄.

ㅡㅡ 

말도 안되게 간단하게 해결을 했다. 빛도 날아가는데 시간이 걸리는데.... 데이터도 오는데 시간이 걸리거늘....

2초정도 텀을 주고 해보니 됨 !!!! 

'이러면서 배우는거지' 라고 생각하며 다음으로 넘어갔다.

 

네이버 실시간 검색어 크롤링 코딩 할때 만들어 둔 코드를 복사 붙여넣고

▶네이버 실시간 검색어 순위 크롤링이 궁금하면 아래 링크로

네이버 실시간 검색어 크롤링 - 연령별 검색어 순위

 

 

실행

 

그런데 검색어에 숫자와 불품없는 기호들, 라인이 안맞음

 

그래서 값들을 출력해보니 리스트 값으로 들어간 데이터들이 숫자와 기호 공백까지 난잡하게 들어가 있었다.

 

데이터를 가공해서 한글만 추출했다. 

순서가 맞는지는 모르겠는데 리스트에 넣기 전에 가공해야 할것 같아서 먼저 가공을 해봄.

한글만 추출이됨. 그런데 한글 하나하나가 별개의 리스트 데이터로 저장됨. 그래서 합치는 작업을 해주고 

 

실행을 해보니 아래와 같은 단계를 거쳐  한글로만 이뤄진 데이터로 가공이되었다.

 

그리고 최종 결과 짜잔~

 

---

뭔가 나날이 발전한다는 느낌이, 처음 코딩을 시작했을때 학원도 안가고 혼자서 '이게 될까?'라는 생각을 했었는데 조금씩 진전이 있긴 하네.  별것 아닌거 해놓고 괜히 울컥해진다. 

아직 늦지 않았겠지? 다시 시작해도 괜찮겠지? 앞으로 60년을 더 살아야 되는데... 지치지만 말자.