[10. 웹크롤링] 네이버 실시간 검색어 가져오기 - 1

이번엔 네이버 실시간 검색어를 가져오는 프로그램을 만들어 볼 거에요.

실시간 검색어를 주기적으로 알 수 있다면, 

현재 인기있는 것이 무엇인지 어떤 분야가 뜨고 있는지 등을 쉽게 알 수 있게 될 테고

그런것들은 구상하고 있는 사업 아이템에 도움이 될 거에요. 

(글을 쓰는데도 많은 영감을 얻을 수 있을 거 같습니다.)

그럼 파이썬으로 코딩을 해볼까요?

주의 : 허락되지 않은 사이트의 크롤링은 법적으로 문제가 될 수 있습니다.           제 블로그는 파이썬으로 어떻게 크롤링을 할 수 있는지에 대해서만 알려주고 있지만, 크롤링으로 인한 법적 문제 발생시 법적 책임은 지지 않음을 알려 드립니다.

● 준비물 (라이브러리)

   - BeautifulSoup

1. 네이버 실시간 검색어 Data 분석

    - 실시간 검색어 검색 시 HTML 코드가 어떻게 되어 있는지 분석을 해봐야 됩니다.

       그래야 어느 부분에서 Data를 가져와야 되는지 알 수가 있거든요.

        1~20위까지의 급상승 검색어에 대한 내용을 가져올건데 마우스 우측 버튼을 눌러 소스코드 보기 or 

        크롬에서 F12로(개발자도구) 소스를 분석해야됩니다.

        소스 분석을 해 보면 <div class="ah_roll_area PM_CL_realtimeKeyword_rolling"> 밑 부분에 

        급상승 검색어가 나와있는게 보이네요. (힌트는 찾았으니 이부분을 토대로 긁어보겠습니다.)

2. 네이버 실시간 검색어 검색 프로그램 만들기

 - 뉴스토픽 부분 연예, 스포츠 부분의 실시간 검색어를 크롤링 하는 프로그램을 만들게요.

1: #-*- coding : utf-8 2: import requests 3: from bs4 import BeautifulSoup 4: #Text를 html에 저장합니다. 5: html = requests.get("http://www.naver.com").text 6: #BeautifulSoup을 이용해 html을 read합니다. 7: soup = BeautifulSoup(html, 'html.parser') 8: #가져오고 싶은 Text 부분을 선택해서 가져옵니다. 9: #실시간 검색어는 이 부분에 있기 때문에 가져온 Data를 for문으로 출력 해 줍니다. 10: keywords = soup.select('.ah_roll_area .ah_k') 11: for i, keyword in enumerate(keywords, 1): 12:      print("{}위 {}".format(i,keyword.get_text()))

완성입니다. 동작이 잘되네요 ^^, 이렇게 하나하나 오늘도 파이썬을 공부해 나가고 있습니다.

다음엔 UI도 입혀보고 해야겠네요. 

이론적인 부분도 더 파고들어서 깔끔하게 정리해서 설명드릴 수 있도록 공부해봐야겠습니다.

다음 포스팅으로 찾아올게요.