[유사 프로젝트 코드 리뷰] 딥러닝 기반 영상 속 유해 언어 실시간 차단 시스템 -2

오늘은 코드리뷰 두번째 시간

 

https://github.com/LEEMINJOO/Beeeep--/blob/master/crawling.py

GitHub - LEEMINJOO/Beeeep--: 유튜브 비속어 음성 자동 필터링 - 제 9회 투빅스 컨퍼런스

오늘 대강 리뷰할 코드는

crawling.py

 

crawling함수를 갖고 있는 코드다.

임포트한 목록을 보면 selenium 라이브러리 안에 내장되어있는 webdriver을 사용한 것을 알 수 있다.

import in crawling.py

 

 

webdriver.Chrome()함수를 통해 드라이버를 로드한 후, get(url)함수를 통해 해당 url을 브라우저에 나타내는 과정을 거친 것을 알 수 있다. 

F12키를 눌러줘면 url 사이트의 요소의 정보들을 알 수 있는 창이 나타난다.

예시로 아래의 네이버 사진을 덧붙이겠다.

 

이것을 이용하여 알게된 요소들의 클래스를 find_elements 로 시작하는 함수를 통해 click을 시키거나 입력을 하는 등의 행위를 진행할 수 있게 된다.

여기서는 아래의 url의 요소들을 갖고 진행하는 것으로 보인다.

 

목적을 달성하기 위한 행위를 크롤링 루프를 통해 시킨다.

 

crawling함수는 get_data.py에서 text를 갖고올 때 사용된다.

코드 in get_data.py