AI 5

[Error]유니코드 인코딩 문제로 인해 json파일이 저장되지 않을 때

데이터 전처리 과정에서 data를 json형태로 저장하려 했다. 허나 한국어 관련 프로젝트라 그런지 data에 한국어가 포함되어있어 위와같은 오류가 발생한 것으로 보인다. 기존 코드는 이런 식이였다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 import json DATA_IN_PATH = '../data/' DATA_CONFIGS = 'data_configs.json' data_configs = [] data_configs['vocab'] = word_vocab data_configs['vocab_size'] = len(word_vocab)+1 import os if not os.path.exists(DATA_IN_PATH): os.makedirs(DEFAULT_PATH..

AI 2021.10.24

pip 버그

아나콘다에서 가상환경에 아래와 같은 오류가 발생하였다. pip 명령어를 사용하여 모듈을 설치하는데 pip 할때마다 발생하였다. from pip._internal.exceptions import InvalidSchemeCombination, User Installation Invalid ImportError: cannot import name 'InvalidSchemeCombination' 요런 에러를 발견하고 멘붕와서 env를 다시 파야하나 생각했는데 구글링해보니 다행스럽게도 방법이 있었다. pip버전에 버그가 있는 것 같았고, 그래서 다운그레이드를 진행하였다. 당분간은 pip install --upgrade pip를 하지 않아야겠다:) https://richwind.co.kr/172

AI 2021.10.23

[유사 프로젝트 코드 리뷰] 딥러닝 기반 영상 속 유해 언어 실시간 차단 시스템 -2

오늘은 코드리뷰 두번째 시간 https://github.com/LEEMINJOO/Beeeep--/blob/master/crawling.py GitHub - LEEMINJOO/Beeeep--: 유튜브 비속어 음성 자동 필터링 - 제 9회 투빅스 컨퍼런스 유튜브 비속어 음성 자동 필터링 - 제 9회 투빅스 컨퍼런스. Contribute to LEEMINJOO/Beeeep-- development by creating an account on GitHub. github.com 오늘 대강 리뷰할 코드는 crawling.py crawling함수를 갖고 있는 코드다. 임포트한 목록을 보면 selenium 라이브러리 안에 내장되어있는 webdriver을 사용한 것을 알 수 있다. webdriver.Chrome()함수..

AI 2021.09.27

[유사 프로젝트 코드 리뷰] 딥러닝 기반 영상 속 유해 언어 실시간 차단 시스템 -1

졸업 프로젝트로 딥러닝 기반 영상 속 유해 언어 실시간 차단 시스템을 개발하는데, 유사한 프로젝트를 발견하여 코드리뷰를 블로그에 남긴다. https://github.com/LEEMINJOO/Beeeep-- GitHub - LEEMINJOO/Beeeep--: 유튜브 비속어 음성 자동 필터링 - 제 9회 투빅스 컨퍼런스 유튜브 비속어 음성 자동 필터링 - 제 9회 투빅스 컨퍼런스. Contribute to LEEMINJOO/Beeeep-- development by creating an account on GitHub. github.com 이 프로젝트는 유튜브에 존재하는 영상을 갖고 했는데, get_data.py에는 그러한 영상을 갖고 오는 코드가 들어있다. 여러 함수가 임포트 되어있는데 이것은 이 파일 코..

AI 2021.09.20