안까먹을라고 쓰는 블로그

웹 페이지를 가지고 올때, 일반적으로 수행해야 할 작업은 HTML소스에서 데이터를 추출하는 것입니다. 이를 위해 Scrapy에는 데이터 추출을 위한 자체 메커니즘이 있습니다. XPath 또는 CSS 표현식으로 지정 된 HTML 문서의 특정 부분을 선택하기 때문에 Selector 라고 합니다. 예제 사이트 https://docs.scrapy.org/en/latest/_static/selectors-sample1.html Name: My image 1 Name: My image 2 Name: My image 3 Name: My image 4 Name: My image 5 Scrapy Shell 여는 명령어 scrapy shell https://docs.scrapy.org/en/latest/_static/se..

리눅스의 기본적인 업데이트 명령어 sudo apt-get update 컴파일러(gcc, make) 등의 라이브러리 설치 명령어 sudo apt-get install build-essential Python 버전확인 (리눅스에는 기본적으로 파이썬이 설치가 되어있다) python -V Python 설치 명령어 sudo apt-get -y install python-dev python에서 사용하는 pip 설치 명령어 sudo apt-get install python-pip ■ 가상환경 설정하기 virtualenv 가상환경 사용관련 패키지 설치 sudo pip install virtualenv virtualenvwrapper virtualenv 환경설정 vi .bashrc 에서, 가장 아래 쪽에 아래의 두줄을 ..