인공지능을 위한 데이터 수집 및 전처리 (Feat. Python)

 

 

실습환경 : 아나콘다(anaconda), Jupyter Noterbook

실습언어 : 파이썬(Python)

 

---

인공지능 -> 머신러닝 -> 딥러닝

 

데이터 수집

 - 웹 크롤러 : 조직적, 자동화 된 방법으로 월드와이드웹을 탐색하는 컴퓨터 프로그램

 - 크롤링 : 웹 크롤러가 하는 작업

 - 스크레이핑 : 웹사이트나 PDF 문서처럼 기계가 읽을 수 있는 형태가 아닌 출처로부터 데이터를 추출하고

                    그 결과를 통해 구조화 된 데이터를 만드는 작업

 

파이썬 기본문법

 - 자료형, 연산자, 제어문, 

 

Numpy

 

 

Pandas (고수준의 자료구조와 파이썬을 통한 빠르고 쉬운 데이터 분석 라이브러리)

 - Series : 일련의 객체를 담을 수 있는 1차원 배열같은 자료구조

 - DataFrame : 표와 같은 2차원 자료구조

 

 

BeautifulSoup

 

Selenium

User Agent 확인하는 방법

https://www.whatismybrowser.com/detect/what-is-my-user-agent

 

 

정규표현식

 

 

Matplotlib

- 데이터의 시각화를 위한 라이브러리

- 주로 2차원 도표를 위한 데스크콥 패키지로 출판물 수준의 도표를 만들 수 있게 설계 됨.

- 3차원 도식을 위한 matplot3d 및 지도와 투영을 위한 basemap과 같은 확장 툴킷도 있다.