[조코딩] 완전 쉽게 파이썬으로 텍스트 및 이미지 크롤링하기 | 완성형 서비스 만들기 1강

 

https://ide.goorm.io/

구름IDE - 설치가 필요없는 통합개발환경 서비스

 

beautifulsoup 설치 명령어

pip install bs4

 

from bs4 import BeautifulSoup
from urllib.request import urlopen

with urlopen('https://www.naver.com/') as response:
    soup = BeautifulSoup(response, 'html.parser')
    i = 1
    f = open("새파일.txt", "w")
    for anchor in soup.select("span.ah_k"):
        #print(str(i) +"위 : " + anchor.get_text())
        data = "%d번째 줄입니다.\n" % i
        
        i = i + 1
        f.write(data)
    f.close()

 

---

https://pypi.org/project/google_images_download/

google_images_download

 

이미지 크롤링 라이브러리 다운

pip install google_images_download

 

from google_images_download import google_images_download   #importing the library

response = google_images_download.googleimagesdownload()   #class instantiation

arguments = {"keywords":"워너원 강다니엘, 엑소 백현, 박보검, 송중기","limit":20,"print_urls":True, "format" : "jpg"}   #creating list of arguments
paths = response.download(arguments)   #passing the arguments to the function
print(paths)   #printing absolute paths of the downloaded images

---

 

beautifullsoup 공식문서

https://www.crummy.com/software/BeautifulSoup/bs4/doc/

Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation

 

 

크롤링 예제 사이트

https://beomi.github.io/gb-crawling/posts/2017-01-20-HowToMakeWebCrawler.html

requests와 BeautifulSoup으로 웹 크롤러 만들기 · GitBook

 

 

 

---

https://www.youtube.com/watch?v=ZTJjW7XuHIY