ABC 부트캠프 16일차(07.24)

오늘은 새로 오신 이진석 교수님께 웹크롤링을 배웠다.

 

데이터 수집하기

import requests

url = 'https://pyhub-kr.github.io/samples/abc-bootcamp-2023-crawl/lv1.html'
res = requests.get(url)

from bs4 import BeautifulSoup

html = res.text

# 스크래핑 : 수신한 HTML 문자열에서 필요한 정보 추출
soup = BeautifulSoup(html, "html.parser")

for tag in soup.select('a'): # 'a' 태그 선택
    url = tag['href'] # 'href' 속성 url 담기
    title = tag.text # tag text title에 담기
    print(title + '\n' + url + '\n')
    

‘배틀그라운드 모바일’, 영국 스포츠카 ‘애스턴마틴’ 등장
https://n.news.naver.com/mnews/article/009/0005162012?sid=105

SK브로드밴드, 신임 사장에 박진효 前 SK쉴더스 대표 내정
https://n.news.naver.com/mnews/article/008/0004915319?sid=105

그 많던 가상인간은 다 어디로 갔을까
https://n.news.naver.com/mnews/article/081/0003378966?sid=105

일본인 관광객 800만원 되찾아준 버스 기사, 카카오모빌리티 상 받았다
https://n.news.naver.com/mnews/article/015/0004871028?sid=105

상 첫 소행성에 우주선 충돌로 생긴 ‘37개 바위’ 우주를 떠돌다 [우주를 보다]
https://n.news.naver.com/mnews/article/081/0003378964?sid=105

순창 강천산군립공원 휴가철 야간 개장…다양한 빛의 향연
https://n.news.naver.com/mnews/article/001/0014083060?sid=103

이종호 장관 "女 공학생, 미래 과학기술 선도하라"
https://n.news.naver.com/mnews/article/003/0011988527?sid=103

강원랜드, '하이원 프리미엄 스토어' 그랜드 오픈
https://n.news.naver.com/mnews/article/014/0005045785?sid=103

원 고석정 꽃밭, 가을철 개장 앞두고 막바지 준비 한창
https://n.news.naver.com/mnews/article/001/0014082813?sid=103

 

html을 보면 <a> 태그가 있는데 a 태그를 선택하여 그 안에 있는 'href' 속성에 있는 주소를 가져오고,

text를 가져와 기사 제목과, 주소를 수집했다.

 

네이버 뉴스 랭크 제목과 주소 크롤링하기

import requests
from bs4 import BeautifulSoup

주소가져와서 'html' 변환하기
url = 'https://news.naver.com/main/list.naver?mode=LS2D&mid=shm&sid1=103&sid2=238'
headers = {"User-Agent" : ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36"),}
res = requests.get(url, headers=headers)
html = res.text
soup = BeautifulSoup(html, 'html.parser')

# class가 list_body인 곳에서 a 태그 가져오기
tag_list = soup.select(".list_body a")

tag = tag_list[0]
print(repr(tag.text.strip())) # 문자열에서 좌/우 화이트 스페이스 문자들을 제거

tag = tag_list[1]
print(repr(tag.text.strip()))

"나흘만에 7만명 몰렸다…'반갈샷' 유행 크림빵 한정판 재출시 투표"

반복문을 통해 뉴스 랭킹 가져오기

for tag in tag_list:
    link = tag['href']
    label = tag.text.strip()
    # if label # 값이 있을 때
    if len(label) > 0:
        print(label)
        print(link)
        print()

나흘만에 7만명 몰렸다…'반갈샷' 유행 크림빵 한정판 재출시 투표
https://n.news.naver.com/mnews/article/015/0004871718?sid=103

남양유업, 집중호우 피해 전북 지역에 음료 1만8000개 지원
https://n.news.naver.com/mnews/article/277/0005290546?sid=103

크라운해태, 수해 지역·군부대에 1억원 상당 과자 지원
https://n.news.naver.com/mnews/article/277/0005290541?sid=103

'피자집' 파파존스, 치킨시장 진출한다
https://n.news.naver.com/mnews/article/015/0004871661?sid=103

SPC 비알코리아, 집중호우 피해 지역 지원
https://n.news.naver.com/mnews/article/277/0005290449?sid=103

대상, 설탕 대체 천연 감미료 알룰로스 본격 생산
https://n.news.naver.com/mnews/article/648/0000018127?sid=103

CJ프레시웨이, 암 환자 영양관리 전문가 육성 나서
https://n.news.naver.com/mnews/article/277/0005290428?sid=103

hy, 피카츄로 외관 감싼 냉장카트 '피카츄 코코' 선봬
https://n.news.naver.com/mnews/article/277/0005290422?sid=103

브리티시오픈 기념 공식 위스키 2종 출시
...

CJ제일제당, 글루타치온 원료 '액티브엔리치 부스트' 출시
https://n.news.naver.com/mnews/article/277/0005290299?sid=103

저녁에 동아리방에서 피자 시켜 먹었는데 사진만 맛없게 나옴...ㅎ

짱 맛있었다🍕🍕