easy blog

 
import requests
from bs4 import BeautifulSoup


res = requests.get('https://www.naver.com/')
#res = requests.get('https://easy16.tistory.com/')


soup= BeautifulSoup(res.content, 'html.parser')


#Perform a CSS selection operation on the current element.

#1,tag 선택
#data = soup.select('div')

#2,tag 및 class 선택
#data = soup.select('div.title')

#4,class 선택
#data = soup.select('.banner_area')

#5,class 계층 선택
#data = soup.select('div.layer_plus._plusAlert strong.tit')

#6, id 선택
#data = soup.select('#whale_promotion_banner')
#data = soup.select('form#sfrom')

#7, id + class 복합 선택
data = soup.select('div.area_navigation ul#PM_ID_serviceNavi')


for item in data:
    print(item.get_text())

크롬에서 F12 키 또는 Ctrl+Shift+i 를 입력하면 개발자 모드를 통해 

원하는 링크의 html 태그 부분을 쉽게 확인 가능하며, attrs 및 class 또는 id를 활용하여 target을 추출할 수 있으면 충분하다.

 
#다음 실시간 검색어 받아오기
import requests

from bs4 import BeautifulSoup

html = requests.get('https://www.naver.com/')

soup = BeautifulSoup(html.content, "html.parser")
#data = soup.find('title')

#print(data.get_text())
#data = soup.find('h3',id="articleTitle")
#data = soup.find('p', attrs = { 'class':'head_channel_layer'})
data_list = soup.find_all('a', attrs={'class':"link_issue", 'tabindex':'-1'})



#print(data.string)
for data in set(data_list) :
    print(data.get_text())

#네이버 실시간 검색어 받아오기
import requests
from bs4 import BeautifulSoup

html = requests.get('https://www.naver.com')
soup = BeautifulSoup(html.content, "html.parser")

rank_list = soup.find('div',"ah_roll_area PM_CL_realtimeKeyword_rolling")
#결과물에 다시 find를 사용 가능함.
item_list = rank_list.find_all('li',"ah_item")

for d in item_list:
        text = d.get_text().strip().split()
        print(text[0],"위 : ",text[1])

import requests 

from bs4 import BeautifulSoup 

html = requests.get('https://news.naver.com/main/read.nhn?mode=LSD&mid=shm&sid1=100&oid=032&aid=0002981251') 

soup = BeautifulSoup(html.content, "html.parser") 


#h1로 시작하는 첫번째 tag를 가져옴.
#data = soup.find('h1') 
#data = soup.find('p') 
#속성(attr)를 인자로 지정하는 여러가지 방법
#data = soup.find('p', class_='head_channel_layer') 
#data = soup.find('p','head_channel_layer') 
#data = soup.find('p', attrs = { 'class':'head_channel_layer'}) 

data = soup.find(id="articleBodyContents") 

#print(data) 
print(data.get_text())


#리스트 형태로 가져옴
data = soup.find_all('p') 
for item in data: 
    print(item.string)

ex)

print(" {1} {0} ".format("a","b"))

b a

ex)

pie = 3.1456
print("pie = ",format(pie, ".2f"))

pie = 3.15

ex)

print(" %5.2s %15.2f" % ("test", 3.1415) )

te 3.14

Anaconda Powershell prompt 실행 후,

하기 커맨드 입력

(base) PS C:\Users\Lee> jupyter notebook list

try : 에러 여부를 판단할 코드 부

except : 에러를 처리

finally : 위의 두가지 문과 상관없이 실행되는 부

 Ex)

try:
  print(x)
except:
  print("An exception occurred")

출처 : https://www.w3schools.com/python/python_try_except.asp

test example..

아래 명령어로 확인시 3.7.x... required 버전은 3.8 이상..

(업데이트가 번거로운데 Ubuntu 버전이 낮아서 그런걸로 보임)

$python -c "import sqlite3; print sqlite3.sqlite_version"

테스트 목적이므로 old 버전을 설치하여 회피,  실제로 개발한다면 최신버전의 ubuntu를 활용할 것.

#sudo pip3 install django==2.1 // 설치 시 sqlite dependancy로 인해 제대로 설치가 안됨.

./manage.py runserver 127.0.0.1:8000 사용 시, 다른 host에서 connection 불가.. 

(pytest) leej5@LeeJ5:~/python_project/test1/test/t1$ ./manage.py runserver 192.168.1.3:8000
Performing system checks...

System check identified no issues (0 silenced).
July 19, 2019 - 05:21:25
Django version 2.1, using settings 't1.settings'
Starting development server at http://192.168.1.3:8000/
Quit the server with CONTROL-C.
[19/Jul/2019 05:21:41] "GET / HTTP/1.1" 200 16348
[19/Jul/2019 05:21:41] "GET /static/admin/css/fonts.css HTTP/1.1" 200 423
[19/Jul/2019 05:21:42] "GET /static/admin/fonts/Roboto-Bold-webfont.woff HTTP/1.1" 200 82564
[19/Jul/2019 05:21:42] "GET /static/admin/fonts/Roboto-Regular-webfont.woff HTTP/1.1" 200 80304
[19/Jul/2019 05:21:42] "GET /static/admin/fonts/Roboto-Light-webfont.woff HTTP/1.1" 200 81348
Not Found: /favicon.ico
[19/Jul/2019 05:21:42] "GET /favicon.ico HTTP/1.1" 404 1970
^C(pytest) leej5@LeeJ5:~/python_project/test1/test/t1$ ./manage.py runserver
Performing system checks...

System check identified no issues (0 silenced).
July 19, 2019 - 05:21:52
Django version 2.1, using settings 't1.settings'
Starting development server at http://127.0.0.1:8000/
Quit the server with CONTROL-C.
^C(pytest) leej5@LeeJ5:~/python_project/test1/test/t1$ ./manage.py runserver 192.168.1.3:8000
Performing system checks...

System check identified no issues (0 silenced).
July 19, 2019 - 05:22:00
Django version 2.1, using settings 't1.settings'
Starting development server at http://192.168.1.3:8000/
Quit the server with CONTROL-C.
[19/Jul/2019 05:22:13] "GET / HTTP/1.1" 200 16348

https://computingforgeeks.com/how-to-install-pip3-django-on-ubuntu-18-04-ubuntu-16-04-lts/

apt-get isntall python3.x 이후,

아래의 예제 처럼 등록

ex)

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.5 1
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.6 2

sudo update-alternatives --config python3

(pytest) leej5@LeeJ5:~/python_project/test1$ python3 -V
Python 3.6.3

프로젝트 마다 package 버전을 달리 관리하기 위한 가상환경 설정

$pip3 install virtualenv
$virtualenv venveej5

@LeeJ5:~$ cd pytest/bin
leej5@LeeJ5:~/pytest/bin$ . activate

(pytest) leej5@LeeJ5:~/pytest/bin$

~/pytest/bin$ sudo pip3 install django