Crawler 검색 결과

해당 글 4건

WebDriver, WebElements, Waiting

WebDriver 어떤 웹 드라이버를 사용하는 지에 따라 지정할 수 있는 옵션이나 사용할 수 있는 메서드 등에 조금씩 차이가 있는 편입니다만, 대체로 비슷합니다. 대표적인 크롬 웹 드라이버를 가져와봤습니다. selenium-python.readthedocs.io/api.html#module-selenium.webdriver.chrome.webdriver maximize_window(), get_window_size()와 같은 메서드들이 있으니 참고해보시면 좋겠습니다. 여기서 눈여겨 볼 메서드는 execute_script입니다. 웹을 띄운 다음 javascript를 실행할 수 있도록 만든 것입니다. 이를 이용해 특정 DOM을 지운다던 지 등의 javasciprt적인 동작을 구현할 수 있게 됩니다. 또, j..
Crawler/Crawler 2020. 9. 7. 14:17

selenium 설치 및 간단한 이용법

공식 문서가 그렇게 길지 않으니 살펴봅시다. Selenium with Python — Selenium Python Bindings 2 documentation Note This is not an official documentation. If you would like to contribute to this documentation, you can fork this project in Github and send pull requests. You can also send your feedback to my email: baiju.m.mail AT gmail DOT com. So far 40+ community selenium-python.readthedocs.io 1. 설치를 위한 가상 환경 세팅 및 설..
Crawler/Crawler 2020. 9. 7. 12:13

POST 방식의 웹 사이트 python crawling 후 pymongo 저장

http://www.cine21.com/rank/person의 정보를 크롤링해서 정보를 가공한 후 pymongo에 저장해보자. jupyter notebook에서 진행했다. 홈페이지를 살펴보면, POST로 req를 날리기 때문에 url이 바뀌지 않는 것을 볼 수 있다. 관리자 도구의 Network 부분에서 정보를 POST하는 부분을 살펴보면 알 수 있다. 그렇다면 해당 post를 날리기 위한 추가적인 정보 (예를 들면 form data)가 있을 터이다. 역시나 해당 부분을 살펴보면 Form Data를 살펴볼 수 있다. 그렇다면 requests를 할 때 post 방식으로 정보와 함께 날려주면 된다. 아래는 그 예시이다. # mongoDB connect connection = pymongo.MongoClien..
Crawler/Crawler 2020. 6. 9. 00:06

requests와 beautiful soup 패키지를 활용한 crawling

c내장 모듈인 urllib3를 활용한 requests라는 패키지가 있는데 이걸 이용해서 간단한 scrapping을 만들어보겠다. 또, GET을 통해 가져온 html 내용물들을 soup화 하여 특정 내용만 추출할 것이다. request 모듈은 axios와 같이 서버와 통신을 도와주는 패키지로, HTTP method인 get, post, delete 등을 조작할 수 있다. QuickGuide를 읽어보자. beautiful soup는 Python library for pulling data out of HTML and XML files라고 한다. 문서에서 Quickstart 부분을 읽어보자. psf/requests A simple, yet elegant HTTP library. Contribute to psf..
Crawler/Crawler 2020. 5. 8. 18:47