PGR21.com
- PGR21 관련된 질문 및 건의는 [건의 게시판]을 이용바랍니다.
- (2013년 3월 이전) 오래된 질문글은 [이전 질문 게시판]에 있습니다.
통합 규정을 준수해 주십시오. (2015.12.25.)
Date 2020/06/13 11:02:25
Name 지구사랑
Subject [질문] Python Web Crawling 질문 드립니다.
화면으로 보이는데, html source를 잡지 못하는 경우 어떻게 해야 하나요?

크롬에서 F12 를 눌렀을 때, 우클릭/검사를 하면 원하는 source가 보이는데,
requests.get()으로 해당 source가 잡히지 않고,
selenium으로도 driver.get_screenshot_as_file()을 해 보면 보이는 대로 제대로 저장이 되는데,
막상 driver.page_source 를 읽어보면 크롬 F12 의 우클릭/검사에서 보이는 source를 볼 수 없습니다.

알면 쉬운 것 같은데, 관련 전공자가 아니라서 참 어렵네요.
Python/ Web Crawling 고수님들의 꿀팁을 부탁 드립니다.

PS) F12 의 우클릭/검사로도 보이지 않는 것에 대해서는 어떤 것을 공부해야 하는지도 부탁 드립니다.

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
심플맨
20/06/13 12:13
수정 아이콘
안녕하세요.
웹페이지는 크게 서버에서 렌더링하는 방식과 브라우저에서 렌더링하는 방식 두가지가 있습니다.
(렌더링이라는 용어가 적절한지 모르겠습니다. 적당히 봐주세요.)
전자는 말씀하시는 source를 서버에서 미리 렌더링해서 텍스트형태로 보내주는 것이고,
후자는 서버에서 렌더링하지 않고 javascript라는 스크립트를 클라이언트에게 보내주면 클라이언트에서 스크립트 파일을 실행하여 source로 변환시키는 렌더링 작업을 합니다. 그러니깐 후자는 브라우저에서 추가적인 작업을 통해서 source를 생성한다고 생각하시면됩니다.
후자와 같은 방식으로 구성된 웹페이지를 일반적인 크롤링 방식으로 크롤링하는 경우(작성자분께서 사용하는 방식), 브라우저를 사용하지 않기 때문에, 스크립트파일을 soruce 형태로 렌더링하는 작업을 거치지 않게 됩니다. 말씀하시는 셀레니움이나 크롬에서는 정상적으로 나타나는 것은 브라우저 기반이기 때문에 렌더링 작업을 거쳐서 소스를 생성하기 떄문입니다.

해결책은 브라우저를 이용하여 크롤링하는 것입니다.
셀레니움을 이용해서 크롤링하셔도 되고, 다른 패키지들도 있을겁니다.
찾아보시고 해당 방법으로 렌더링 후에 크롤링하시길 바랍니다.
지구사랑
20/06/13 12:42
수정 아이콘
(수정됨) 답변에 감사를 드립니다.
쉽지 않네요. :)
20/06/14 00:46
수정 아이콘
서버 source 로드 -> js 실행 -> 최종 html 이렇게 됩니다.
즉 js 실행 될 시간을 기다려줘야 해서 selenium driver로 wait 같은걸 걸어주면 될겁니다.
지구사랑
20/06/14 08:24
수정 아이콘
Selenium을 사용하고, 말씀하신 것과 비슷하게 지연시켜 일단 원하는 것은 구했습니다.
그래도 아직 전체적으로 시원하게 해결된 느낌은 아니어서^^;;; 조금 더 공부해야 할 듯 합니다.
답변에 감사를 드립니다.
세크리
20/06/14 06:35
수정 아이콘
크롬에서 F12말고 view page source 클릭하면 javascript처리 전에 소스를 볼 수 있습니다. 처리 하고 난 후의 소스 crawling은 사실 표준적인 방법은 없고요 (자바스크립트에서 클라이언트를 확인 가능하기 때문에 대상이 crawler면 그냥 렌더링을 안하는것도 가능합니다), 해 보면서 되는 수단을 써야 합니다. 간단한게는 같은 웹 사이트를 javascript를 꺼보고 접속한 다음 호환되는 contents 렌더링 방식이 있는지를 보고, 맞춰가는 방법도 있습니다. 아직 웹 표준에서는 javascript가 사용 불가능한 환경 (cli거나 임베디드같은 환경)을 위해서 html로만으로 이루어진 대체 정보를 화면에 뛰울것을 요청하고 있습니다. 따라서 웹 표준을 따르는 페이지라면, javascript없이도 뭔가 정보를 주긴 해야합니다.
지구사랑
20/06/14 08:39
수정 아이콘
답변에 감사를 드립니다.
그렇지 않아도 F12 와 view page source의 차이에 대해 궁금했었습니다.
Urlopen과 requests와 selenium을 비교하고 있는데, 말씀하신 것처럼 표준적이고 쉬운 해결책은 없는 것 같네요.
클라이언트를 어떻게 확인하는지, 그것을 어떻게 속이는지, 공방을 조금 구경하니, 쌩초보의 영역도 아니구요. ^^;;;
그래도 알아가는 재미가 생겼습니다. :)
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
148168 [질문] PC게임 추천 부탁드립니다. [9] 웬디5897 20/09/03 5897
148167 [질문] 중도 성향의 시사평론 라디오나 프로그램 추천 부탁합니다 [14] 프리템포5702 20/09/03 5702
148166 [질문] 나이키 vs 코카콜라 [9] 똥꼬쪼으기7140 20/09/03 7140
148165 [질문] 가을 느낌 나는 노래가 뭐가 있을까요? [28] 제로스엠퍼러s5870 20/09/03 5870
148164 [질문] 힙합, R&B 뮤지션 추천해주세요! [9] 부기영화5232 20/09/03 5232
148163 [질문] 전세대출 계획 문의드려요 (내용이 많습니다) [6] SlaSh.5682 20/09/03 5682
148162 [질문] 석회질 찌꺼기 제거 [13] Ragamuffin5622 20/09/03 5622
148161 [질문] 이사 경험 있으신 분들께 질문드립니다! [12] CastorPollux5336 20/09/03 5336
148160 [삭제예정] 형편이 어려운 친구를 조금 도와주려고 합니다(멘트?방법?) [15] 삭제됨5925 20/09/03 5925
148159 [질문] 대한통운 택배 간선상차에서 멈췄어요 [10] 위미5929 20/09/03 5929
148158 [질문] 셀카는 어떻게 찍어야하나요? [1] 갓럭시4723 20/09/03 4723
148157 [질문] 사무실 모니터로 32인치 가져가도 상관 없을까요?? [16] grrrill8224 20/09/03 8224
148156 [질문] 모바일 게임 좀 추천 부탁드리겠습니다. [15] Totato Crisp5744 20/09/03 5744
148155 [질문] 연금저축보험 해지관련 질문 드립니다. [1] 차아령5310 20/09/03 5310
148154 [질문] 서울 근교 펜션 / 호캉스 추천 부탁 드립니다. [4] 호아킨6641 20/09/03 6641
148153 [질문] 룬테라와 MTG 비교해주실 분 계실까요?! [4] 잉차잉차5418 20/09/03 5418
148152 [질문] 갤럭시 폴드2 구매 질문입니다. [3] 완성형폭풍저그5012 20/09/03 5012
148151 [질문] 4세 아동 공룡책 추천 [5] 오쇼 라즈니쉬4936 20/09/03 4936
148150 [삭제예정] 자동차 취등록세 질문부탁드립니다 [1] 삭제됨5414 20/09/02 5414
148149 [질문] 취업 관련 정보는 어떻게 얻나요? [20] 므라노6097 20/09/02 6097
148148 [질문] 기아차홈피에서 견적때리는거랑 딜러분한테 견적받는거랑 [7] 푸들은푸들푸들해6500 20/09/02 6500
148147 [질문] CPU 가격 떨어질까요? [8] 동네슈퍼주인5597 20/09/02 5597
148146 [질문] 데스크탑을 샀습니다 연결 질문 [3] Flying-LeafV4842 20/09/02 4842
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로