- 질문 게시판입니다.
Date 18/02/12 21:39:55
Name   호라타래
File #1   크롤링_코드_1.PNG (71.6 KB), Download : 11
File #2   크롤링_코드_2.PNG (80.8 KB), Download : 7
Subject   웹사이트 분석 / 크롤링 관련 질문 있습니닷




http://www.genie.co.kr/detail/songInfo?xgnm=87759645

파이썬을 이용해서 노래 관련된 정보들을 크롤링/분석하려고 해요.

이미지에 나와있듯이

for문을 이용해서 8~9천만개 정도 존재하는 songInfo 페이지를 하나씩 긁어들이게 만들었는데, 이 중 상당수는 빈페이지입니다.

지금과 같은 코드는 시간도 오래 걸리고, 비효율적이라 개선 방안을 고민하는 중이에요.

1) 셀레니움을 이용하지 않아도 Alert 창을 컨트롤 할 수 있나요?

http://www.genie.co.kr/detail/songInfo?xgnm=1

페이지를 눌러보면 보이듯이 Alert창이 뜨기 때문에, 셀레니움을 이용해서 컨트롤을 해주고 있어요. 근데 속도가 상당히 느리더라고요. BeautifulSoup만 써서 정적 스크래핑을 하면 속도가 개선될 듯한데, Alert를 처리할 수 있는 방법이 있을까요? Ajax인지 아닌지도 모르겠네요 ㅋㅋㅋㅋㅋㅋ

2) 지금 코드를 효율화 할 수 있는 방법이 있을까요?

향후 전처리를 염두에 두고 코드를 짜기는 했는데, 이게 효율적인지 아닌지도 감이 안 잡히네요.

3) 구글 크롬 개발자 도구 외에 사이트 구조를 분석할 수 있는 방법이 있을까요?

비어있지 않은 songInfo 페이지를 사전에 파악한 후, 인덱스를 부여해서 for문을 돌리면 훨씬 효율적이지 않을까 싶은데, 구글 크롬 개발자 도구로는 파악을 못하겠습니당

조언 부탁드립니다ㅠㅠ 영어 사이트여도 활용 가능하니 힌트/키워드라도 얻을 수 있다면 흑흑...

맞다. 제 작업 환경은 램 4G, CPU 2.93Ghz, winddow7, Anaconda3(32bit) - Jupyter notebook - Python 3.6입니다. 설날 전까지는 이 환경에서 작업을 해야 해요. 코드 정리되고 나면 프롬프트 창에서 파이썬을 돌리려고요 8ㅅ8



0


목록
번호 제목 이름 날짜 조회 추천
5664 경제전세자금대출시 배우자 부채내역도 공유가 되나요? [익명] 18/10/16 7152 0
401 의료/건강트라마돌의 장기처방 등과 관련하여 질문입니다. 14 April_fool 15/10/31 7150 0
3431 의료/건강의료넷에 의료질문. 귀 뚫은 자국 없애는 시술 이름이 뭔가요? 2 틸트 17/09/27 7147 0
1592 기타튼튼한 의자 추천부탁드립니다. 8 April_fool 16/10/01 7145 0
2152 진로지금까지 했던 삶의 선택들이 잘못되었다고 느껴질 때? 11 지와타네호 17/01/21 7142 2
4080 의료/건강교통사고가 난 후로 머리가 아픈데 MRI와 MRA 중 어느쪽이 좋을까요? 10 무무무무무무 18/01/30 7138 0
1716 기타참기름, 된장 뭐 사 드세요? 13 눈부심 16/11/01 7138 0
2325 기타휴대용 가스렌지(부르스타) 추천 받습니다 :) 5 별빛 17/02/15 7129 0
8729 여행아기데리고 갈만한 국내여행지/호캉스 질문있습니다. 9 세인트 20/02/03 7126 0
3180 의료/건강물리치료를 받으면 더 아픕니다 10 다람쥐 17/08/09 7121 0
426 의료/건강MRI 관련 질문입니다. 9 April_fool 15/11/06 7112 0
11985 IT/컴퓨터방통대 컴퓨터과학과 - 수강신청 과목 고민 9 dongri 21/08/02 7110 0
2208 IT/컴퓨터공부용 태블릿을 사려고 합니다. 9 화공유체역학 17/01/30 7109 0
64 의료/건강메르스 걸리면 심각하게 아픈가요? 8 탑망하면정글책임 15/06/09 7108 0
4154 IT/컴퓨터웹사이트 분석 / 크롤링 관련 질문 있습니닷 22 호라타래 18/02/12 7104 0
1266 의료/건강피지낭종 방치하면 어떻게 되나요 4 절름발이이리 16/07/06 7097 1
10502 기타귀찮은 친구의 카톡. 어떻게 얘기해야할까요? 30 [익명] 20/11/25 7090 0
9274 문화/예술클래식 피아노 콘서트에서 악보 넘겨주는 사람이 궁금해요 12 Erzenico 20/04/26 7088 0
10833 기타아이폰 070 완전 차단방법 없나요? 10 사이시옷 21/01/15 7081 0
4384 진로교육행정직 현직분 계신가요? 2 [익명] 18/04/01 7070 0
4234 IT/컴퓨터모뎀 인터넷 선에서 물이 나옵니다. 7 성공의날을기쁘게 18/03/04 7067 0
7693 기타33살에 모아야 하는 돈 20 [익명] 19/08/20 7066 0
12838 연애30대이신분들, 나이먹고 친구는 어디서 어떻게 사귀나요 31 [익명] 22/01/15 7063 0
8489 문화/예술술이 맛있나요? 34 덕후나이트 19/12/16 7063 0
80 게임[아재게임] HOMM 히어로즈오브마이트앤매직 관련 질문 12 구라 15/06/16 7060 1
목록

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글

댓글