- 다양한 주제에 대해 자유롭게 글을 작성하는 게시판입니다.
Date 24/08/26 00:56:43
Name   삼성그룹
Subject   카드사 스크래핑을 해볼까?
안녕하세요..
보잘껏 없는 사람이지만 닉네임은 국내 1위 머기업으로 만든.. 삼성그룹입니다..

어쩌다보니 카드사 상품에 관심이 있어서 군복무시절에 맨날 카드상품중에 날로 먹을게 뭐가 있나 싸지방에서 검색하고 있던 사람이
카드사 홈페이지 스크래핑 소스도 만들고.. 뭐 그러다보니 취업도 그쪽으로 하게됬네요 허허..
(아 물론 그 전에 정말 최악이라고 할 정도의 10개월간의 시절이 있었지만요..)

글을 너무 두서없게.. 의식의 흐름대로 적는 스타일인데, 끄적여 볼까 합니다..

1. 카드사 승인내역이랑 혜택 받은 내역을 넣어서 나만의 가계부 프로그램을 만들까?
2022년 즈음이었던걸로 기억합니다만 우울감에 빠져서 살던 저는 막연하게 내가 쓴 카드내역을 자동으로 가져와서 가공할 수 없을까? 라는 생각을 하게됩니다.
그냥 막연한 생각으로 컴퓨터 앞에 앉아서 이것저것 검색해보았죠.
사실 맨처음엔 그냥 코로나가 기승을 부리던 시절 지원금 사용이랑 할인혜택을 동시에 받을 생각이었습니다.
카드사에서 가맹점을 검색해서 사용여부를 알 수 있었고, 카드상품의 전통시장 할인 혜택은 '국세청 등록 기준'으로 가맹점 혜택을 받는다고 하길래 국세청 전통시장정보랑 매칭시켜서 보여주면 좋겠다에서 시작했죠.
그러다가 내가 쓴 내역이랑 할인금액 정리가 되면 가계부같은 프로그램을 만들 수 있지 않나 라는 결론에 도달했습니다.

2. 근데 카드사 로그인은 어떻게 하려고?
맨 처음 난관에 빠졌던건 여기였습니다.
어쨌든 자동으로 내 정보로 로그인이 되어야 하는데 너무나 당연하게도 selenium에서 제공되는 키입력옵션으로 로그인은 불가능했죠.
그래서 맨땅에 헤딩하는 식으로 대책을 생각했는데..
1) 모바일 페이지는 비밀번호 처리가 PC 사이트보단 편리하게 되어있다..
  - 모 카드사들은 PC 사이트 외에 모바일 페이지를 가지고 있는데, 로그인이 PC보단 어렵지 않았습니다. 그래서 어떻게 하다보니 로그인을 할 수 있었죠.
    아 물론 PC 사이트와 세션 유지는 안되기 때문에 모바일 페이지에서 내역을 받아와야 했습니다. 웃긴건 모 카드사는 PC사이트랑 모바일이랑 혜택 조회 기간이 다르더라구요..

2) PC 사이트의 경우에는 가상 키보드가 있으면 그걸로 해결한다.
  - 일부 카드사들은 보안 키보드가 있어서 그걸로 비밀번호 입력을 하면 로그인이 됩니다. 이 경우는 매우 수월했죠.

3) 공동인증서로 로그인을 해야한다.
   - 이 경우에 모 카드사는 인증서 정보가 웹에서 제어가 안되고 보안 모듈쪽을 연결해서 처리해야하는 경우가 하나 있었습니다만, 어렵진 않았네요. 근데 이 경우에 웹서핑이나 다른 작업이       불가하니까 그건 좀 불편했습니다.
   - 웹에서 제어가 되는 경우도 키입력을 selenium에서 해도 되는 경우, 가상 키보드를 써야하는 경우가 있었는데, 키 입력에 시간제한이 있다면 요것도 생각을 해야하긴 합니다..

4) 금융인증서, 클라우드 인증서가 지원된다면 금융인증서로..
   - 공동인증서 로그인중에 모듈쪽 연결만 해야하는 케이스가 아니면 금융인증서, 클라우드 인증서가 지원된다면 그 쪽으로 로그인하는것도 좋습니다.
     물론 기존에 등록이 되어 있어야 되고 인증을 매번 해줘야하는게 그렇지만 이것도 안드로이드 폰 연결해서 처리하면 자동으로 넘어갈 수 있긴 하더라구요..

5) 이걸 해보면서 얻은것
    - 이걸 해본 경험으로 취업을 했다는것..? (지금은 이직을 생각중이지만.. 하 이직하고 싶다..)
    - 다양한 처리방식을 생각해봤다는것..
    - 수집된 데이터를 DB에 적재한 이후에 조회할 때 사용한 조악한 SQL문 작성실력..?

6) 앞으로 해볼거..
   - DB를 웹이랑 연동시켜서 수정/삭제 등의 API나 웹에서 볼 수 있는 웹 페이지를 만들어볼까..? 정도네요..

개발실력은 여전히 보잘껏 없다고 생각합니다만은..
그래도 얻은게 없는건 아닌거 같아서 자기위안을 해봅니다..






5
  • 카드를 아무렇게나 막 쓰는 입장에서 대단하시다고 생각합니다.


자몽에이슬
덕업일치
덕분에 유용한 정보 많이 얻고 있습니다.
nm막장
멋진데요? 기술블로그를 하나 쓰심이…
듣보잡
수익성은 모르겠지만 아예 창업까지도 고려해 볼만한 주제같기도 합니다
목록
번호 제목 이름 날짜 조회 추천
공지 티타임 게시판 이용 규정 2 Toby 15/06/19 32828 7
15386 일상/생각일 헤는 밤 SCV 25/04/16 125 6
15385 게임퍼스트 버서커 카잔에는 기연이 없다 - 던파의 시선에서 본 소울라이크(1) 5 + kaestro 25/04/16 129 2
15384 일상/생각코로나세대의 심리특성>>을 개인연구햇읍니다 14 흑마법사 25/04/15 431 9
15383 일상/생각평범하지 않은 평범한 사람들 1 큐리스 25/04/15 420 8
15382 음악[팝송] 테이트 맥레이 새 앨범 "So Close To What" 김치찌개 25/04/14 86 0
15381 IT/컴퓨터링크드인 스캠과 놀기 T.Robin 25/04/13 454 1
15380 역사한국사 구조론 9 meson 25/04/12 745 4
15379 오프모임날이 좋아서... 날이 좋지 않아서... 5/4 난지도벙 13 치킨마요 25/04/11 838 3
15378 스포츠90년대 연세대 농구 선수들이 회고한 그 시절 이야기. 16 joel 25/04/11 1007 8
15377 일상/생각와이프가 독감에걸린것 같은데 ㅎㅎ 2 큐리스 25/04/10 535 11
15376 일상/생각지난 일들에 대한 복기(직장내 괴롭힘에 대한 판단) 3 셀레네 25/04/10 804 5
15375 일상/생각우리 강아지 와이프^^;; 6 큐리스 25/04/09 752 5
15374 기타[설문요청] 소모임 활성화를 위한 교육과정에 대해 도움을 요청드립니다. 21 오른쪽의지배자 25/04/09 584 4
15373 과학/기술챗가놈 이녀석 좀 변한거 같지 않나요? 2 알료사 25/04/09 629 1
15372 과학/기술전자오락과 전자제품, 그리고 미중관계? 6 열한시육분 25/04/09 462 3
15371 꿀팁/강좌3. 다양한 사람과 다양한 감정 36 흑마법사 25/04/08 797 19
15370 기타만우절 이벤트 회고 - #3. AI와 함께 개발하다 7 토비 25/04/08 423 12
15369 정치깨끗시티 깜찍이 이야기 3 명동의밤 25/04/08 412 0
15368 일상/생각우연히 폭싹 속았수다를 보다가.. 8 큐리스 25/04/08 684 0
15367 영화지쿠악스 내용 다 있는 감상평. 2 활활태워라 25/04/08 397 1
15366 경제[의료법인 법무실] 병원관리회사(MSO) 설립, 운영 유의사항 - 사무장 병원 판단기준 1 김비버 25/04/08 463 1
15365 정치역적을 파면했다 - 순한 맛 버전 5 The xian 25/04/07 823 13
15364 정치날림으로 만들어 본 탄핵 아리랑.mp4 joel 25/04/06 453 7
15363 경제[일상을 지키는 법] 전세사기 피해자를 위한 '보증금 반환' 방법 2 김비버 25/04/06 572 5
목록

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글

댓글
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기
회원정보 보기
닫기