잡덕의 게임&코딩

안녕하세요!

최근에 크롬 드라이버를 설치하는 페이지가 변경되어 새롭게 포스팅을 하겠습니다!

이전 포스팅이 궁금하신 분들은 아래 포스팅을 참고해주시면 됩니다!

https://yhj9855.com/entry/%ED%81%AC%EB%A1%AC%EB%93%9C%EB%9D%BC%EC%9D%B4%EB%B2%84ChromeDriver-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0

• 크롬드라이버란?

컴퓨터가 크롬 브라우저를 제어할 수 있도록 해주는 프로그램입니다.

• 크롬드라이버의 사용처

크롬드라이버는 컴퓨터 코드로 크롬 브라우저에서 특정 행동을 하고 싶을 때 사용합니다.

※ 특정 행동은 스크롤을 내리거나, 버튼을 누르는 등의 행동을 예시로 들 수 있습니다.

크롬 브라우저를 직접 제어할 수 있기 때문에 URL이 변경되지 않는데 내용은 변경이 되는 동적 페이지 크롤링에 필수로 사용됩니다.

• 크롬드라이버 설치하기

크롬드라이버는 크롬 버전과 버전이 맞지 않으면 코드에서 오류가 발생하기 때문에 꼭 동일한 버전의 크롬드라이버를 설치하는 것이 중요합니다.

크롬드라이버를 사용하는 selenium 패키지가 업데이트 되면서 크롬드라이버를 새롭게 설치할 필요가 없다고들 하는데, 저는 자꾸 오류가 발생해서 번거롭지만 버전에 맞는 크롬드라이버를 매번 다시 설치해주고 있습니다ㅠㅠ

크롬드라이버를 설치하는 과정은 아래와 같습니다.

1. 크롬을 최신 버전으로 업데이트 해줍니다.

최신 버전의 크롬이 가장 오류가 나지 않기 때문에 크롬드라이버를 설치하기 전에 크롬을 꼭 최신 버전으로 업데이트 해주세요!

2. 크롬의 버전을 확인합니다.

'제어' → '도움말' → 'Chrome 정보' 에서 크롬 버전을 확인할 수 있습니다.

여기서 제어는 크롬 내 X(창닫기 버튼) 아래에 있는 세로로 된 ... 을 의미합니다.

3. https://chromedriver.chromium.org/downloads 홈페이지에 접속합니다.

구글에서 크롬드라이버를 검색했을 때, 가장 상단에 보이는 홈페이지와 동일한 홈페이지입니다!

4. 아래 이미지에 해당하는 부분을 클릭해줍니다.

메인 페이지가 변경되면서 다운로드 파일이 있는 곳으로 가는 버튼이 달라졌습니다!

현재 사용하시는 크롬은 무조건 115버전 보다 상위 버전이기 때문에 해당 부분을 클릭하여 최신 버전 다운로드 페이지로 이동해주세요!

5. 'Stable' 에서 자신에게 맞는 OS를 선택하여 다운로드를 받아줍니다.

다운로드는 URL을 복사하여 크롬 주소창에 입력해주면 자동으로 다운로드 진행이 됩니다.

자신에게 맞는 OS는 컴퓨터 내 '설정'  → '시스템'  → '시스템 종류'에서 확인 하실 수 있습니다!

※Stable에서 제공하는 크롬드라이버와 본인의 크롬 버전이 맞지 않을 경우

종종 크롬 업데이트가 잘 반영 되지 않아서, 현재 크롬 버전과 Stable에서 제공하는 크롬 버전이 다른 경우가 있습니다!

Stable에서 제공하는 크롬 버전은 아래 이미지처럼 확인이 가능합니다.

128.0.n.n 을 사용하시는 분들은 해당 버전이 맞지만, 127.n.n.n을 사용하시는 분들은 해당 버전이 맞지 않는데요!

이럴 경우에는 직접 검색을 하셔서 자신에게 맞는 크롬 드라이버 다운 링크를 찾으셔야 합니다.

1)  https://chromedriver.chromium.org/downloads 홈페이지에 다시 접속해주세요

뒤로 가기를 통해 메인 화면으로 돌아가셔도 됩니다!

2) 아래 이미지에 해당하는 부분을 클릭해줍니다.

3) 본인의 크롬 버전을 검색합니다.

검색은 Ctrl+F를 누르면 검색어를 입력할 수 있는 작은 창이 뜹니다.

해당 창에 자신의 크롬 버전을 검색해주시면 됩니다!

자신의 크롬 버전이 나타나지 않을 경우, 크롬 정보에서 가장 마지막 '.' 뒤를 제거하여 검색해주시면 됩니다!

예시) 크롬 버전: 127.0.6533.122 → 127.0.6533 을 검색

4) 본인의 크롬 버전과 동일하고 환경에 맞는 크롬 드라이버 다운로드 링크를 찾으시면 됩니다.

가장 마지막 '.' 뒤의 숫자는 달라도 같은 버전입니다!

예시) 127.0.6533.122의 크롬일 경우, 127.0.6533까지 동일한 파일이면 모두 호환 가능합니다.

다운로드 링크 찾는 방법

[1] chromedriver라는 값을 찾습니다.

[2] platform에서 자신에게 맞는 환경을 찾습니다.

저는 윈도우 64이기 때문에 해당 환경을 찾았습니다!

[3] url 값을 복사하여 주소창에 입력해줍니다.

자동으로 다운로드 되는 것을 확인하시면, 크롬 드라이버 다운로드가 잘 된 것입니다!

6. 설치 완료된 크롬드라이버 zip 파일에서 'chromedriver.exe' 파일만 복사하여, 코드가 있는 폴더에 옮겨줍니다.

같은 폴더에 있지 않으면, 코드가 인식하지 못하는 경우가 있어서 옮겨주는 것이 좋습니다.

이 과정을 통해서 최신 버전의 크롬드라이버를 설치할 수 있습니다!

크롬드라이버를 사용하여 동적 크롤링을 진행하는 포스팅은 다음에 진행하도록 하겠습니다.

궁금한 부분이 있으신 분들은 댓글로 남겨주시면, 답변 드리도록 하겠습니다.

★읽어주셔서 감사합니다★

안녕하세요! 요즘 너무 바빠서 자주 글을 올리지 못하고 있네요ㅠㅠ

오늘은 동적 크롤링에 꼭 필요한 크롬드라이버(ChromeDriver)를 설치하는 방법에 대해서 포스팅 하겠습니다.

• 크롬드라이버란?

컴퓨터가 크롬 브라우저를 제어할 수 있도록 해주는 프로그램입니다.

• 크롬드라이버의 사용처

크롬드라이버는 컴퓨터 코드로 크롬 브라우저에서 특정 행동을 하고 싶을 때 사용합니다.

※ 특정 행동은 스크롤을 내리거나, 버튼을 누르는 등의 행동을 예시로 들 수 있습니다.

크롬 브라우저를 직접 제어할 수 있기 때문에 URL이 변경되지 않는데 내용은 변경이 되는 동적 페이지 크롤링에 필수로 사용됩니다.

• 크롬드라이버 설치하기

크롬드라이버는 크롬 버전과 버전이 맞지 않으면 코드에서 오류가 발생하기 때문에 꼭 동일한 버전의 크롬드라이버를 설치하는 것이 중요합니다.

크롬드라이버를 사용하는 selenium 패키지가 업데이트 되면서 크롬드라이버를 새롭게 설치할 필요가 없다고들 하는데, 저는 자꾸 오류가 발생해서 번거롭지만 버전에 맞는 크롬드라이버를 매번 다시 설치해주고 있습니다ㅠㅠ

크롬드라이버를 설치하는 과정은 아래와 같습니다.

최근 크롬 드라이버 메인 홈페이지가 변경되어서 새로 변경된 홈페이지에서 크롬 드라이버 다운 받은 게시글을 새로 작성해주었습니다!!
본인 크롬이 최신 버전이 아닐 경우, 검색해서 다운 받는 과정까지 함께 포스팅하였으니 아래 링크에서 확인해주세요!

https://yhj9855.com/entry/%ED%81%AC%EB%A1%AC%EB%93%9C%EB%9D%BC%EC%9D%B4%EB%B2%84-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0-%EC%B5%9C%EC%8B%A0%EB%B2%84%EC%A0%84%EA%B3%BC-%EB%8B%A4%EB%A5%B8-%ED%81%AC%EB%A1%AC%EB%93%9C%EB%9D%BC%EC%9D%B4%EB%B2%84-%EC%84%A4%EC%B9%98

1. 크롬을 최신 버전으로 업데이트 해줍니다.

최신 버전의 크롬이 가장 오류가 나지 않기 때문에 크롬드라이버를 설치하기 전에 크롬을 꼭 최신 버전으로 업데이트 해주세요!

2. 크롬의 버전을 확인합니다.

'제어' → '도움말' → 'Chrome 정보' 에서 크롬 버전을 확인할 수 있습니다.

여기서 제어는 크롬 내 X(창닫기 버튼) 아래에 있는 세로로 된 ... 을 의미합니다.

3. https://chromedriver.chromium.org/downloads 홈페이지에 접속합니다.

구글에서 크롬드라이버를 검색했을 때, 가장 상단에 보이는 홈페이지와 동일한 홈페이지입니다!

4. 아래 이미지에 해당하는 부분을 클릭해줍니다.

현재 사용하시는 크롬은 무조건 115버전 보다 상위 버전이기 때문에 해당 부분을 클릭하여 최신 버전 다운로드 페이지로 이동해줍니다.

5. 'Stable' 에서 자신에게 맞는 OS를 선택하여 다운로드를 받아줍니다.

다운로드는 URL을 복사하여 크롬 주소창에 입력해주면 자동으로 다운로드 진행이 됩니다.

자신에게 맞는 OS는 컴퓨터 내 '설정'  → '시스템'  → '시스템 종류'에서 확인 하실 수 있습니다!

6. 설치 완료된 크롬드라이버 zip 파일에서 'chromedriver.exe' 파일만 복사하여, 코드가 있는 폴더에 옮겨줍니다.

같은 폴더에 있지 않으면, 코드가 인식하지 못하는 경우가 있어서 옮겨주는 것이 좋습니다.

이 과정을 통해서 최신 버전의 크롬드라이버를 설치할 수 있습니다!

크롬드라이버를 사용하여 동적 크롤링을 진행하는 포스팅은 다음에 진행하도록 하겠습니다.

궁금한 부분이 있으신 분들은 댓글로 남겨주시면, 답변 드리도록 하겠습니다.

★읽어주셔서 감사합니★

안녕하세요! 오늘은 데이터 분석에서 자주 활용하는 주피터 노트북(Jupyter Notebook) 을 사용하는 방법에 대해서 포스팅 하겠습니다.

• 주피터 노트북이란?

대화형 컴퓨팅 환경을 제공하는 오픈 소스 웹 기반 플랫폼입니다.

• 주피터 노트북의 장점

1. 주피터 노트북은 대화형 인터페이스를 제공하고 있기 때문에 결과를 즉시 확인할 수 있습니다.

※ 사진 속 예시는 제가 작성한 웹툰 데이터 분석 코드의 일부입니다.

2. 주피터 노트북은 시각화 및 그래프를 지원하고 있기 때문에 노트북에 바로 결과가 표시되어 시각적으로 확인하기 쉽습니다.

※ 사진 속 예시는 제가 작성한 웹툰 데이터 분석 코드의 일부입니다.

3. 주피터 노트북은 다른 사용자와 공유하기 쉽습니다.

 기본적인 파일 형태인 ipynb는 GitHub 등의 협업 플랫폼에서 공유가 가능하기 때문에 협업하기 어렵지 않습니다.

또한 HTML 파일로 내보내기가 가능하기 때문에 결과물과 함께 공유가 가능하며, HTML 파일이기 때문에 다른 사용자가 열어보기 쉽습니다.

• 주피터 노트북의 사용처

주피터 노트북은 데이터 분석 라이브러리를 모두 사용할 수 있고, 분석 후 시각화 작업이 수월하기 때문에 데이터 분석에서 많이 활용되고 있습니다.

또한 머신 러닝, 딥러닝 모델 학습이 가능하기 때문에 해당 분야에서도 자주 활용하고 있습니다.

• 주피터 노트북 설치 및 실행하기

파이썬이 설치되신 분들은 아주 쉽게 주피터 노트북을 설치할 수 있습니다!

설치 및 실행 과정은 아래와 같습니다.

1. cmd 창을 여신 후에 pip install jupyter notebook 을 실행해주시면 됩니다.

※ cmd 창은 윈도우 검색에서 cmd라고 검색하시면 나오는 명령 프롬포트를 의미합니다.

2. 주피터 노트북을 실행하고자 하는 폴더로 이동합니다.

주피터 노트북은 같은 폴더에 함께 있는 파일만 인식하는 경우가 많기 때문에 폴더를 잘 선택해야 합니다.

3. 폴더의 빈 공간에 Shift+마우스 우클릭을 실행한 후, Power Shell 창을 열어줍니다.

※ 높은 버전의 Window에서는 '더 많은 옵션 표시'를 누르면 Power Shell 창 열기 버튼이 나타납니다.

4. Power Shell 창에 jupyter notebook 을 입력 후 실행해주시면 됩니다.

cmd에서 바로 실행하는 경우도 있는데, cmd보다 Power Shell의 기능이 더 강력하고 확장성이 뛰어나기 때문에 Power Shell로 실행하시는 것을 추천합니다!

5. 자동으로 주피터 노트북과 연결된 인터넷 창이 뜨면 실행 완료입니다!

만약 자동으로 연결된 인터넷 창이 뜨지 않는다면, Power Shell 창에 나와있는 인터넷 주소를 복사하여 입력하시면 됩니다.

• 주피터 노트북에 코드 작성하기

이제 주피터 노트북을 실행하였으니, 코드를 작성해보도록 하겠습니다.

저는 보통 Python(파이썬) 코딩을 진행합니다만, R과 같이 다른 프로그래밍 언어도 사용가능합니다!

하지만 이 글에서는 파이썬 코드를 작성하는 법만 다루도록 하겠습니다.

주피터 노트북에서 파이썬 코드를 작성하는 방법은 아래와 같습니다.

1. 'New' 버튼을 클릭하여 파이썬 코드를 작성할 파일을 생성한다.

파일의 이름은 기본적으로 Untitled으로 생성되기 때문에 파일의 이름은 변경해주셔야 합니다.

※ Untitled을 더블 클릭하면 이름을 바로 변경할 수 있습니다.

2. 코드 셀에 원하는 코드를 작성해줍니다.

주피터 노트북은 기본적으로 코드를 실행하는 코드 셀을 제공해주고 있기 때문에 코드를 바로 작성해주시면 됩니다!

만약 코드가 아닌 일반 텍스트로 작성하고 싶은 경우에는 'm' 단축키를 누르거나, 상단의 'Code'를 'Markdown'으로 변경하여 코드 셀을 텍스트 셀로 변환해주시면 됩니다.

3. 코드가 작성 완료된 셀을 실행시켜줍니다.

코드 셀을 실행하는 방법은 총 3가지 방법이 있습니다.

1. Ctrl+Enter: 현재의 코드 셀만 실행을 하고, 새로운 코드 셀을 추가하지 않습니다.
2. 주피터 노트북의 실행 키를 누르는 방법: 현재의 코드 셀만 실행을 하고, 새로운 코드 셀을 추가합니다.
   ※ ▶Run 버튼이 실행 키 입니다.
3. Shift+Enter: 현재의 코드 셀만 실행을 하고, 새로운 코드 셀을 추가합니다.

▶▶ 이렇게 생긴 버튼을 누르게 되면 처음 코드 셀부터 마지막 코드 셀까지 순차적으로 실행이 됩니다.

실행된 순서는 In [ ]에서 [ ] 안의 숫자로 확인할 수 있고, 굳이 순서대로가 아닌 제가 원하는 셀만 실행시킬 수 있기 때문에 실행 순서를 잘 이용하면 코드를 효율적으로 작성할 수 있습니다!

4. 완성된 코드 저장합니다.

주피터 노트북에 코드를 모두 작성했다면, Ctrl+s 단축키를 사용하여 저장해주면 됩니다.

주피터 노트북은 어느 정도 실시간 저장이 보장되지만, 저장하는 습관 길러두시는 편이 좋습니다!

저장된 파일은 .ipynb 라는 확장자를 가지는데요.

더블 클릭으로 여는 것은 조금 어렵고, 주피터 노트북에서 열어보시거나 Github에 올려서 확인하실 수 있습니다!

주피터 노트북은 활용을 잘하면 정말 유용한 코드 플랫폼이기 때문에 사용법을 익혀두시는 걸 정말 추천드립니다!

제가 주피터 노트북을 활용하여 워드 클라우드, 토픽 모델링 데이터 분석을 진행한 예시는 아래 페이지에서 확인하실 수 있습니다!

https://yhj9855.com/entry/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D-%ED%95%9C%EA%B8%80%EB%A1%9C-%EC%9B%8C%EB%93%9C%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C-%EB%A7%8C%EB%93%A4%EA%B8%B0-feat%EB%84%A4%EC%9D%B4%EB%B2%84-%EB%89%B4%EC%8A%A4-%ED%81%AC%EB%A1%A4%EB%A7%81

https://yhj9855.com/entry/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D-%ED%95%9C%EA%B8%80-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%86%A0%ED%94%BD-%EB%AA%A8%EB%8D%B8%EB%A7%81-%EC%A7%84%ED%96%89%ED%95%98%EA%B8%B0

궁금한 부분이 있으신 분들은 댓글로 남겨주시면, 답변 드리도록 하겠습니다.

★읽어주셔서 감사합니다★

안녕하세요.
오늘은 크롤링을 진행하기 위해 반드시 필요한 개발자 도구를 사용하는 법에 대해서 포스팅 하겠습니다.
 

• 크롬 개발자 도구란?

크롬 브라우저에 직접 내장된 웹 개발 도구로, 웹 페이지의 HTML 구조를 빠르게 확인할 수 있습니다.
크롤링을 진행할 때, 웹 페이지의 HTML 구조를 꼭 알아야하기 때문에 크롬 개발자 도구를 자주 사용합니다.
 

• 크롬 개발자 도구 여는 방법

1. 마우스 우클릭 → '검사' 클릭
2. '제어' → '도구 더보기' → '개발자 도구'
3. 여기서 제어는 크롬 내 X(창닫기 버튼) 아래에 있는 세로로 된 . 세 개를 의미합니다.
4. F12 버튼 클릭
5. Ctrl+Shift+I

이렇게 총 4가지 방법이 있는데, 저는 F12를 가장 많이 사용합니다!

• 개발자 도구로 빠르게 원하는 구간 찾기

개발자 도구 태그를 하나씩 열며, 구조를 확인하는 것도 좋지만 원하는 부분을 빨리 찾고 싶을 때는 아래의 그림처럼 사용합니다.
아래 그림은 네이버 뉴스에서 개발자 도구를 연 상태입니다.

1. 개발자 도구를 연 후, 그림에서 보이는 부분을 클릭 혹은 Ctrl+Shift+C
2. HTML 구조 확인을 원하는 구간 클릭
3. 개발자 도구에서 파란색으로 표시된 부분 확인

• 개발자 도구에서 원하는 HTML 요소 가지고 오기

개발자 도구에서 원하는 구간의 HTML 구조를 찾았으면, 해당 구조에서 원하는 요소를 가져올 수 있습니다.
 
class, id, href 등 개발자 도구 내 직접 적혀 있는 부분을 가져오고 싶을 경우에는 해당 부분 더블 클릭 → 복사를 통해 받아올 수 있습니다.

 
해당 부분의 요소 전체, HTML 구조 전체, selector, XPath 등 내용이 많거나, 위치를 가져오고 싶은 경우에는 마우스 우클릭 → Copy(복사) → 원하시는 부분을 클릭을 통해 받아올 수 있습니다.

• 개발자 도구 꺼짐 현상 해결

개발자 도구가 유지되지 않고 꺼지는 현상이 나타나는 경우가 있습니다.
이런 경우는 대부분 크롬 자체 문제인 경우가 많습니다.

1. 크롬을 껐다가 다시 시작
2. 크롬을 최신으로 업데이트
3. 크롬을 삭제했다가 다시 설치

위의 3가지 방법이면 개발자 도구 꺼짐 현상을 해결할 수 있습니다.
저는 개인적으로 크롬 업데이트로 가장 많이 해결을 했던 것 같아요!
 

TIP : HTML 요소 내 띄어쓰기 처리

class, id 등 요소의 이름을 사용하여 크롤링을 진행할 때, 그대로 복사 → 붙여 넣기를 진행해도 요소를 찾을 수 없다는 오류가 나오는 경우가 있습니다.
그럴 경우는 보통 이름 내 띄어쓰기 때문일 확률이 높습니다.
개발자 도구에서는 띄어쓰기를 그대로 사용하는 것처럼 보이지만, 실제로는 띄어쓰기 대신 '.' 을 사용하고 있습니다.
해당 부분은 개발자 도구에서도 확인할 수 있는데요

위의 그림처럼 개발자 도구 내에서는 class의 이름이 'section_list_ranking_press _rankingList' 으로 띄어쓰기가 존재하지만, 영역을 표시해보면 'section_list_ranking_press._rankingList' 으로 표기되는 것을 볼 수 있습니다.
파이썬(python)으로 크롤링을 진행할 때, 요소의 이름 내 띄어쓰기가 있다면 띄어쓰기 → . 으로 교체해야 오류 없이 진행할 수 있습니다.
.
개발자 도구를 활용해서 네이버 뉴스를 크롤링 하는 예시는 아래 페이지에서 확인할 수 있습니다!
https://yhj9855.com/entry/Crawling-%EB%84%A4%EC%9D%B4%EB%B2%84-%EB%89%B4%EC%8A%A4-%ED%81%AC%EB%A1%A4%EB%A7%81-1

 
궁금한 부분이 있으신 분들은 댓글로 남겨주시면, 답변 드리도록 하겠습니다.

★읽어주셔서 감사합니다★