브라우저 자동화로 크롤링하기

브라우저 자동화 도구와 헤드리스 실행

크롤링 1-2 · 브라우저 제어편

크롤링 파트 목차

1강에서 배울 전체 흐름

1-1 취미에서 전문가로 — 브라우저 제어 vs HTTP 요청 이해하기

1-2 브라우저 제어로 크롤링하기 1편

1-3 브라우저 제어로 크롤링하기 2편

1-4 HTTP 요청으로 크롤링하기

1-5 AI 에이전트 기능 - 스킬(skill) 이란?

1-6 회사에서도 몰래 가능한 '크롤링 만능 스킬' 세팅

1-7 크롤링 만능 스킬로 데이터 수집 마스터하기

학습 목표

이 강을 다 들으면

1 브라우저를 자동으로 조종하는 3가지 도구를 안다

2 헤드리스(Headless) — 화면 없이 브라우저를 돌리는 게 무슨 뜻인지 안다

3 내 언어(Python / Node.js)에 맞는 도구를 직접 설치할 수 있다

1. 브라우저 자동화

코드가 브라우저를 대신 조종한다

사람이 하는 일

브라우저 열기 ↓ 주소창에 URL 입력 ↓ 검색어 타이핑 ↓ 결과 복사 → 엑셀

코드가 하는 일

browser.open(url) ↓ input.type("서울 호텔") ↓ button.click() ↓ data = page.get_text()

💡 사람이 손으로 하는 모든 동작을 코드 한 줄로 대체합니다.

2. 브라우저 자동화 도구

언어별 대표 라이브러리

Python

Selenium

가장 오래된 브라우저 자동화 도구.
전통적인 웹 테스트·크롤링에 널리 쓰임.

Node.js

Puppeteer

구글이 만든 Chromium 전용 자동화 도구.
빠르고 가벼우며 Node 생태계에 잘 녹아듦.

Python / Node 공통

Playwright

마이크로소프트가 만든 차세대 도구.
Chrome·Firefox·Safari 모두 지원.

🎭 Playwright는 Python과 Node.js 둘 다 쓸 수 있어 — 언어에 구애받지 않습니다.

도구 비교

세 도구 한눈에 보기

항목	Selenium	Puppeteer	Playwright
언어	Python (주)	Node.js	Python · Node.js
브라우저	Chrome·Firefox·Edge	Chromium	Chrome·Firefox·Safari
헤드리스 지원	✅	✅	✅
최신 인기도	⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐⭐
난이도	보통	쉬움	쉬움

💡 처음 시작한다면 Playwright를 추천 — Python도 Node도 같은 문법으로 배울 수 있습니다.

🖥️

헤드리스(Headless)란?

화면(Head)이 없는 브라우저 실행 방식

3. 헤드리스(Headless)

화면 없이 돌아가는 브라우저

일반 모드 (Headed)

실제 창이 열림 ↓ 화면에 보임 ↓ 사람이 볼 수 있음

개발·디버깅할 때 주로 사용

헤드리스 모드 (Headless)

창이 열리지 않음 ↓ 화면에 안 보임 ↓ 백그라운드에서 실행

서버·자동화 배포 시 사용

💡 브라우저가 화면 없이 돌아가는 것 — 결과는 똑같이 나오지만 훨씬 빠르고 가볍습니다.

헤드리스 비유

TV 없이 공장에서 방송 만들기

일반 브라우저 "TV를 켜서 눈으로 보면서 조작"

화면이 있으니 직접 확인 가능

헤드리스 브라우저 "TV 없이 신호만 처리하는 공장"

화면은 없지만 동작은 동일 — 더 빠름

🏭 서버에는 모니터가 없어도 됩니다 — 그래서 헤드리스 모드가 실무 크롤링의 기본입니다.

📦

설치 방법

명령어 한 줄이면 끝

4. 설치 — Python

Selenium 설치

터미널(명령 프롬프트)에 입력

pip install selenium

pip 란?

Python 전용 패키지 설치 도구.
파이썬을 설치하면 자동으로 같이 옵니다.

패키지 목록은 어디서?

pypi.org
Python 라이브러리를 모아놓은 공식 창고

4. 설치 — Node.js

Puppeteer 설치

터미널에 입력

npm install puppeteer

npm 이란?

Node.js 전용 패키지 설치 도구.
Node.js를 설치하면 자동으로 같이 옵니다.

패키지 목록은 어디서?

npmjs.com
Node.js 패키지를 모아놓은 공식 창고

4. 설치 — 공통 (Playwright)

Playwright 설치

Python

pip install playwright

Node.js

npm install playwright

🎭 Playwright는 같은 이름, 같은 명령어 — pip 쓰면 Python용, npm 쓰면 Node용이 설치됩니다.

패키지 저장소

pip · npm 핵심 비교

항목	pip (Python)	npm (Node.js)
사이트	pypi.org	npmjs.com
설치 명령	pip install 패키지명	npm install 패키지명
대표 라이브러리	selenium · playwright · requests	puppeteer · playwright · axios
언어	Python	Node.js (JavaScript)

💡 패키지 이름만 알면 → 사이트 검색 → 명령어 복사 → 붙여넣기. 끝입니다.

5. 요약

핵심 한 줄 정리

포인트	한 줄 정리
브라우저 자동화	코드로 브라우저를 사람처럼 조종하는 것
Python 도구	Selenium — pip install selenium
Node.js 도구	Puppeteer — npm install puppeteer
공통 도구	Playwright — pip / npm 모두 설치 가능
헤드리스	화면 없이 백그라운드에서 브라우저 실행
패키지 창고	pip → pypi.org / npm → npmjs.com

🎬 NEXT

다음 강 예고

1-3강 — 브라우저 제어로 크롤링하기 2편
브라우저 제어 방식으로 데이터를 수집하는 실전 흐름