1. 옥토파스, Octoparse: AI 기반 노코드 웹 데이터 추출 도구 | 인벤 로스트아크 모바일 기사 데이터 수집 활용 사례

옥토파스(Octoparse.ai) 분석: AI 기반 노코드 웹 데이터 추출 도구

Octoparse.ai는 웹 데이터 추출을 위한 노코드 플랫폼으로,

사용자가 코딩 없이 웹페이지에서 정보를 수집할 수 있도록 설계되었습니다.

1. 도구 요약

• 한 줄 요약: AI가 웹사이트에서 데이터를 자동으로 추출해 주는 AI 지원 노코드 웹 스크래퍼입니다.
• 상세 설명:
  • 접근성: 설치형 UI를 제공하며, 한국어 지원과 상세 가이드 덕분에 진입 장벽이 낮은 편입니다.
  • 활용 난이도: 기본적인 데이터 추출은 쉽지만, 복잡한 웹페이지 구조나 반복적인 작업에는 웹 구조(HTML)에 대한 이해가 필수적입니다.
  • 고급 기능: XPath, Regex, AJAX 타임아웃 같은 옵션으로 복잡한 작업을 정밀하게 제어할 수 있지만, 초보자에게는 인터페이스가 다소 복잡하게 느껴질 수 있습니다.
  • 유의 사항: 복잡한 커스터마이징(페이지 클릭, 로드 시간 조정, 무한 스크롤 등)이 필요할 경우 많은 시간이 소요될 수 있습니다.

2. 핵심 기능: 깔끔하게 한눈에 보기

기능	설명
AI 기반 자동 추출	AI가 웹페이지 구조를 분석해 데이터를 자동으로 추출합니다.
정밀한 데이터 필터링	XPath, Regex 같은 고급 설정으로 특정 데이터를 정확하게 걸러낼 수 있습니다.
반복 작업 커스터마이징	클릭, 로드 시간 조정, 무한 스크롤 등 반복적인 웹페이지 탐색을 설정할 수 있습니다.
동적 콘텐츠 처리	AJAX(Asynchronous JavaScript and XML)나 동적으로 로딩되는 콘텐츠도 타임아웃 설정으로 처리 가능합니다.
데이터 내보내기	추출한 데이터를 CSV, Excel 등 다양한 형식으로 내보낼 수 있습니다.
클라우드 실행 & 스케줄링	클라우드에서 작업을 자동 실행하고 스케줄을 설정해둘 수 있습니다.

3. 업무 활용 분야 & 한계점

3.1. 가장 적합한 활용 분야

• 웹페이지 크롤링에 특화: 특정 웹페이지에 있는 데이터를 추출하는 데 유용합니다.
• 기존에 탑재된 템플릿 활용: 지정된 템플릿을 사용하면 웹 구조를 파악하지 않아도 비교적 쉽게 크롤링할 수 있습니다.
• 단순 데이터 추출: 페이지 로드 시 바로 보이는 데이터를 가져오는 경우 사용하기 용이합니다. (비개발자 기준)

 

3.2. 활용 한계점

• 복잡한 다단계 크롤링: 여러 페이지를 타고 들어가야 하는 구조에서는 웹 구조를 이해하지 못하면 어려움을 겪을 수 있습니다.
• 학습 곡선: 초보자가 능숙해지기까지 상당한 시간이 필요합니다.
• 설치형 UI: 웹 기반이 아니라 설치가 필요해 접근이 제한적일 수 있습니다.
• 키워드 기반 크롤링 어려움: 커스텀 페이지 크롤링의 경우에는 키워드를 기반으로 데이터를 검색하고 추출하는 작업은 어려울 것으로 예상됩니다.
• 대체재: Manus 같은 프롬프트를 사용하여 가져오는 방식의 더 단순한 대체 도구들도 있습니다.

4. 사용자별 관점 분석

사용자 유형	👍 장점	👎 단점
개발자 관점	- 웹 구조와 크롤링 개념에 익숙해 빠르게 적응 가능 - XPath, Regex 등 고급 기능으로 정밀 제어가 용이 - 코딩 부담 없이 작업 가능	- 기존의 스크립팅 도구(예: Python의 Scrapy)에 비해 세밀한 제어가 필요할 때 다소 답답하게 느껴질 수 있습니다
비개발자 관점	- 코딩이 필요 없어 비교적 접근이 쉽습니다 - 상세한 가이드가 제공되어 학습에 도움	- 인터페이스가 복잡하게 느껴질 수 있습니다 - 웹 구조를 이해하지 못하면 웹사이트 변경 시 오류 발생 가능 - 익숙해지는 데 많은 시간 소요 - 실제 고난이도의 크롤링의 경우는 커스터마이징 난이도가 높습니다

5. 비용

• 무료: 14일 무료 트라이얼 제공 (신용카드 등록 필요) 
• 유료: 월 $83 (기능에 따라 가격 상이)
• 참고: 무료 버전은 기능이 제한적이며, 유료 플랜으로 업그레이드해야 클라우드 실행, 작업 예약 등의 고급 기능 사용이 가능합니다.

6. 기능 활용 가이드 

• 사용일자: 2025-09-03
  • 사용 예시는 2025-09-03에 작성된 내용이며,
    향후 서비스 업데이트에 따라 화면 구성이나 기능에 차이가 있을 수 있습니다.
  • Octoparse AI는 설치형 UI를 제공하고 있어, 다운로드 과정이 필요합니다.
  • 과정 후에 나오는 화면은 아래와 같습니다.

6.1. 기존 탑재된 템플릿 기능 사용 과정

1️⃣ 템플릿 창으로 이동하여, 수집을 원하는 템플릿을 선택합니다.

• 옥토파스 자체에서 다양한 소셜 플랫폼 및 사이트 내의 크롤링 템플릿을 제공하고 있습니다.

 

2️⃣ 사용을 원하는 템플릿을 선택한 후, 아래와 같이 데이터 수집을 원하는 조건(키워드)을 입력합니다.

예시) 트위터 스크래퍼 템플릿 사용 시, 수집을 원하는 관련 키워드를 입력

 

3️⃣ 시작을 눌러, 크롤링 작업을 시작하면 수집이 진행됩니다.

 

4️⃣ 수집이 완료된 후에는, 원하는 형태로 수집된 데이터를 내보내는 것이 가능합니다.

 

 

6.2. 사용 사례: 인벤 로스트아크 모바일 기사 데이터 수집

1️⃣ 데이터 수집을 원하는 페이지에 접속합니다.

2️⃣ 페이지에 접속하면, AI가 자동으로 웹페이지 정보를 읽고 자동으로 인식을 진행합니다.

 

3️⃣ AI가 로드된 페이지의 요소값들을 읽어오고, 수집될 정보로 예상되는 데이터 필드가 미리보기로 하단에 나타납니다.

 

4️⃣ AI는 접속된 웹페이지의 기본 구조를 읽어오기 때문에, 원하는 방식의 데이터를 수집하기 위해서는 어느정도의 커스터마이징 과정이 필요합니다.

• 이 과정에서의 약간의 크롤링 지식이 필요합니다.
• 아래의 화면과 같이, 어떻게 크롤링이 진행되어야 하는지에 대한 워크플로우를 설정할 수 있습니다.
  • 이 과정에서 웹페이지에서 수집을 원하는 데이터 영역을 선택하고, 데이터 추출을 진행해야 하는지, 해당 부분을 클릭하여야 하는지 설정할 수 있습니다.
    (뉴스 기사와 같은 경우에는 내용과 댓글의 내용을 가져오기 위해서, 기사 제목을 클릭하는 과정이 필요한 것처럼) 

 

5️⃣ 수집하고자 하는 내용을 직접 클릭해가며, 워크플로우를 설정해나갑니다.

 

• 해당 워크플로우를 통해 수집될 데이터 값을 하단에서 미리 볼 수 있습니다.
  댓글 내용은 부적절한 내용이 포함되어 있어 블러 처리하였습니다.

 

6️⃣ 수집될 데이터 형태에서, 불필요한 영역의 필드는 아래와 같이 삭제하거나, 필드명을 수정하는 것이 가능합니다.

 

7️⃣ 페이지 상단에서, '저장'을 클릭하여 데이터를 수집 및 저장할 수 있습니다.