콩이파싱기

콩이파싱기는 cong2.kr에서 개발한 웹 스크래핑(크롤링) 소프트웨어다.콩이파싱기 링크
정규식을 사용하여 일정한 패턴을 만족하는 데이터를 가져와 서버의 DB로 저장할수 있다.
저장된 DB를 사용자가 원하는 형태로 출력하여 보여줄 수 있으며 그누보드 기반으로 제작되었다.

콩이파싱기의 등장은 약 2018년으로 추정되며 수차례 업데이트가 되었다.
최근 업데이터는
2020년 7월경으로 서버의 속도 및 메모리사용량이 현저하게 줄어드는 업데이트가 진행이 되었다.
사용해 본 결과 2배이상 빨라진것을 체험할수 있었다.
2020년 11월경 그누보드외 워드프레스로 송출하는 프리미엄 버전(콩이파싱기 플러스)을 출시했다.

PHP5.6이상으로 최근PHP버전인 PHP7.4버전까지 지원하고 있다.
PHP버전은 서버와 사이트의 속도와 연관관계가 있어 중요한 부분이다.
mysql, mariadb등 보편적인 DB에 호환이 된다.
이온큐브 설치-파일소스의 일부를 암호화. 이것은 개발자가 핵심 기술을 노출시키지 않기위한 방어수단인 듯하다.

파싱, 크롤링 사용 예시.
날씨정보를 크롤링 파싱해서 자신만의 데이터로 재가공하여 보여주는 서비스.
특정 제품 혹은 상품, 부동산등을 주기적으로 크롤링하여 가격의 변동을 확인, 예측할수 있는 서비스.
기타 일정한 패턴으로 변화하거나 바뀌는것을 가져와서 서버에 저장하여 사용자 설정에 맞게 보여주는 서비스.

한번 설정으로 특정하게 약속된 내용을 가져올수 있으므로 인력과 시간을 감축할수 있다.
스케쥴 서버 설정으로 24시간 원하는 시간에 작동 시킬수 있다.
대상사이트를 사용자가 추가하여 사용할 수 있다.
플러그인을 추가하여 기능적 확장이 가능하다.

서버용 프로그램으로 개인컴퓨터에서 작동하지 않는다.
이온큐브설치 및 서버용 프로그램으로 설치가 다소 까다롭다.
서버비용 및 호스팅비용, 도메인 비용이 든다.
정규식 패턴을 사용하므로 정규표현식을 사용할 수 있어야 한다.
정규표현식에 대한 설명은 다소 자세히 설명을 하고 있다.콩이파싱기 정규표현식 강좌
그누보드기반에서만 적용이 되는점 아쉽다.

파싱(parsing)은 쉽게말해 문장이나 데이터문자열(html, json 등)에서 원하는 데이터를 분석하여 추출하는 기술을 말합니다.
특정한 패턴과 규칙, 순서를 이용하여 자신이 필요로 하는 데이터를 추출해내는 작업입니다.
엄격히 말해서 크롤링(crawling)은 웹데이터를 가져오는 행위 자체를 의미하며 파싱은 크롤링으로 가져온 데이터에서 필요한 정보를 추출하는 것을 말합니다.

스크래핑(Scraping)은 크롤링과 파싱을 아우르는 말 정도로 이해할 수 있습니다.
국내에서는 크롤링과 파싱을 구분하지 않고 일반적으로 '파싱' 혹은 '크롤링'이라 칭하는 경우가 많습니다.

콩이파싱기는 사실 따지고 보면 스크래퍼라고 해야 맞을것입니다.