mHopper
공간 빅데이터 플랫폼

All-in-One 플랫폼

  • ETL&Workflow 기반 통합된 플랫폼 환경하에 공간/비공간 데이터 수집.가공.분석.geo-BI 서비스를 단일체계로 제공하는 All-in-one 플랫폼으로 데이터 데이터 생성 및 관리체계의 일원화 제공
  • 당사 대용량 공간 데이터 분산처리 특허를 기반으로 분산파일 데이터베이스 관리체계(NoSQL)를 이용하여 최적의 공간분석/데이터 처리 가능한 공간빅데이터 저장소 제공 및 빅데이터 분석 효율성/생산성 획기적 향상

적용사례

SKT 실시간 유동인구 생성/제공 플랫폼 SKT 5G 무선품질 분석 플랫폼 SKT OSS D/W 분석 플랫폼
STK/인도 바티 그룹 무선품질 분석 플랫폼 한전KDN 공간 빅데이터 플랫폼 국토교통부 공간빅데이터 플랫폼

Spatial Big Data Innovator

  • 데이터 수집·가공·융합·적재·분석·서비스 단계를 통합한 All-in-One 플랫폼
  • 수집부터 공간분석까지 데이터 사전 품질 검증
  • 빅데이터 분석 모델을 위한 다양한 템플릿
  • 시계열, 3D, 다차원 Visualization

데이터 품질 점검

  • 데이터 추출.가공.적재(ETL)와 작업처리과정을 통합하여 수집된 데이터 누락 방지
  • 가공.융합.저장 시 데이터 품질 개선을 위하여 적재 현황을 실시간 모니터링
  • 최초 수집부터 가공.적재.분석단계까지 DB등록전에 데이터 적재 규정에 맞는 구조, 타입, 값의 유효성을 검사하는 품질 검증을 시행
  • 장시간 소요되는 데이터 등록의 시행착오 방지

데이터 통계관리 및 생성 계보 추적

  • 변환 단계마다 메타 데이터를 등록하고 데이터의 유입과 유출을 관리(Tracker)
  • 데이터의 흐름 및 계보 추적(Data Lineage)을 통해 데이터 생성 경로를 관리
유입/유출 추적(Tracker) 및 통계
  • 시스템상에 운영되고 있는 전체 데이터의 실시간 메타정보와 통계정보를 모니터링 체계를 통해 관리
  • 데이터의 저장된 위치와 구조화 정보를 관리하며 사용자 속성을 관리
데이터 계보 관리(Data Lineage)
  • 각 단계별로 생성된 데이터에 대한 계보관리(Data Lineage)를 통해 해당 데이터 생성에 활용된 세부 출처 정보와 접근정보, 시스템 정보, 데이터 스키마 정보 및 가공.융합에 사용된 비즈니스 정보 등을 관리합니다.

사용자 설계·개발을 위한 분석 템플릿

  • Workflow와 ETL기술을 통합하여 플러그인 기반의 분석 프로세스를 설계

  • 웹상에서 마우스 드래그 앤 드롭만으로 분석 프로세스 설계 가능
  • 공간분석 템플릿을 저장, 복제, 배포, 공유할 수 있고 템플릿 배포 전 유효성 검증

템플릿을 활용한 분석 모델 예시 (행사 개최 시 참석 관객 분석)

주요 분석 템플릿 컴포넌트

  • 분석 템플릿에서 기초자료 수집에 필요한 배치수집, 실시간 수집 컴포넌트 제공
  • 데이터 전환에 필요한 변환 컴포턴트, 데이터 분석·통계 컴포넌트, 저장 컴포넌트 등 제공
  • 컴포넌트 제공으로 사용자가 직접 설계/개발 가능
Transform Spatial Analytics
데이터 타입 또는 값을 변환하는 도구로서 지오코딩, 위치변환 투영(Projection), 좌표계 변환 ConvexHull등의 기능을 제공합니다. 공간분석 및 통계처리 도구로서 데이터 조인·분류, 공간연산, 중첩분석, 버퍼링, 회귀분석, 공간자기상관분석, GWR, ML/AI(tensor flow)등의 기능을 제공합니다.
Sink Action
데이터베이스, HDFS, 시공간 빅데이터, ElasticSearch, postGIS, NoSQL, Oraclespatial 등에 저장합니다. 프로세스 단계별 실행도구로서 SQL, 데이터 이동·삭제 컴포넌트입니다.

다양한 시각화 및 성능 개선

  • 직접 공간 Hadoop에 접근하여 서비스하는 체계를 구축
  • 지도 서비스를 위한 전 처리 성능의 획기적인 개선
  • 빅데이터 결과를 다양하게 해석하고 서비스하는 고급지도 시각화 기법 제공

Hadoop자원 사용 모니터링과 통계

  • 대쉬보드 기능을 이용하여 Hadoop 시스템 자원 모니터링 수행하여 시스템 자원 사용 내역 확인
  • 공간 빅테이터의 통계분석 내용을 탄력적 제공
효율적인 리소스 관리
Hadoop 시스템의 실시간 자원 현황과 사용자별 리소스 사용 현황 을 모니터링하여 시스템의 부하등을 조정할 수 있어 효율적인 리소스 관리를 가능하게 합니다.
통계분석
공간자료와 속성자료의 통계현황을 제공하고 선택된 정보에 대한 통계 현황을 제공하며, 대쉬보드의 자료 분포 선택시 공간정보와 연동되어 분포 현황을 표시합니다.

아키텍쳐

  • 자료 수집·연계·분석·시각화를 위해 HDFS기반으로 아키텍쳐 구성
  • 공간 빅데이터 저장 및 분석 도구인 Orange GBD와 결합하여 최신 기술의 빅데이터 플랫폼 구성

권장 설치 환경

  • OS : LINUX 64bit CentOS 6 이상
권장 Hardware Specification - 관리노드 최소 Hardware Specification - 관리노드
  • 2.5 GHz, 8 Core 2 CPU
  • 128 GB(16GB x 8) DDR4
  • 600GB x 4 RAID1 Internal Disk
  • Disk : 2TB x 2 RAID1
  • 관리 Node 와 Data Node 별도 구성
  • 1.7 GHz, 6 Core 2 CPU
  • 64 GB(16GB x 4) DDR4
  • 120GB x 2 RAID1 Internal Disk
  • Disk : 2TB x 2 RAID1
  • 관리 Node 와 Data Node 별도 구성
권장 Hardware Specification - Data 노드 최소 Hardware Specification - Data 노드
  • 2.5 GHz, 8 Core 2 CPU
  • 128 GB(16GB x 8) DDR4
  • 600GB x 2 RAID1 Internal Disk
  • Disk : 2TB x 2 RAID1
  • 1.7 GHz, 6 Core 2 CPU
  • 64 GB(16GB x 4) DDR4
  • 120GB x 2 RAID1 Internal Disk
  • Disk : 2TB x 2 RAID1

Orange mHopper와 GRE 가 적용된 국토부 소개 영상