솔루션
빅데이터 분석
빅데이터 분석
빅데이터 분석은 방대하고 복잡한 정형/비정형 데이터의 수집과 저장 및 분석 그리고 다양한
뷰를 통한 정보 제공의 4가지 핵심 기능을 기본으로 유의미한 정보를 사용자에게 제공합니다.
3SOFTPLUS는 전통적인 방식의 데이터 환경에서 처리하게 힘들었던 대용량 데이터를 DW/BI뿐만 아니라
빅데이터 분석을 위해 설계된 고성능의 데이터 분석 플랫폼인 HP Vertica와 비정형데이터의 미인지정보에
대한 가치를 높여주는 마이닝 분석 기술을 이용하여 의미개체 추출, 주제어 분석, 연관정보, 감성정보를 제공합니다.
OpenText Vertica Overview
OpenText Vertica Key Features

MPP(Massively Parallel Processing)

별도의 마스터 노드를 분리하지 않고 모든 노드가 동일한 역할을 수행하는 pure-MPP 구조
클러스터 구성이나 노드 구성에 특별한 하드웨어나 소프트웨어가 필요 없음
복잡한 구성이 불필요하여 클러스터 구성 과정이 매우 간단 하고 빠름

Column 기반 및 압축으로 I/O 최소화

Micro Focus Vertica 는 Columnar DBMS 아키텍처로 Query 수행에 필요한 Column만 읽어 올 수 있도록 설계됨
Query시 모든 열을 읽어와야 하는 row 기반 DBMS에 비해 I/O 발생량을 획기적으로 감소시킴
내장된 12가지 데이터 인코딩 및 압축 알고리즘으로 90% 이상의 압축률 제공

고성능 및 고가용성

저장 데이터의 이중화 기능을 이용하여 성능 향상과 무중단 서비스 제공
실시간 BI 환경에서 메모리 기반 DB를 함께 사용하는 Hybrid store 아키텍처
테이블 Locking이 없는 동시 파일 적재 기법을 통한 병렬 최적화 적재 가능

편리한 관리 및 개발 용이성

워크로드 관리와 별도 비용 없이 Vertica Cluster내 저장하는 효율적인 백업 및 복구 방안 제공
ODBC/JDBC/ADO.net 등 표준 인터페이스 사용으로 ETL, BI, OLAP, CDC 등 다양한 툴과의 손쉬운 연동 가능
Big data 플랫폼에서 보다 향상된 분석을 할 수 있도록 Vertica에 내장된 표준 함수로 지원

선진적 Big Data/ Haoop 연동 방안

HDFS Connector를 이용하여 Hadoop 데이터에 대한 SQL 기반의 쉽고 빠른 액세스 가능
별도의 테이블 구조 생성 없이 key-value를 저장하고 SQL 기반으로 조회 가능
Hadoop 파일 시스템을 Vertica의 데이터 영역으로 사용하고 Vertica ANSI SQL 모두 사용 가능
비정형 데이터 추출
신속하고 정확한 재체 정보 추출
기본적인 사전 및 규칙 기반 뿐만 아니라 고수준의 통계, 학습을 이용한 정확한 개체명 인식 정보를 제공
개체명 정보는 TAG, BIF, XML 등의 형식으로 다양하게 결과를 제공
텍스트 마이닝 기반 주제어 추출
경험적인 가중치를 부여하여 ‘문서의 요약’, ‘문서의 군집화’ 등 텍스트 마이닝 기법의 기본정보로 활용할 수 있는
   ‘핵심용어’, ‘핵심어구’ 등 고수준의 메타 데이터 추출을 제공
최소의 주제어로 문서의 내용을 보다 정확히 파악할 수 있고, 문서를 대표할 수 있음으로써 문서의 군집 시 속도 및
   성능 향상.
세밀한 분석방법을 통한 분석 신뢰도 증대
검색전문업체의 전문성으로 기존 구문분석의 오류를 보완한 한국어 형태소 분석기 기반의 특성 추출 및 감성분석 제공
구문분석 오류로 인해 발생할 수 있는 문제 보완
검색엔진에서 추출된 사용자 검색 로그를 바탕으로, 로그분석을 통한 사전 업데이트
Customers