꾸준히 하고싶은 개발자

빅데이터 처리/탐색(휴) 본문

빅데이터 플랫폼

빅데이터 처리/탐색(휴)

프라우스 2022. 10. 27. 19:41

-빅데이터 탐색/분석은 장기간의 반복 작업이면서 그 과정에 있어 많은 도구 들이 활용된다. 주로 하둡을 기반으로 하이브 ,피그,우지,스쿱,스파크,등이 해당된다.

-일반 분석가 또는 업무 담당자 들이 각 서버에 직접 접속해 사용하기에는 어려움이 있다. 빅데이터 기술이 성숙 해지면서 이런 기술의 복잡도를 숨기고 접근성과 편의성을 높인 소프트웨어들이 만들어지는데 그중 하나가 바로 클라우데라에서 만든 휴(Hue)다

- 휴는 다양한 하둡의 에코 시스템의 기능들을 웹 UI로 통합 제공한다.

휴 아키텍처 구성요소

휴 아키텍처

휴는 하둡 에코시스템들을 통합하기위해 자체 플러그인을 설치하거나 API를 연동해서 에코시스템들의 주요 기능들을 웹 UI로 제공한다.

휴의 데이터베이스 에서는 휴에 로그인하는 사용자의 계정 관리와 휴에서 사용할 컴포넌트(잡,하이브 피그,우지 등)메타정보를 관리한다.

 

휴에서는 HDFS,Hbase,하이브, 암팔라를 편리하게 사용하기위한 웹 에디터를 제공한다.