꾸준히 하고싶은 개발자

kafka -MOM(Message Oriented Midden) 소프트웨어 중 하나로서 대규모 발생하는 메시지성 데이터를 비동기 방식으로 중계하는 역할을 한 다. -원천 시스템으로 부터 대규모 트랜젝션 데이터가 발생 했을 때 중간에 데이터를 버퍼링 하면서 타깃 시스템에 안정적으로 전송해 주는 중간 시스템이 Kafka 다 -2011년 처음으로 링크드인에서 개발 되면서 2011년 6월에 아파치 인큐레이터에 등록 됬으며 불과 1년 만에 2012년 10월 아파치 최상위 프로젝트로 승격된다. kafka 아키텍처 카프카는 클러스터는 방식은 세가지 아키텍처 로 구성이 가능하며 이때 주키퍼를 사용해야한다. 1대의 Kafka를 설치 하고 1개의 Broker만 구성한 아키택처 이다. 대량의 발행/소비 요건이 없고 업부 도..

Storm -스톰은 모든 데이터를 인메모리 상에서 병렬 처리하기위한 소프트웨어다.(실시간 스트리밍 데이터 분석 솔루션) -분산 처리 하기 위한 강력한 기능 (분리,정제 통합,집계 등) 과 아키텍처도 제공한다. -실시간 분산 처리 유형으로는 데이터 발생과 동시에 처리하는 완전 실시간 방식과 발생한 데이터를 적재한 후 빠르게 배치를 실행하는 마이크로 배치 방식이있다. -전자에 해당하는 완전 실시간 방식으로 조금의 레이턴시도 허용되지 않는 아키텍처를 적용한다. -스톰은 지난 2011년 트위터 가 백타이프라는 회사 로 부터 인수했고, 곧바로 오픈소스 프로젝트로 제공했다. 스톰 아키텍처 Nimbus 자바 프로그램 으로 구성된 Topology jar를 배포하기 위해 주키퍼로 부터 Supervisor 정보를 알아낸다..

실시간 로그 분석에서는 데이터는 작지만 대량으로 발생하는 메시지성 데이터를 실시간으로 분석(집계,분류,관계등) 처리하며 해당결과를 인 메모리에 저장해 주변 시스템과 빠르게 공유한다. 이때대량의 메시지를 데이터를 영구 저장하기 위해 하둡을 직접 이용하지 않는 이유는 유입된 작은 메시지 한건을 곧바로 하둡에 저장할 경우 한개 의 수적으로 늘어나고 이로 인해 하둡 클러스터에 지나친 오버헤드가 발생하기 때문이며 이런 문제를 해결하기 위해서 중간에 메시지를 특정 크기로 모았다가 한꺼번에 적재하거나 대규모 트랜잭션 데이터를 처리하는 최적화된 칼럼지향형 NOSQL 데이터 베이스를 주로 사용한다. HBase -NoSQL 데이터 베이스들을 데이터를 키/값(Key / value) 구조로 단순화하고 컬럼 또는 도큐먼트 형식..

수집을 했다면 데이터를 어디에 어떻게 저장할 것인가를 다룬다. -수집한 데이터는 특징에 따라서 처리하는 방식과 적재 하는 위치에 따라서 달라진다. -데이터의 발생주기 에따라 일괄 배치성 데이터인지 실시간 데이터 인지 판단하고 데이터의 형식에 따라 가공 처리나 사전 검증 작업을 할 것인지도 판단해야한다. 내/외부 원천 데이터는 정형데이터와 반전형데이터 비정형데이터로 나뉜다. 적재 저장소는 배치성 처리(대용량) 와 실시간 처리(메시지)에따라서 2가지 로나누어진다. (1) 정형 데이터(structured data) 정형 데이터(structured data)는 정형화된 스키마(형태) 구조 기반의 형태를 가지고 RDB 및 스프레드시트 등과 같이 고정된 필드에 저장되며 값과 형식에서 일관성을 가 지는 데이터를 말한..

코드 year = int(input())# 입력할 연도을 입력해주세요. if ((year%4==0 and year%100!=0) or year%400==0): # 4년으로 나누어 지면서 이면서 100년으로 나누어지지 않는 년과 또는 400년으로 나누어지면 윤년이다. print("1") # 윤년이 맞으면 1이다 else: print("0")#윤년이 아니면 0이다.

수집->적재-> 처리/탐색 ->분석/응용 =>분석및 응용에서 잘못된부분있으면 처리/탐색으로 가서 다시 작업한다. 빅 데이터 수집 시스템 구축은 수집에서부터 시작하며 빅 데이터 프로젝트에서 여러 공정 단계가 있는데 그중 수집이 전체 공정 과정에 절반이상을 차지한다. 빅데이터 수집은 내부 전체 시스템에서 부터 외부 시스템(SNS,포털,정부기관)에 이르기까지 매우 광범위하고 다양하다. 프로젝트 초기에는 수집 대상 시스템을 선정하고 그에 따른 연동 규약을 협의 및 분석하는 데 엄청난 리소스가 투입되며 또한 수집 실행 단계에서 업무 요건과 환경의 변화로 이전 단계인 수집 계획 수립으로 다시 돌아가는 경우가 빈번하게 발생되며 그로 인해 그계획과 실행단계가 여러차례 반복되서 수집 인터페이스가 빈번히 수정되는 어려움이..

cd (change directory) 경로 이동 절대 경로와 상대 경로로 이동 가능하다. ls 목록보기 ls -l 목록 자세히 보기 pwd (print working directory) 현재 작업중인 디렉토리 정보 출력 cp (copy) 파일 혹은 디렉토리를 복사 디렉토리를 복사할때는 -r 옵션을 주어야한다. mv (move) 파일 혹은 디렉토리 이동 실제로 원하는 위치로 이동할때도 사용하지만, 이름을 변경하는 용도로도 사용한다. cp와는 달리 디렉토리를 이동할때도 별다른 옵션이 필요 없다. mkdir (make directory) 디렉토리 생성 -p 옵션을 주면 하위 디렉토리까지 한 번에 생성 가능하다. 아래 예제중 ls -R 옵션은 디렉토리의 하위목록까지 전부 보여주는 옵션인데, 내 경우 실제로 많..