IT분야에서 살아남기

IT기술이 새롭게 변하기 때문에 적어도 5년 단위로 새로운 기술을 배워야 한다. 자기 고유분야가 있겠지만 적어도 트렌드 정도는 알고 있어야 한다.

아침에 직원이 빅데이타 클라우드 서비스 교육을 다녀오겠다고 해서 무슨 내용인가 봤더니 아파치 제플린을 이용해서 빅데이터 분석을 하는 교육이였다. 그래서 제플린이 뭔가 하고 찾아 봤다. 그랬더니 디자인 분야에서 협업을 하기 위한 솔루션이라고 나와 있었다. 아파치에서 그런 것을 만드나 해서 좀더 검색했더니, 노트북이라는 개념을 이용하여 GUI로 빅데이터 프레임워크를 관리하는 솔루션이였다. 물론 협업 기능도 지원한다.  그 블로그를 읽다 보니 다시 스파크가 나온다. 그래서 다시 스파크가 뭔가 검색을 했더니, 빅데이터 프레임워크인 하둡의 맵 디듀스 작업의 속도를  개선하기 위해 디스크 기반이 아닌 메모리 기반으로 분석하는 기술이다.  일반적으로 이러한 작업은텍스트 기반 명령어 기반으로 수행하는데, 아파치 제플린은 웹 기반의 노트북 스타일 환경의 GUI로 처리가 가능하게 해주는 어플리케이션이다. 노트북 기반이라는 말도 이해가 되지 않았는데, 92년도 복학 당시에 사용했던 매스메티카가 노트북 기반의 GUI라고 해서 이해가 되었다. 

어쨌든 배워야 할 게 많다. 하지만 나이가 들어 쉽게 이해하기는 어렵다. 일부 소개의 자료는 블로그를 통해 한글로 접할 수 있지만 대부분의 자료는 영문으로 되어 영어 울렁증이 있는 나는 접근하기 쉽지 않다. 

아파치 제플린이란 무엇인가?

 

빅데이터의 미래, 하둡과 스파크의 관계는? [출처] 빅데이터의 미래, 하둡과 스파크의 관계는?|작성자 sundooedu
Deep Learning With Apache Spark — Part 1

Leave a Comment

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터가 어떻게 처리되는지 알아보세요.