티스토리

까딱이의 춤과 IT

검색하기

블로그 홈

까딱이의 춤과 IT

micropai.tistory.com/m

까딱이(micropai) 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

hive 에서 형변환 함수 오라클 등에서는 to_number 와 같은 함수를 지원하는데 그에 대해서 하이브는 cast 라는 함수를 지원한다.사용법은 다음과 같다. syntax> cast(컬럼 as 타입)타입은 int, double, string 과 같은 형태를 말한다. * 예시 select stddev_pop(cast(population as double)) stddev , variance(cast(population as double)) variance from lar_ca where population is not null; 기타로 stddev_pop 는 표준편차를variance 은 분산을 구하는 함수이다. 공감수 0 댓글수 0 2014. 12. 2.
하이브(hive) udf udf 란?hive에서 사용하는 function 을 사용자가 직접구현하는 사용자 정의 펑션(user-defined-function의 약자)이다.즉 user 하이브에서 사용할 function 을 구현하는 것이다. 일반 데이터베이스의 function 을(오라클 to_date, sum 등)을 직접 구현한다고 생각하면 된다. syntax>select () from ; 구현소스 @Description( name="SimpleUDFExample", value="returns 'even x' or return 'odd x', where x is whatever you give it (Int)", extended="SELECT simpleudfexample('world') from foo limit 1;" )class.. 공감수 1 댓글수 0 2014. 11. 25.
Hive 의 Serde 2 예제파일 : Serde 구현 기존방법권고방법비고차이점인터페이스를 상속하여 구현(implements)곧 Deprecated 예정 추상화 클래스를 상속하여 구현(extends)인터페이스에서 추상화 클래스로 변경됨(클래스 위치: org.apache.hadoop.hive.serde2)직렬화/역직렬화모두 구현시 상속SerDe 인터페이스 상속곧 Deprecated 예정 AbstractSerDe 추상화클래스 상속하여 구현(extends)동일 구현 메소드InitializegetSerializedClassserializedeserializegetObjectInspectorgetSerDeStats직렬화만 구현Serializer 인터페이스 상속AbstractSerializer 추상화클래스 상속하여 구현(extends)구현 .. 공감수 0 댓글수 0 2014. 11. 25.
Hive 의 Serde 1 Hive 의 Serde Serde 란 ?직렬화와 역직렬화를 뜻하며, HDFS 와 HIVE 간의 데이터 교환을 뜻한다.역직렬화(Deserializer)HDFS files ▶ InputFileFormat ▶ ▶ Deserializer ▶ Row objectHDFS 의 파일을 Hive 테이블에 저장 직렬화(Serializer)Row object ▶ Serializer ▶ ▶ OutputFileFormat ▶ HDFS filesHive 테이블의 정보를 HDFS 의 파일로 저장 공감수 2 댓글수 0 2014. 11. 25.
MapReduce 데이터 흐름 분석 test.txt 에 아래와 같은 데이터가 있다면1,2,1,2B,A,B,A3,3,2,3A,B,B,B $ hadoop fs -put test.txt /user/test.txt를 통해 hdpf 에 저장되어 있다 가정하자이때 아래와 같이 2개의 datanode 로 데이터가 분산되어 있다면 datanode 1의 데이터는1,2,1,2B,A,B,A datanode 2의 데이터는3,3,2,3A,B,B,B 이렇게 분산되어 있다라고 가정하자. 이 데이터의 최빈도(가장 많은 단어 mode)를 획득하려고 한다. 그래서 아래와 같이 구현했다고 가정하자mapper 에서는 각 데이터를 분할하고reduce 에서는 각 데이터의 최종합을 구하도록 mapreduce mapper 의 input 은 해당 데이터의 line 별로 입력된다.보통.. 공감수 0 댓글수 0 2014. 11. 25.
Mapper 클래스 구성 및 사용 Mapper 와 Reducer (Combiner도 Reducer 를 상속하여 구현한다) 는 job 에 의해 내부의 run 메소드가 실행된다. Mapper 의 경우 public void run(Context context) throws IOException, InterruptedException { setup(context); try { while (context.nextKeyValue()) { map(context.getCurrentKey(), context.getCurrentValue(), context); } } finally { cleanup(context); } } 위와 같은 로직이 동작하며, mapper 를 상속하여 구현하는 map 이 호출되기 전에 setup 이완료후에는 cleanup 이 호출.. 공감수 0 댓글수 0 2014. 11. 22.
여러 기능의 맵리듀스를 하나의 jar 로 묶을때 여러 기능의 맵리듀스를 하나의 jar 로 묶을때 다음과 같이 ProgramDriver 에 해당 class 들을 등록하고ProgramDriver 에 각 클래스를 등록한 class 를 jar 의 main 클래스로 잡아서 jar 로 압축한다. 실행시 해당 jar 에 등록된 alias 로 실행한다.$ hadoop jar analyserDriver.jar max public class AnalyserDriver { public static void main(String argv[]) { int exitCode = -1; ProgramDriver programDriver = new ProgramDriver(); try { programDriver.addClass("stand.. 공감수 0 댓글수 0 2014. 11. 22.
Hadoop 의 Counter 이야기 기본 카운터의 구현은 이전 포스트에서 다른적이 있다. hadoop 에서는 이미 counter 를 많이 사용하고 있다.hadoop 에 jar를 올려 실행하면 실행결과 최종에 나오는 값들이 모두 카운터를 통해 구현된 값이다. 해당 jar 실행시 아래와 같은 최종 결과가 나온다counter 는 총 43개 이며 해당 카운터에 mapreduce 프로그램이 동작할 사용한 주요 값들을 확인할 수 있다.대표적으로 map, combine, reduce 에 input 된 record 수와 output된 record 수를 확인 할 수 있있으며, 실행시간 shuffle 된 byte 수도 확인이 가능한다.이것을 통해 튜닝포인트를 잡을 수가 있게 된다. 기본 실행 결과 예시> combiner 를 구현하지 않은 경우 INFO ma.. 공감수 0 댓글수 0 2014. 11. 22.
Reduce 에서 counter 조회 mapreduce 프로그래밍을 하면 counter가 필요한 곳은 대부분 reducer 이다counter 는 job 안에 존재하며,reducer의 context 가 가진 counter 를 조회한다면 그 값은 mapper 들에서 취합된 값이 아니므로 항상 0 이 나온다 따라서, reducer 를 동작중인 job 을 획득하여 counter 를 조회하여야 한다.보통 reduce 메소드가 돌기전에 획득해 놓고 사용하기 때문에 setup 에서 구현한다. long totalVal = 0; @Override public void setup(Context context) throws IOException, InterruptedException{ Configuration conf = context.getConfigurat.. 공감수 0 댓글수 0 2014. 11. 22.
hadoop counter 사용 mapper 는 기본적으로 자신의 데이터노드에서 동작하기 때문에 여러 데이터노드의 경우 서로의 값의 공유할 수가 없다.그에 때문에 hadoop 에서는 counter 를 통해 서로의 정보를 업데이트하여 reducer 에게 전달할 수 있다.(단 long에 대한 증가/감소만 가능) 카운터의 등록은 enum 으로 등록하여야 하며, 필요한 enum 을 개발자는 생성해야 한다. 아래와 같은 enum 을 생성했다며 public static enum MATCH_COUNTER { TOTAL_COUNT }; mapper 에서는 아래와 같은 로직을 통해 특정 값을 증가 시킬 수 있다. @Override public void map(Object key, Text value, Context context) throws IOEx.. 공감수 0 댓글수 0 2014. 11. 21.
하이브(hive)에 대한 외부접속 하이브(Hive) 사용시 jdbc 접속을 위해서는 hive 의 service 를 구동해야 한다. HIVE_PORT=10001 ./hive --service hiveserver orhive --service hiveserver -p 10001 공감수 0 댓글수 0 2014. 11. 21.
MapReduce 프로그래밍 Hadoop 의 기본예제인 WordCount 를 기반으로 설명한다.프로그래밍은 아래와 같은 4가지 부분에 대하여 작성한다. 기본 분산처리된 데이터는 각 네임노드의 mapper 와 combiner 의 context에 저장된 값이 reducer 로 취합되며reduce 취합시에는 key 로 정렬된다. 흐름은 아래와 같다. Job 등록 및 시작↓ Mapper↓Combiner↓shuffle ↓Reducer↓ 최종결과 hdfs에 저장 Mapper 작성Mapper를 작성시에는 Mapper 클래스의 KEYIN, VALUEIN, KEYOUT, VALUEOUT의 4가지를 정의 하여 상속한다. Map 의 경우에는 KEYIN key, VALUEIN value, Context context 의 3가지 파라미터로 구현하며, Ty.. 공감수 0 댓글수 0 2014. 11. 21.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.