까딱이의 춤과 IT

javascript 의 function 을 사용하다 보면,  파라미터에 대해서 arguments 배열에 접근하여 사용하는 경우가 있다.

이를 통해 유동적인 파라미터를 제어하거나, 기존에 제공되는 api 를 커스터마이징도 할 수 있게 된다.

예시 1) string fomat <= 클릭

예시 2) setTimeout 커스터마이징 <= 클릭

위 예제의 결과는

가 나오게 된다.

argLength 라는 function 은 선언되면서 가지게되는 몇가지 멤버변수가 있는데, 그중에 length 부분에는 선언시 정의된 파라미터의 개수가 바인딩된다. 

function 호출시에 파라미터는 function 에서 선언된 파라미터에 arguments 값이 순서대로 맵핑되고, 파라미터가 더 적은 경우에는 undefined 를 가지게 되며, 선언파라미터 많은 경우에는 arguments 배열을 통해 접근이 가능하게 된다.

이와 같이 호출시에는 argLength 의 two 값은 undefined 가 되게 된다.

* 실행 테스트 function

으로 선언된 function 이 있다.

아래에서 파라미터를 변경하여 실행하면(ex> argLength("홍길동","무인도","정류소") ), 

one, two 의 값과 argLength.length , arguments.length 를 확인할 수 있다.

이상~

오라클 등에서는 to_number 와 같은 함수를 지원하는데 

그에 대해서 하이브는 cast 라는 함수를 지원한다.

사용법은 다음과 같다.

syntax> cast(컬럼 as 타입)

타입은 int, double, string 과 같은 형태를 말한다.

* 예시

기타로 stddev_pop 는 표준편차를

variance 은 분산을 구하는 함수이다.

C# 에서 UI 를 만들 때 컨트롤들이 원하는 대로 dock 이 안될 때가 많다.

다른 컨트롤에 add 되거나...  dock 순서가 꼬이거나..

그럴때는 속편하게 UI [디자인] 대신 Designer.cs 파일을 직접 열어서 컨트롤간 상의 관계와

dock 순서를 제어하는게 빠르다..

1. 컨트롤간의 add 를 먼저 확인한다. 다른 컨트롤에 붙는 경우도 많다..

2. form 에 컨트롤이 add 되는 순서를 확인한다.

   UI[디자인] 에서 add 되는 순서로 자동으로 docking 포지션을 가지기 때문에 확인 필수

예> 

폼(Form) 이동 막기

C# 에서는 WndProc 를 override 하여 메세지에 대한 제어를 할 수 있다.

그중 가장 간단한 폼이동을 막는 기능을 살펴보자

순서

1. 제어할 메세지 정의

2. 메세지에 대한 컨트롤

3. 해당 메세지 제어한 것으로 완료할 경우 return 시킴. 간단함 커스터마이징만하고 기본동작이 실행되기를 원한다면 return 시키면안됨

4. 자바로 보면 super , C# 으로는 base 에게 메세지 전달

이상 ~~~ 쉽죠잉~

C# 에서 제공하는 WebBrowser 컨트롤과 컨트롤안에 로드된 javascript 간의 통신방법이다.

1. javascript 에서 C# 호출방법

    아래와 같은 선언이 필요하며, 호출될 메소드는 당연히 public 이어야 한다. 

2. C# 에서 javascript 호출

C# form의 textbox 두개의 값을 버튼 클릭시 javascript 로 보내는 예제이다.

invoikeScript 를 통해 호출할 function 명 및 parameter 를 전송한다.

이상

udf 란?

hive에서 사용하는 function 을 사용자가 직접구현하는 사용자 정의 펑션(user-defined-function의 약자)이다.

즉 user 하이브에서 사용할 function 을 구현하는 것이다. 일반 데이터베이스의 function 을(오라클 to_date, sum 등)을 직접 구현한다고 생각하면 된다.

syntax>

select <user-defined-function>(<colum_number>) from <table> ;

구현소스 

보여주고자 하는 타입에 따라 return type을 설정하고, 매개변수는 function 의 입력 파라미터의 수 및 타입이 맞아야 한다.

매개변수는 Writable 을 상속한 클래스여야 한다.

위와 같이 증가 시킬 수 있다.

evaluate 는 리턴은 void 는 안된다.( 리턴값이 function 의 실행 결과 같이 된다.)

hive 에서의 사용 예제

예시 데이타>

 등록후 실행>

예제파일 : TemplateSerde.java

	기존방법	권고방법	비고
차이점	인터페이스를 상속하여 구현(implements) 곧 Deprecated 예정	추상화 클래스를 상속하여 구현(extends)	인터페이스에서 추상화 클래스로 변경됨(클래스 위치: org.apache.hadoop. hive.serde2)
직렬화/역직렬화 모두 구현시 상속	SerDe 인터페이스 상속 곧 Deprecated 예정	AbstractSerDe 추상화클래스 상속하여 구현(extends)	동일 구현 메소드 Initialize getSerializedClass serialize deserialize getObjectInspector getSerDeStats
직렬화만 구현	Serializer 인터페이스 상속	AbstractSerializer 추상화클래스 상속하여 구현(extends)	구현 메소드 Initialize getSerializedClass serialize getSerDeStats
역직렬화만 구현	Deserializer 인터페이스 상속	AbstractDeserializer 추상화클래스 상속하여 구현(extends)	구현 메소드 Initialize deserialize getObjectInspector getSerDeStats

 

1). 공통구현 메소드

 

- Initialize

 

해당 테이블의 컬럼 개수, 컬럼의 Type 정보를 얻을 수 있으며, 기본 구분자는 “,” 를 사용한다. 

 

 

- getSerDeStats

 

row 수 사이즈 등을 저장한 정보를 제공(불필요시에 Null 을 리턴)

 

 

 

2) 직렬화 구현 메소드

 

- getSerializedClass

 

HDFS 에 저장시 사용될 Writable을 상속한 클래스를 정의하여 리턴한다.

 

- serialize

 

테이블이 조회되어 한 row 에 대한 정보가 들어오며 해당 정보를 조합하여 HDFS 에 저장될 Line 을 생성한다.

 

 

 

3) 역직렬화 구현 메소드

 

- getObjectInspector

 

Table 에 저장될 각 컬럼의 타입을 저장하여 리턴한다.

 

- deserialize

 

HDFS 에서 조회된 한 Line 별 정보가 입력되며 해당 값을 필요에 따라 Parsing 하여 테이블에 저장될 구조의 array 를 만들어서 리턴한다.

 

 

 

2. 실행

 

1) 직렬화

 

※ 직렬화 jar 의 경우 HDFS 에서 사용하기 때문에 경로에 대한 path 또는 HDFS 에서 사용하는 jar 에 포함 시켜야함

 

1-1) 실행

 

INSERT OVERWRITE LOCAL DIRECTORY '저장될 LOCAL 경로’ ROW FORMAT SERDE ‘등록한 직렬화클래스’ SELECT * FROM 테이블명;

 

※ INSERT OVERWRITE DIRECTORY 처럼 LOCAL 을 생략시 HDFS 에 저장됨. 단 구현한 직렬화 클래스가사용안됨

 

1-2) 확인

 

LOCAL syntax 사용 여부에 따라 로컬 경로 또는 hdfs 의 경로로 해당 파일 조회(000000_0 으로 해당 폴더에 파일이 생성됨)

 

2) 역직렬화

 

2-1) 해당 Serde 을 하이브에 등록한다.

 

Add jar ./파일명.jar

 

2-2) Table 을 생성한다.

 

Create table IF NOT EXISTS 테이블명 {

 

Id STRING,

 

name STRING

 

..(이와 같은 형태로 테이블의 구조를 생성)

 

}

 

ROW FORMAT SERDE ‘등록할 역직렬화가 구현된 클래스’

3) HDFS 의 데이터 로드

 

Syntax> LOAD data <LOCAL> inpath <file path> into table [tablename]

 

LOAD DATA INPATH 'HDFS 상의 데이터 경로' OVERWRITE INTO TABLE 생성한 테이블명;

4) 확인

SELECT * from 생성한 테이블명;

Hive 의 Serde

Serde 란 ?

직렬화와 역직렬화를 뜻하며, HDFS 와 HIVE 간의 데이터 교환을 뜻한다.

역직렬화(Deserializer)

HDFS files  ▶ InputFileFormat ▶ <key, value> ▶ Deserializer ▶ Row object

HDFS 의 파일을 Hive 테이블에 저장

 

직렬화(Serializer)

Row object ▶ Serializer ▶ <key, value> ▶ OutputFileFormat ▶ HDFS files

Hive 테이블의 정보를 HDFS 의 파일로 저장

test.txt 에 아래와 같은 데이터가 있다면

$ hadoop fs -put test.txt /user/test.txt

를 통해 hdpf 에 저장되어 있다 가정하자

이때 아래와 같이 2개의 datanode 로 데이터가 분산되어 있다면

datanode 1의 데이터는

datanode 2의 데이터는

이렇게 분산되어 있다라고 가정하자.

이 데이터의 최빈도(가장 많은 단어 mode)를 획득하려고 한다. 그래서 아래와 같이 구현했다고 가정하자

mapper 에서는 각 데이터를 분할하고

reduce 에서는 각 데이터의 최종합을 구하도록  mapreduce 

mapper 의 input 은 해당 데이터의 line 별로 입력된다.

보통 입력된 데이터를 필요한 포맷으로 split 하여 사용한다. 여기서는 , 로 split 한다.

즉 datanode 1 의 mapper 에서는  

1)   1,2,1,2

2)   B,A,B,A

이러한 데이터로 두번 mapper 의 map 메소드가 호출되고

즉 datanode 2 역시

1)   3,3,2,3

2)   A,B,B,B

이러한 데이터로 두번 mapper 의 map 메소드가 호출된다.

 이동작을 표로 구분하면 다음과 같다.

1. combiner 가 없는 경우

 2. combiner 를 구현한 경우

combiner 에서는 value 를 각 단어의 개수를 저장함