Hive External table 생성

https://guide-fin.ncloud-docs.com/release-20211221/docs/hadoop-vpc-use-ex11

Hive External Table로 CSV파일 연동하기 - Cloud Hadoop 활용하기

Hive External Table이란?

Hive에서 테이블 생성시, External 키워드로 생성하는 테이블을 가리킵니다. Hive External Table(‘외부 테이블’) 은 hive.metastore.warehouse.dir 속성이 가리키는 디렉토리에 데이터를 저장하지 않으며, 테이블 생성시 설정한 경로에 데이터를 저장합니다.

이미 하둡에 있는 데이터를 기반으로 테이블을 만들기 때문에 스키마만 정해주면 생성할 수 있습니다.

 

CREATE EXTERNAL TABLE weather
(
no   STRING,
area STRING,
day  STRING,
avg  FLOAT,
max  FLOAT,
maxTime STRING,
min  FLOAT,
minTime STRING,
diff FLOAT
) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION 's3a://live-test-bucket/hivedata';

 

문자 깨짐 현상이 발생한다면?

한글 문자 깨짐 현상은 기상청에서 제공되는 데이터가 “utf-8”이 아닌 “euc-kr”로 제공되어 발생한 현상입니다. 아래와 같이 Hive External Table의 인코딩을 “euc-kr”로 변경하시면 문자 깨짐 현상없이 올바르게 표시됩니다.

 

ALTER TABLE weather SET TBLPROPERTIES('serialization.encoding'='euc-kr');