MLOps/hadoop
-
local 에 있는 csv 파일을 hadoop 으로 가져오기MLOps/hadoop 2022. 3. 29. 12:35
https://stackoverflow.com/questions/34277239/importing-csv-file-into-hadoop Importing CSV file into Hadoop I am new with Hadoop, I have a file to import into hadoop via command line (I access the machine through SSH) How can I import the file in hadoop? How can I check afterward (command)? stackoverflow.com 데이터 확인 $ ls -al /mnt/shopping20y1h/shopping $ find /mnt/shopping20y1h -type f | wc -l $ d..
-
Hive External table 생성MLOps/hadoop 2022. 3. 29. 12:22
https://guide-fin.ncloud-docs.com/release-20211221/docs/hadoop-vpc-use-ex11 Hive External Table로 CSV파일 연동하기 - Cloud Hadoop 활용하기 guide-fin.ncloud-docs.com Hive External Table이란? Hive에서 테이블 생성시, External 키워드로 생성하는 테이블을 가리킵니다. Hive External Table(‘외부 테이블’) 은 hive.metastore.warehouse.dir 속성이 가리키는 디렉토리에 데이터를 저장하지 않으며, 테이블 생성시 설정한 경로에 데이터를 저장합니다. 이미 하둡에 있는 데이터를 기반으로 테이블을 만들기 때문에 스키마만 정해주면 생성할 수 있습니다. ..