아침바라기의 이야기

오늘 회사에서 하이브를 설치할 기회가 있었다. 테스트 데이터로 쓰기 위해 운영 데이터 일부를 개발 HDFS에 직접 마이그레이션을 했다. 그런데, 테이블 구조도 동일하고, 데이터도 있는데 hive콘솔에서 조회하면 0건으로 나오는 것이었다. 알고보니 하이브는 메타스토어(주로 MySQL)에 테이블의 파티션 정보(이 테이블엔 어떤 파일들에 데이터가 저장되어 있는가...하는 정보)를 저장하기 때문이었다. 즉 직접 데이터를 때려 넣었기 때문에 메타 스토어에서 파티션 정보가 없다. 그러니 하이브는 내가 밀어 넣은 데이터는 없다고 얘기하는 것이다. 이렇게 직접 파일로 데이터를 넣는 경우 파티션을 재생성 해줘야 hive에서 문제 없이 조회할 수 있었다. 아래와 같은 명령어를 사용해서 테이블의 파티션 정보 재생성해야 한다..

최근 프로젝트에서 sqoop을 설치하고 무한 삽질의 결과. 정리해두는것이 낫겠다 싶어 간단히 정리한다. sqoop 설치 방법에 대해 linux 환경, mysql 사용한다는 가정하에 설치방법에 대해 다룸. 1. sqoop 다운로드 wget http://apache.tt.co.kr/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz 2. 압축해제 tar -zxvf sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz sqoop-1.4.4ln -s sqoop-1.4.4 sqoop3. .bash_profile 설정export SQOOP_HOME=경로/sqoopPATH=$PATH:경로/sqoop export PATH4. mysql JDBC 드라이버 다운로드wget ..