아침바라기의 이야기

Hadoop이나 Spark로 로그성 데이터 처리를 하다보면 일부를 샘플링해서 데이터의 흐름을 봐야할 일이 꼭 생긴다.이 흐름이 어떤 형상과 특징을 가지고 있는지 알기 위해서다.아파치 로그를 생각해보자. 당신이 운영하는 웹사이트를 크롤링하는 크고 아름다운(!) 봇이 있다. 보통 포탈은 이런 크롤러를 굉장히 싫어해서(아무래도 저작권 문제 등등으로..) 개발자는 크롤러가 어떤 시간간격으로 데이터를 가져가는지, 어떤 경로로 오는지를 파악해야 하는 경우가 있다. (당연하지만 아파치 로그로 이걸 다 파악하긴 무리다. 하지만 꾸준히 모니터링 해줘야 한다...-_-)이 대상 데이터를 찾기 위해선 특이한 형태의 접속 패턴을 찾아야 한다.작은 사이트라면 사람의 눈으로 전체로그를 다 확인할 수 있을 것이다. 그러나 수십만명..

바야흐로 빅 데이터의 시대...그 시대의 흐름에 발맞춰 사용하기 쉽고 가벼운 유행을 잘 다르고 있는 Spark.헌데 윈도우에서 스파크를 사용할 수 있다고 하는데 그 어딜 봐도 설치하는 방법에 대해 설명하는 곳은 없다!으허어허어허허어허엏어헝허어허엉ㅠㅠ그래서 본인은 windows에 스파크(이 스파크가 아님) 설치 방법에 대해서 알아보자. (windows7에서 테스트 했습니다.)(다 해보면 리눅스에서 그냥 하고 말겠다는 생각이 든다...-_-) - Windows 7- Spark Standalone deploy 1) java 설치 JDK 6.0 이상이 필요하다. 다운로드 URL : http://www.oracle.com/technetwork/java/javase/downloads/index.html?ssSour..

최근에 진행하는 개발 중에 리눅스 쉘을 이용해서 json을 처리해야 할 일이 있었다.(아무래도 요즈음 개발자한테 가장 친숙한게 json이다보니)리눅스 쉘 커맨드 라인에서 json을 파싱할 수 있는게 없을까 하다가 구글링을 해보니 jq라는 것이 있다. 커맨드 라인에서 json을 할일이 있으면 꽤나 유용할듯하다.GitHub 링크는 http://stedolan.github.io/jq/라이센스는 MIT 라이센스이다.참고http://xmodulo.com/how-to-parse-json-string-via-command-line-on-linux.html

윈도우에 설치하는 걸 찾아보았다.아래 링크에서 확인 가능하다검색으 찾아본 storm 설치중 간단한듯 싶다. http://ptgoetz.github.io/blog/2013/12/18/running-apache-storm-on-windows/

최근 프로젝트에서 sqoop을 설치하고 무한 삽질의 결과. 정리해두는것이 낫겠다 싶어 간단히 정리한다. sqoop 설치 방법에 대해 linux 환경, mysql 사용한다는 가정하에 설치방법에 대해 다룸. 1. sqoop 다운로드 wget http://apache.tt.co.kr/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz 2. 압축해제 tar -zxvf sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz sqoop-1.4.4ln -s sqoop-1.4.4 sqoop3. .bash_profile 설정export SQOOP_HOME=경로/sqoopPATH=$PATH:경로/sqoop export PATH4. mysql JDBC 드라이버 다운로드wget ..

Cent OS 설치 삽질기... - 6.5 기준 설치 방법 1. CentOS 설치2. java 설치 3. 공유 폴더 설정1) 커널 업데이트 yum update kernel*yum install gcc kernel-devel kernel-headers dkms make bzip22) 게스트 확장 설치3) 마운트 mount -t vboxsf shared /mnt/shared4. java 설치5. hadoop 설치 및 설정6. ssh1) /etc/hosts.allow 설정 (root)ssh:localhost:allowsshd:localhost:allow2) ssh-keygen -t rsa 3) cat .ssh/id_rsa.pub >> authorized_keys 4) ssh 껏다 켜기 /etc/init.d/s..

전화영어come by : 데리러 오다I will come by a little earlier.I drunk a cup of coffee. So caffeine affected my ability to sleep.have you ever : ~해본적있다.Have you ever eaten lobsterhave been to : ~가에 가본적 있다.I have been to the Niagara Falls.

전화영어in ages : 오랜기간 동안 have get to = have to 의 긍정형태 in a rush : 촉박하게I would rather not say : 말하기 싫다

전화영어be in the middle of : 하는 도중이다 e.g : I was in the middle of making dinner whenbet = make suree.g I’ll bet your husband and son felt really sorry문장I was living in Paris in 1998.As the President was starting his speech, he was hit by an egg.

전화영어 모르는 단어 chauffeur 기사bachelor : 미혼자 Bachelorette party : 결혼전 여자가 하는 파티 groom : 신랑economic stability: 경제적 안정 Price range- as cheap as possible- mid-price- expensive- luxury 문장들 Teacher: What price range do you expect for your wedding?Student: I want a luxury wedding because it’s a once-in-a-lifetime event.Teacher: Where do you want your wedding to be held?Student: I want to have it in a luxury..