목록빅데이터 (1)

아침바라기의 이야기

Esper 시작하기 및 참고 사이트

Hadoop이나 Spark로 로그성 데이터 처리를 하다보면 일부를 샘플링해서 데이터의 흐름을 봐야할 일이 꼭 생긴다.이 흐름이 어떤 형상과 특징을 가지고 있는지 알기 위해서다.아파치 로그를 생각해보자. 당신이 운영하는 웹사이트를 크롤링하는 크고 아름다운(!) 봇이 있다. 보통 포탈은 이런 크롤러를 굉장히 싫어해서(아무래도 저작권 문제 등등으로..) 개발자는 크롤러가 어떤 시간간격으로 데이터를 가져가는지, 어떤 경로로 오는지를 파악해야 하는 경우가 있다. (당연하지만 아파치 로그로 이걸 다 파악하긴 무리다. 하지만 꾸준히 모니터링 해줘야 한다...-_-)이 대상 데이터를 찾기 위해선 특이한 형태의 접속 패턴을 찾아야 한다.작은 사이트라면 사람의 눈으로 전체로그를 다 확인할 수 있을 것이다. 그러나 수십만명..
개발이야기/Esper 2015. 2. 6. 19:05
이전 Prev 1 Next 다음