빅데이터 패턴 분석, 1천배 더 빨라진다
빅데이터 패턴 분석, 1천배 더 빨라진다
  • 홍하은
  • 승인 2018.05.28 17:09
  • 댓글 0
이 기사를 공유합니다

DGIST 김민수 교수팀, 기술 개발
김민수교수
대구과학기술연구원(이하 DGIST) 정보통신융합전공 김민수(사진) 교수팀은 빅데이터 패턴을 초고속으로 분석할 수 있는 ‘지마이너(GMiner)’ 기술을 개발했다.

28일 DGIST에 따르면 김 교수팀이 개발한 지마이너 기술은 기존의 세계 최고 패턴 마이닝 기술보다 최대 1천배 더 우수한 성능을 갖췄다. 이 기술은 작게는 10배에서 최대 1천배 빠른 분석 성능을 나타냈으며 기존 기술들이 분석 가능했던 데이터보다 더 큰 규모의 빅데이터를 분석할 수 있다. 또 GPU(그래픽처리장치) 개수와 비례해 성능이 향상되는 것을 증명했다.

패턴 마이닝 기술은 대형마트의 상품 구매, 은행의 거래, 네트워크 패킷, 소셜 네트워크 등 다양한 분야의 빅데이터에서 반복적으로 나타나는 중요 패턴들을 모두 찾아내는 기술이다. 패턴 마이닝 기술들이 개발되고 있지만 빅데이터 패턴의 길이가 증가함에 따라 분석 가능한 패턴의 가짓수가 기하급수적으로 증가해 수십 기가바이트(GB)가 넘는 빅데이터에 대해서는 컴퓨터 메모리 부족으로 분석에 실패하거나 시간이 너무 많이 소요돼 사용하는데 한계가 있었다.

지마이너 기술은 GPU의 수천 개 코어를 사용해 임시로 계산한 중간 길이의 패턴들을 조합하고, 최종 길이의 패턴을 구하는 ‘반(反)직관적인 기법’을 통해 기존 기술들의 문제를 근본적으로 해결하는데 성공했다. 기하급수적 개수의 중간 길이 패턴들을 메모리에 전혀 저장하지 않음으로써 기존 기술의 고질적 문제였던 메모리 부족 문제도 완전히 해결했다. 아울러 데이터를 메인 메모리에서 GPU로 스트리밍하는 것과 동시에 GPU의 높은 계산 성능을 이용해 패턴을 구함으로써 느린 속도 문제도 해결했다.

DGIST 정보통신융합전공 김민수 교수는 “메모리 부족과 느린 속도 때문에 패턴 마이닝 기술을 빅데이터에 제대로 적용하지 못했던 문제를 해결함으로써 금융, 유통, IT, 바이오 등 여러 분야의 빅데이터 패턴을 분석해 기업의 효율적인 의사결정을 돕는데 활용할 수 있을 것”이라고 말했다.

홍하은기자 haohong73@idaegu.co.kr
댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.