앞으로 닥쳐올 데이터 범람을 방지하기 위해 IBM 연구자들이 43분 이내에 100억 개 파일을 검색할 수 있는 초고속 스토리지 시스템을 만들었다.

 

이번에 발표된 IBM의 스토리지 처리 시스템은 지난 2007 슈퍼컴퓨팅 컨퍼런스에서 시연한 10억 개 파일을 3시간에 스캔했던 이전의 시스템과는 비교할 수 없을 정도로 빨라졌다.

 

성능을 향상시키는 핵심 요소는 해당 스토리지 시스템이 고속 플래시 메모리(flash memory)에 요청된 파일 정보를 찾는 데 사용하는 메타데이터(metadata)를 저장하는 것이다. 지금까진 이런  메타데이터의 저장소가 시스템 디스크에 보관되어 처리되기 때문에 디스크 작업이 느릴 수 밖에 없었다.

 

"매우 빠른 스토리지에 데이터를 저장한다면 우리는 훨씬 더 신속하게 작업을 수행할 수 있다" 고 브루스 힐스버그(Bruce Hillsberg) IBM 알메이든(Almaden) 연구소 스토리지 시스템 담당 이사는 말했다. 그리고 그는 "메타데이터를 위한 고체(solid) 스토리지를 적용해 기존 데이터 디스크에서 모든 것을 처리해 왔던 지금까지의 처리 방식에서 탈피해 아주 신속하게 데이터를 처리할 수 있게 되었다" 고 말했다.

 

알메이든 연구소는 IBM의 고성능 클러스터(Cluster) 컴퓨팅 연구를 수행하는 곳으로, 이 번 새 스토리지 시스템 실험을 위해 모두 6.8 TB(테라바이트)의 솔리드 스테이트 메모리를 갖춘 10대의 8코어 서버 클러스터를 구축했다. 여기에 IBM은 바이올린 메모리(Violin Memory)사의 3205 솔리드 스테이트 스토리지 시스템을 4대 사용했다. 그 결과 시스템 처리 속도가 거의 5GB/s (초당 5기가바이트)로  파일을 읽을 수 있었다.

 

IBM은 이 시스템이 IBM의 GPFS(General Parallel File System,일반 병렬 파일 시스템) 버전 3.4에 튜닝되어 보급될 것dlfkrh 알렸다. GPFS는 모든 프로세서 코어가 병렬로 디스크를 읽고 쓸 수 있게 하므로  스토리지 시스템 응답 속도를 크게 향상시킨다. 원래 고성능 컴퓨팅 시스템을 위한 GPFS는 데이터 처리량이 큰 기업들의 워크로드 해결책으로 점점 그 실질적 중요성이 커지고 있다고 힐스버그는 말하며, 오늘날의 파일 시스템은 하나의 네임 스페이스에서 여러 분산된 스토리지 시스템 사이의 데이터를 관리하기에는 적합하지 않다.

 

2007 년 슈퍼컴퓨팅 쇼에서의 데모는 GPFS가 같은 병렬 파일 시스템이 확장성이 뛰어난 스토리지 시스템에서 사용될 수 있는 가능성을 보여주었고 이번 새로운 시스템은 GPFS 가 고체(solid) 디스크를 추가해 더욱 개선된 성능을 실현했다고 설명했다.

또한 IBM 연구진은 다른 관계자들이 해당 시스템을 이해하고 또 유사 시스템을 개발하는 데 참조할 수 있는 세부 수준의 아키텍처 백서(White paper)를 공개했다.

 

GPFS 4.3 에는 이 번 개발 결과와 함께 IBM은 이전에 수행한 솔리드 스테이트와 기존 일반 디스크의 데이터 처리 균형을 자동으로 조절해 주는 IBM 이지 티어(Easy Tier)를 연동할 것으로 알리며 새 GPFS는 정말 흥미로운 것들을 보여줄 것이라고 말했다.

 

디스크 처리 속도를 향상시키는 방법으로 SSD를 쓰는 것은 비단 IBM만이 아니다. 이번 달 컴퓨팅 기계(Computer Machinery) 협회의 발간지 "Communications" 에서 카네기 멜론 대학과 인텔 연구소 등에서 트랜잭션이 큰 대형 웹사이트에서 작업 속도를 빠르게 할 수 있는 저전력 프로세서와 플래시 메모리를 결합하는 서버 아키텍처를 설계하고 있다는 논고를 게재했다.

 

IBM은 물론 이들 기관들이 이 분야에 대한 연구를 많이 진행하는 이유는 플래시 메모리가 가격은 기존 디스크에 비해 1/10로 싸지만 성능은 100배 이상 빠른 장점을 활용해 메인 메모리의 캐시(cache) 처럼 자주 사용하는 상대적으로 적은 데이터를 SSD에 보관해 빠르게 처리해 처리 효율을 높일 수 있기 때문이다

 

산업 분석가들은 이미 기술이 존재하므로 플래시 메모리 기반 서버 출현이 얼마 남지 않았다고 전망하고 있다.

베타뉴스 윤 경 (ykc1359@gmail.com)
Copyrights ⓒ BetaNews.net

• • 목록
  • 위로