학과소식
정명수 교수 연구팀, 세계 최초 CXL 3.0 기반 검색 엔진을 위한 AI 반도체 개발
SNS 공유하기
정명수 교수 연구팀이 세계 최초로 CXL 3.0 기반 검색 엔진을 위한 AI 반도체를 개발하였다.
최근 각광 받고 있는 이미지 검색, 데이터베이스, 추천 시스템, 광고 등의 서비스들은 근사 근접 이웃 탐색(Approximate Nearest Neighbor Search, ANNS) 알고리즘을 사용한다.
근사 근접 이웃 탐색 알고리즘을 실제 서비스에서 사용할 때 필요한 데이터 셋이 매우 커 많은 양의 메모리를 요구하는 어려움이 있다.
이를 해결하기 위해 기존에는 압축 방식과 스토리지 방식을 사용하였지만, 각각 낮은 정확도와 성능을 가지는 문제가 있다.
연구팀은 메모리 확장의 제한이라는 근본적인 문제를 해결하기 위해 CXL이라는 기술을 사용하였다. CXL은 PCI 익스프레스(PCIe) 인터페이스 기반의 CPU-장치 간 연결을 위한 프로토콜로, 가속기 및 메모리 확장기의 고속 연결을 제공한다.
또한 CXL스위치를 통하여 여러 대의 메모리 확장기를 하나의 포트에 연결할 수 있는 확장성을 제공한다. 하지만 CXL을 통한 메모리 확장은 로컬메모리와 비교하여 메모리 접근 시간이 증가하는 단점을 가지고 있다.
연구팀이 개발한 AI 반도체(CXL-ANNS)는 CXL 스위치와 CXL 메모리 확장기를 사용해 근사 근접 이웃 탐색에서 필요한 모든 데이터를 메모리에 적재할 수 있어 정확도와 성능 감소를 없앴다.
또한 근사 근접 이웃 탐색의 특징을 활용해 데이터 근처 처리 기법과 지역성을 활용한 데이터 배치 기법으로 CXL-ANNS의 성능을 한 단계 향상시켰다.
연구팀은CXL-ANNS의 프로토타입을 자체 제작하여 기존 연구들과 성능을 비교하였다.
CXL-ANNS는 기존 연구들 대비 평균 111배 성능 향상이 있었다. 특히, 마이크로소프트에서 실제 서비스에서 사용되는 방식과 비교하였을 때 92배의 성능 향상을 보여줬다.
이번 연구는 미국 보스턴에서 오는 7월에 열릴 시스템 분야 최우수 학술대회인 유즈닉스 연례 회의 `USENIX Annual Technical Conference, 2023’에
‘CXL-ANNS’이라는 논문명(CXL-ANNS: Software-Hardware Collaborative Memory Disaggregation and Computation for Billion-Scale Approximate Nearest Neighbor Search)으로 발표될 예정이다.
해당 연구에 대한 자세한 내용은 연구실 웹사이트(http://camelab.org)에서 확인할 수 있다.
[그림1. 하드웨어 프로토타입]
[그림2. CXL-ANNS의 로고]
[그림3. CXL-ANNS 연구진 (왼쪽부터) 전기및전자공학부 박사과정 장준혁, 이승준, 석사과정 최한진, 박사과정 권미령, 배한여름, 교수 정명수]
자세한 정보는 아래 링크 참조