국내 연구진이 현재 인공지능(AI) 가속기 시장을 독점하고 있는 엔비디아(NVIDIA)에 맞설 수 있는 차세대 인터페이스 기술이 활성화된 고용량·고성능 AI 가속기를 개발했다.

KAIST는 정명수 전기·전자공학부 교수 연구팀이 차세대 인터페이스 기술인 컴퓨터 익스프레스 링크(CXL)가 활성화된 고용량 그래픽 처리장치(GPU)의 메모리 읽기·쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다.

기존 GPU 여러 대를 연결하는 메모리 확장 방식은 높은 가격으로 인해 구축 비용이 급격히 늘어난다는 문제점이 있다.

CXL 기술을 이용해 대용량 메모리를 GPU 장치에 직접 연결하는 기술이 산업계를 중심으로 검토되고 있지만 GPU에 직접 연결된 메모리 확장 장치의 성능이 떨어지는 한계가 있었다.

KAIST 연구진은 CXL-GPU 장치의 메모리 읽기·쓰기 성능이 저하되는 원인을 분석해 이를 개선하는 기술을 개발했다.

메모리 확장 장치가 내부 작업을 수행 상태에 따라 작업을 하도록 해 GPU는 메모리 쓰기 작업의 완료 여부가 확인될 때까지 기다릴 필요가 없어 쓰기 성능 저하 문제를 해결할 수 있도록 했다.

연구진은 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 힌트를 주는 기술을 개발했다.

이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작하게 돼 GPU 장치가 실제 데이터를 필요로 하면 임시 데이터 저장공간 캐시에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 달성할 수 있다.

연구는 반도체 팹리스 스타트업인 파네시아의 초고속 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용해 진행됐다.

연구팀은 파네시아의 CXL-GPU 프로토타입을 활용한 기술 실효성 검증을 통해 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 진행할 수 있음을 확인했다.

정명수 KAIST 전기·전자공학부 교수는 "CXL-GPU의 시장 개화 시기를 가속해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 수 있다"고 말했다.