마이크로소프트 지원 스타트업, Generative AI를 위한 GPU 없는 대안 도입
DIMC 아키텍처는 150 TB/s의 초고 메모리 대역폭을 제공
Corsair는 트랜스포머, 에이전틱 AI, 대화식 비디오 생성을 지원
d-Matrix Inc., 캘리포니아 산타클라라에 본사를 둔 하드웨어 스타트업은 AI 추론을 향상시키기 위한 첫 번째 AI 프로세서인 Corsair를 소개했다.
마이크로소프트의 지원을 받고 최첨단 기술을 활용한 Corsair는 전통적인 GPU와 비용이 많이 드는 고 대역폭 메모리(HBM)를 배제하고 상당한 성능 및 비용 혜택을 제공한다.
Corsair는 현재 초기 접속 고객을 대상으로 사용 가능하며, 더 넓은 이용 가능성은 2025년 제2분기에 계획되어 있다.
Corsair의 성능은 AI 추론을 재정의한다
Corsair 프로세서는 특히 생성형 AI 모델의 요구를 처리하기 위해 목적에 맞게 설계되었다. 예를 들어, Llama3 8B를 단일 서버에서 실행할 때 1밀리초 당 60,000 토큰을 달성한다.
Llama3 70B 모델과 같은 더 많은 자원이 필요한 시나리오에서 Corsair는 단일 랙에서 1토큰 당 2밀리초에 30,000 토큰을 제공하여 전통적인 GPU 기반 솔루션과 비교해 에너지 및 운영 비용을 상당히 절약한다.
이 프로세서는 6나노미터 제조 공정을 사용한 Nighthawk 및 Jayhawk II 타일에 구축되었다. 각 Nighthawk 타일은 4개의 신경 코어와 RISC-V CPU를 통합하고 있으며, 대형 모델 추론을 지원하도록 디지털 내장 메모리 계산(DIMC) 및 블록 부동 소수점(BFP)을 포함한 다양한 데이터 유형 처리를 제공한다.
Corsair는 칩릿 패키지를 채택하여 메모리와 계산을 통합하여 효율성을 극대화한다. 산업 표준 PCIe Gen5 풀 하이트 풀 길이 카드 형태로 제공되며, 확장 가능한 성능을 위해 DMX 브릿지 카드와 함께 사용될 수 있다. 각 카드는 8비트 최대 연산량으로 2400 TFLOPs의 성능 메모리와 최대 256GB의 오프 칩 메모리 용량이 통합된다.
중요한 점은 Nvidia의 주요 파트너인 마이크론 기술도 d-Matrix와 협력하고 있다는 것이다.
원래 2023년 말에 출시될 예정이었지만, d-Matrix는 생성형 AI에 대한 급증하는 수요에 대응하여 아키텍처를 재구성했다. 이 전환으로 Corsair는 트랜스포머 모델과 에이전틱 AI, 대화식 비디오 생성과 같은 신흥 응용 프로그램을 위한 향상을 통합할 수 있었다.
“우리는 트랜스포머와 생성형 AI가 다가오고 있다는 것을 보았고, 시대의 가장 큰 컴퓨팅 기회에 대한 추론적 도전에 대처하기 위해 d-Matrix를 설립했다.”라고 d-Matrix의 공동 창업자이자 CEO인 Sid Sheth가 말했다.
“첫 번째로 나오는 Corsair 컴퓨트 플랫폼은 다중 사용자를 위한 높은 상호작용 애플리케이션을 위한 빠른 토큰 생성을 제공하여 Gen AI를 상업적으로 실현가능하게 만든다.”고 Sheth가 덧붙였다.
eeNews를 통해
당신이 좋아할지도 모릅니다
