AMD XDNA

XDNA는 AI 엔진(AIE) 타일이 외부 메모리 접근을 최소화하면서 병렬로 데이터를 처리하는 공간적 데이터 흐름 아키텍처를 채용한다. 이 설계는 병렬성과 데이터 지역성을 활용하여 성능과 전력 효율을 최적화한다. 각 AIE 타일은 다음을 포함한다.

• 고처리량 연산 작업 및 텐서 연산에 최적화된 VLIW + SIMD 벡터 프로세서.
• 제어 흐름 및 보조 작업을 담당하는 스칼라 RISC 스타일 프로세서.
• 가중치, 활성화 값, 중간 계수를 저장하여 외부 DRAM에 대한 의존도를 낮추고 레이턴시를 줄이는 로컬 메모리 블록.
• 외부 메모리 트래픽을 최소화하여 레이턴시와 전력을 추가로 절감하는 온칩 프로그램 및 데이터 메모리.
• 타일 간의 결정론적이고 대역폭이 높은 데이터 전송을 위한 전용 DMA 엔진 및 프로그래밍 가능한 인터커넥트.

타일 어레이는 확장 가능하고 모듈화되어 있어, AMD는 전력, 면적, 성능 목표에 맞춰 타일 개수를 달리하여 NPU를 구성할 수 있다. 동작 주파수는 일반적으로 최대 1.3GHz에 달하며, 열 및 전력 제약 조건에 따라 조절 가능하다.

1세대 (XDNA)

초기 XDNA NPU는 2023년 초 라이젠 7040 "피닉스" 시리즈와 함께 출시되었으며, 모바일 폼 팩터에서 최대 10 TOPS(초당 테라 연산)를 달성했다.

1세대 리프레시: 호크 포인트

2024년에 출시된 라이젠 8040 "호크 포인트" 시리즈는 펌웨어 업데이트, 더 높은 클럭 속도, 튜닝 향상을 통해 NPU를 개선하여 성능을 약 16 TOPS까지 끌어올렸다.

2세대 (XDNA 2)

XDNA 2는 젠 5 마이크로아키텍처 기반의 라이젠 AI 300 및 PRO 300 모바일 프로세서와 함께 데뷔했다. 이 세대는 AI 처리량을 대폭 증가시켜 플래그십 모델에서 최대 55 TOPS에 도달했다.

XDNA의 핵심은 ML 작업 부하의 병렬 및 파이프라인 처리를 가능하게 하는 공간적으로 배열된 AI 엔진 타일 어레이이다. 각 타일은 다음을 포함한다.

• 행렬 곱셈 및 컨볼루션과 같은 일반적인 ML 연산자에 최적화된 VLIW + SIMD 벡터 코어.
• 명령어 시퀀싱 및 타일 레벨 작업을 관리하는 스칼라 제어 프로세서.
• 비용이 많이 드는 외부 메모리 접근을 최소화하기 위해 모델 매개변수와 중간 데이터를 저장하는 온칩 SRAM 블록.
• 최소한의 스톨로 결정론적인 데이터 이동을 촉진하는 프로그래밍 가능한 DMA 컨트롤러 및 저레이턴시 인터커넥트 패브릭.

이 아키텍처 설계는 엣지 장치에서의 실시간 AI 추론에 필수적인 저레이턴시, 고대역폭 연산을 가능하게 한다.

• 결정론적 레이턴시: 공간적 데이터 흐름 아키텍처는 실시간 애플리케이션에 중요한 예측 가능하고 일관된 추론 시간을 보장한다.
• 전력 효율성: 온칩 로컬 메모리 사용은 외부 DRAM 접근을 줄여 기존 GPU나 CPU 방식에 비해 전력 소비를 낮춘다.
• 연산 밀도: 좁은 규소 면적에서 높은 TOPS를 구현하여 울트라북 및 휴대용 워크스테이션과 같은 얇고 가벼운 장치에 통합이 가능하다.
• 확장성: 모듈식 타일 설계는 적은 타일을 가진 경량 모바일 장치부터 많은 타일을 가진 엔터프라이즈급 서버까지 확장을 지원한다.

XDNA는 AMD의 ROCm 및 Vitis AI 소프트웨어 스택을 통해 지원되며, 개발자가 AI 작업 부하를 효율적으로 가속하기 위해 NPU를 활용할 수 있게 한다. ONNX, 텐서플로, PyTorch와 같은 대중적인 ML 프레임워크가 이러한 도구를 통해 지원된다. 추가로, 마이크로소프트 윈도우 ML 런타임은 코파일럿+ PC로 마케팅되는 장치에서 AMD NPU 가속을 통합하여 클라우드 의존 없이 로컬 AI 추론을 가능하게 한다.

• 광고된 TOPS는 이론적인 최대치이며, 실제 성능은 열적 여유, 작업 부하의 세부 사항, 드라이버/소프트웨어 최적화에 따라 달라진다.
• 일부 보급형 모델은 전력을 절약하고 다이 면적을 줄이기 위해 NPU 기능을 비활성화하거나 제한한다.
• 소프트웨어 생태계와 도구는 발전하는 중이며, 하드웨어 기능을 완전히 활용하기 위한 지속적인 개선이 기대된다.