TOPS 란? ai 노트북 NPU?

TOPS란 무엇인가?

TOPS는 Tera Operations Per Second의 약자로, 1초에 1조 번(10¹²)의 연산을 처리할 수 있는 능력을 뜻합니다.

주로 NPU(Neural Processing Unit)나 AI 전용 칩의 성능을 측정할 때 사용되는 지표입니다.

예를 들어, 칩의 성능이 13 TOPS라면, 이는 1초에 13조 개의 연산을 수행할 수 있다는 의미입니다.

TOPS는 주로 정수 연산(INT8)을 기준으로 측정됩니다.

이는 딥러닝 모델이 학습을 마친 후 실제 서비스(추론, inference)에 사용될 때,

연산의 효율을 위해 대부분 정수 단위로 단순화되기 때문입니다.

일부 칩은 FP16(반정밀 부동소수점) 등 다른 연산 기준으로 TOPS를 표시하기도 합니다.

TOPS 수치가 높을수록 더 빠른 AI 연산 성능을 제공하는 것은 사실입니다. 하지만 성능을 평가할 때는 단순히 수치만 보는 것보다 아래와 같은 요소들을 함께 고려해야 합니다.

연산 정밀도: INT8, FP16 등 어떤 연산 정밀도를 지원하는지 확인해야 합니다.
전력 효율: 전력(Watt) 대비 TOPS가 얼마나 높은지 확인하는 것이 중요합니다. 특히 모바일 장치에서는 전력 효율이 매우 중요한 요소입니다.
소프트웨어 최적화: 실제 AI 소프트웨어(예: ChatGPT, Stable Diffusion 등)에서 해당 칩이 얼마나 최적화되어 있는지에 따라 체감 성능이 달라질 수 있습니다.