화요일 핫 칩스 컨퍼런스에서 오픈AI는 마침내 커스텀 추론 칩인 할라페뇨의 베일을 벗겼고, 놀랍게도 그 기능이 꽤 훌륭하다. 세미애널리시스의 InferenceX 벤치마크에서 테스트한 결과, 할라페뇨는 현재 최첨단 추론 프로세서보다 사용자당 더 많은 토큰과 킬로와트당 더 많은 처리량을 제공했다. 이는 와트당 더 많은 AI를 제공한다는 뜻으로, 회계사와 환경운동가 모두 기쁨의 춤을 추게 만드는 효율성이다.

"결론적으로, 결과는 최첨단 기술 대비 매우 매우 중요한 성능 향상을 보여줍니다," 오픈AI 하드웨어 책임자 리처드 호가 기자간담회에서 말했다. "할라페뇨는 전력 단위당 더 많은 AI 작업을 처리하면서도 응답을 더 빠르게 반환할 수 있습니다. 많은 고객에게 서비스를 제공하는 데 매우 효율적이면서도 지연 시간이 매우 낮을 수 있습니다."

하지만 퍼레이드를 계획하기 전에, 여기 중요한 점이 있다: 그 비교는 엔비디아 블랙웰 시스템을 대상으로 한 것인데, 할라페뇨가 실제로 시장에 출시될 때쯤이면 블랙웰이 몇 가지 더 비책을 가지고 있을지도 모른다. 호는 할라페뇨가 2026년 말에 "매우 적은 양"으로 배포될 것이며, 더 큰 규모의 배포는 2027년에 이루어질 것이라고 추정했다. 그래서 완전한 맛을 보려면 아직 시간이 있다.

지난 10월에 처음 발표된 할라페뇨는 오픈AI가 브로드컴과 긴밀히 협력하여 개발했으며, 오픈AI 자체 모델이 개발 과정을 도왔다. 회사는 할라페뇨를 다세대 플랫폼으로 만들어 AI 제품, 모델, 칩, 메모리를 모두 함께 개발할 계획이다. 이러한 풀스택 접근 방식 덕분에 오픈AI는 추론 처리 중 자주 병목 현상을 일으키는 특정 단계를 해결할 수 있었다. 특히 할라페뇨는 처리 중 프리필 및 통신 단계의 지연을 최소화하도록 설계되었으며, 오픈AI는 이를 병목 현상으로 지목했다.

"우리는 데이터 이동과 통신 지연을 최소화하도록 할라페뇨를 설계했습니다," 회사는 결과를 발표하는 블로그 게시물에서 말했다. "이는 응답 생성 중 사용되는 KV 캐시를 포함한 모델 상태를 명시적으로 배치하고 로컬로 유지하면서, 각 추론 단계에 맞는 컴퓨팅, 메모리, 네트워킹의 적절한 조합을 시스템이 활성화한다는 것을 의미합니다." 다시 말해, 그들은 칩이 물건을 어디에 둘지 똑똑하게 만들어서 물건을 찾으러 돌아다닐 필요가 없게 만들었다. 혁명적이죠, 우리도 압니다.