OpenAI, Jalapeño 추론 칩 성능 공개…자체 실리콘이 AI 인프라 전략으로 부상

OpenAI가 첫 자체 추론 칩 Jalapeño의 측정 결과를 공개하며 오래전부터 주목받던 하드웨어 계획을 전략 수준에서 성능 데이터 단계로 끌어올렸다. 회사는 8월 25일 SemiAnalysis의 InferenceX 벤치마크에서 Jalapeño가 비교 시스템보다 처리량, 지연 시간, 전력 효율의 조합에서 더 나은 결과를 냈다고 밝혔다. 막대한 컴퓨팅 지출이 지속 가능한 경제성으로 이어질 수 있는지 증명해야 하는 AI 업계에서 이는 단순한 칩 소식이 아니다.

Jalapeño는 모델이 실제 제품에서 사용자 요청에 답하고 에이전트를 실행하며 토큰을 하나씩 생성하는 추론 단계를 겨냥한다. OpenAI는 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T에서 테스트했다고 설명했다. 이는 구조가 OpenAI 모델에만 묶이지 않는다는 의미다. 회사는 세 모델 전반에서 피크 처리량 기준 전력당 AI 작업량이 1.5배에서 1.9배 늘었고, 종단 지연 시간은 1.7배에서 3.6배 낮아졌으며, 고대화형 작업에서는 성능이 2.1배에서 4.1배 높아졌다고 밝혔다.

전력당 성능이 중요한 이유는 생성형 AI의 비용 구조가 바뀌고 있기 때문이다. 프런티어 연구소들은 훈련 클러스터에 막대한 자본을 투입했지만, 추론 비용은 제품이 사용될 때마다 반복된다. 에이전트는 이 부담을 더 키운다. 파일을 읽고, 도구를 호출하고, 중간 결과를 확인하고, 여러 단계를 반복하기 때문이다. 각 단계의 작은 지연과 에너지 비용은 긴 작업 전체에서 누적되어 사용자 경험과 수익성 문제로 이어진다.

OpenAI는 Jalapeño가 이런 부하를 전제로 처음부터 설계됐다고 설명한다. 모델 상태와 생성 과정의 KV 캐시를 필요한 계산 및 네트워크 자원 가까이에 두어 데이터 이동을 줄이는 것이 핵심이다. 언어 모델 서비스는 긴 프롬프트를 처리하는 계산 중심 단계와 이후 토큰을 생성하는 메모리 대역폭 및 통신 중심 단계로 나뉜다. 한 단계에서만 강한 시스템은 실제 운영에서 충분한 속도를 내기 어렵다.

회사는 Jalapeño를 더 넓은 풀스택 전략의 증거로 제시했다. 초기 모델은 칩 설계와 bring-up을 도왔고, 최신 모델은 최적화와 프로그래밍을 지원하고 있다고 밝혔다. 일부 attention 및 mixture-of-experts 블록에서는 AI가 생성한 구현이 기존 인간 전문가 구현보다 1.5배에서 1.8배 빨랐다고도 설명했다. 다만 이 수치는 선택된 블록에 대한 결과이지 전체 모델 성능을 뜻하지 않는다.

OpenAI는 올해 말까지 Jalapeño를 자체 컴퓨팅 인프라에 배치하기 시작할 계획이며, 생산 자격 검증과 소프트웨어 성숙화도 계속 진행한다. 2세대와 3세대 설계도 이미 추진 중이라고 밝혔다. 벤치마크 주장은 실제 고객 트래픽에서 독립 검증이 필요하지만 방향은 뚜렷하다. AI 인프라 경쟁은 가장 큰 모델을 만드는 것에서 더 강력한 모델을 빠르고 효율적이며 감당 가능한 비용으로 계속 실행하는 쪽으로 이동하고 있다.