Salesforce와 Nvidia, 기업 추론을 고객 데이터 가까이로 가져오다

Salesforce가 Dreamforce에서 Koa를 공개했다. 이는 회사의 첫 추론 모델이며, 기업 AI가 프런티어 연구소에 단순히 의존하는 방식에서 벗어나고 있음을 보여주는 대표적인 사례다. Koa는 Nvidia의 오픈웨이트 Nemotron 모델을 기반으로 구축됐고 Salesforce 생태계 안의 판매, 마케팅, 고객지원 업무에 맞춰 후처리 학습됐다. 회사는 이 과정에서 실제 고객 데이터를 사용하지 않았고 판매와 서비스 업무 패턴을 흉내 낸 합성 데이터를 활용했다고 밝혔다.

이번 발표가 중요한 이유는 추론 모델이 기업 AI에서 가장 가치 있고 비용이 큰 영역 중 하나가 되었기 때문이다. Koa 이전에 Agentforce를 쓰는 Salesforce 고객은 장기 실행 또는 다단계 작업을 회사의 AI gateway를 통해 Claude나 ChatGPT 같은 모델로 보낼 수 있었다. 이 방식은 프런티어 능력을 제공하지만 비용, 데이터 이동, 모델 출처, 범용 모델이 전문 업무에 적합한지에 관한 문제를 남긴다. Koa는 그 추론 계층의 더 많은 부분을 Salesforce의 통제된 환경 안으로 가져오려는 시도다.

Salesforce는 Koa를 연구 성과가 아니라 실무형 모델로 설명한다. 고객이 에이전트에게 맡기고 싶어 하는 서비스 문의 처리, 영업 지원, 마케팅 운영에 맞춰 조정됐다는 것이다. Nvidia의 역할도 중요하다. Nemotron은 많은 대안보다 데이터 출처가 명확한 미국산 오픈웨이트 기반 모델을 제공하며, Nvidia의 추론 아키텍처는 토큰 비용 절감과 효율성 향상을 내세운다. 에이전트가 수천 명의 직원이나 고객 상호작용에 쓰이는 기업 AI에서는 낮은 토큰 사용량이 벤치마크 점수만큼 중요할 수 있다.

Koa는 대형 소프트웨어 회사가 모델 연구소와 경쟁하는 방식의 변화를 보여준다. 모든 어려운 요청을 닫힌 프런티어 모델로 보내는 대신, 플랫폼은 자체 워크플로, 데이터 구조, 보안 요구사항을 이해하는 더 좁은 모델을 만들거나 조정할 수 있다. 그렇다고 OpenAI나 Anthropic의 필요성이 사라지는 것은 아니다. Salesforce는 Anthropic과 Claudeforce 협력도 발표해 고객 데이터가 Salesforce 기록 시스템 안에 남는 상태에서 Claude를 인터페이스로 사용할 수 있게 했다. 핵심은 유연성이다. 고객은 어떤 상호작용에는 프런티어 모델을, 반복적인 운영 추론에는 전문 모델을 원할 수 있다.

AI 연구소에 가해지는 전략적 압력은 분명하다. 기업 플랫폼이 실제 업무에 충분히 좋고, 더 싸게 운영되며, 관리하기 쉬운 모델을 제공할 수 있다면 일반 모델 제공자에게 흘러가던 가치를 가져올 수 있다. 또한 플랫폼은 사용자 인터페이스, 업무 맥락, 고객 관계를 통제한다. Koa 같은 모델은 모든 프런티어 벤치마크를 이길 필요가 없다. Salesforce 고객이 중요하게 여기는 업무를 예측 가능한 비용, 명확한 보안 경계, 충분한 추론 능력으로 완료하면 된다.

기업 구매자가 확인해야 할 다음 과제는 업무 특화 추론 모델이 실제 운영에서 측정 가능한 장점을 내는지다. 합성 데이터는 개인정보 위험을 줄일 수 있지만, 고객은 Koa가 지저분한 CRM 기록, 애매한 지원 사례, 규정 준수에 민감한 흐름을 어떻게 처리하는지 보려 할 것이다. Agentforce가 Koa, Claude, ChatGPT 또는 다른 모델 중 무엇을 선택하는지도 질문받게 된다. 이번 발표는 기업 AI 시장이 하나의 모델이 모든 것을 해결하는 단계가 아니라 프런티어 모델, 전문 모델, 게이트웨이, 거버넌스를 조합하는 더 층화된 단계로 들어섰음을 보여준다.