왜 기업의 AI 전략은 실패할까? AI 전략의 딜레마를 해소하는 두 가지 관점

[CTO Insights: The AI-CX Brief #45]

(English ver. is also available.)

최근 뉴욕 AI 서밋에서 제시된 NYU Stern의 AI 수석 아키텍트 Conor Grennan의 통찰은, 우리가 현재 AI 전략 수립에서 겪는 혼란의 핵심을 꿰뚫습니다. 기업들이 AI에 막대한 자원을 투입하고도 기대한 혁신을 얻지 못하는 근본적인 이유는 바로 AI를 하나의 단일체로 보고, 그 본질적인 두 가지 측면, 즉 ‘인프라(Infrastructure)’와 ‘역량(Capability)’을 혼동하고 있기 때문입니다. 우리는 이 치명적인 오류를 시정하고 AI 투자의 균형을 재조정해야 합니다.

---

1 | 기업의 AI 역량 확보 방안에 대한 오해

많은 기업 리더들은 AI 도입을 단순한 기술적 과제로 취급하며, 주로 ‘기술 스택’을 구매하고 구축하는 인프라 문제로만 여깁니다. 이것이 바로 AI 전략이 조직 내에서 표류하며 예상 ROI를 달성하지 못하는 근본적인 원인 (Pain Point)입니다.

Conor Grennan은 AI를 다음과 같이 구분하며 우리의 사고방식을 재정립할 것을 요구합니다. AI는 첫째, 데이터를 처리하고 조직하는 새로운 방식(인프라)이며, 둘째, 모든 사람에게 요구되는 새로운 사고방식(역량)입니다. 이 두 가지가 모두 혁신을 주도하는 핵심 동인임에도 불구하고, 우리는 이 둘을 통합된 하나의 ‘기술 프로젝트’로 취급함으로써, 결국 성공의 필수 요소인 ‘인적 요소’를 간과하게 됩니다.

AI as Infrastructure는 데이터 거버넌스, 보안, 확장 가능한 통합 기술 기반을 의미하며 ‘레이스카’에 비유됩니다. 반면, AI as Capability는 새로운 방식으로 사고하고 추론하며 AI를 업무 전반에 활용하는 ‘운전자’의 능력을 의미합니다. 조직이 ‘레이스카’만 완벽하게 구축하고 ‘운전자’ 훈련을 소홀히 할 때, 투자는 비효율로 귀결됩니다.

2 | 기업들의 AI 투자의 데이터로 본 두 가지 관점 혼동이 초래하는 문제와 기업 사례

이러한 인프라-역량 간의 투자 불균형은 AI 성과 격차를 극단적으로 확대합니다. OpenAI 2025 Enterprise Report의 통계는 이 문제를 명확히 보여줍니다. 보고서에 따르면, 최상위 5%의 근로자가 중간값 근로자에 비해 AI로부터 6배 더 많은 가치를 얻고 있습니다. 이들은 모두 동일한 AI 툴을 사용하고 있다는 점에서, 성과 차이는 기술의 우위가 아닌 인적 활용 역량에서 비롯된 것입니다. 이 통계는 ‘운전자’의 능력이 ‘자동차’의 성능을 압도할 수 있음을 시사합니다.

일례로 글로벌 유통업체 C사는 고객 서비스 개선을 위해 대규모 챗봇 시스템 구축 예산의 85% 이상을 고성능 서버 및 데이터 파이프라인 정제(인프라)에 집중했습니다. 하지만 인력 교육에 대한 투자가 미미했기 때문에, 직원들은 복잡한 고객 문제를 해결하기 위해 AI 툴을 활용하는 방법을 배우지 못했고, AI 도입 후 고객 만족도 개선율은 예상치의 절반에도 미치지 못했습니다. 막대한 기술 투자에도 불구하고 인적 역량 부족으로 인해 ROI가 급격히 저하된 전형적인 사례입니다.

한 소프트웨어 개발사 D사는 최신 AI 코딩 도우미를 완벽하게 통합했으나, 개발자들이 AI가 제안하는 코드를 비판적으로 검토하고 기존 아키텍처에 통합하는 방법을 배우지 못했습니다. 개발팀 내 AI 도우미 실제 사용률은 20% 미만에 그쳤습니다. 이는 기술적 완성도에도 불구하고 AI를 ‘새로운 업무 동료’로 받아들이는 문화와 역량 훈련이 부족했기 때문에, 투자금이 잠재력을 발휘하지 못하고 낭비된 사례입니다.

3 | 인프라로서의 AI: 견고한 기반 구축 및 ROI 관점 전략

인프라 투자는 AI 성공의 ‘신뢰성, 속도, 보안’을 보장하는 필수 기반입니다. 이 투자의 ROI는 단기 매출 증대보다는 위험 관리 및 운영 효율성 확보라는 전략적 가치로 접근해야 합니다.

미국 기업들의 AI 투자 집중 현황:

미국 기업들은 AI 인프라 확장에 공격적으로 투자하고 있습니다. Stanford University의 AI Index Report (2024)에 따르면, 2023년 한 해 동안 미국 기업들이 발표한 주요 AI 모델 및 시스템 투자는 2022년 대비 3배 이상 증가했으며, 특히 대규모 언어 모델(LLM) 구동을 위한 클라우드 컴퓨팅 인프라에 대한 투자가 주를 이루었습니다. 이 통계는 기업들이 ‘자동차(인프라)’ 구축에 얼마나 많은 자원을 투입하고 있는지 보여주지만, 이는 곧 기술 평준화의 시대가 오고 있음을 예고합니다.

인프라 투자(데이터 거버넌스, 보안 아키텍처)는 GDPR 같은 규정 위반 벌금이나 데이터 유출 사고로 인한 잠재적 손실을 회피하는 효과를 제공합니다. 가트너(Gartner)의 분석에 따르면, 강력한 데이터 거버넌스 시스템에 투자함으로써 기업들은 데이터 관련 규정 위반으로 발생하는 평균 손실을 25% 이상 줄일 수 있습니다.

IDC 보고서에 따르면, 데이터 과학자들은 데이터 정제에 계속 더 많은 시간을 사용할 것이며 2028년에는 전체 시간의 60% 이상을 사용할 것이라고 예측합니다. 클린 파이프라인 구축은 이 비효율적인 시간을 줄여 모델 개발 속도를 높이고 운영 비용을 절감합니다. 인프라 투자를 통해 이 시간을 30%만 단축해도, 팀의 모델 개발 속도가 두 배 가까이 빨라져 제품 출시(Time-to-Market) 주기를 획기적으로 줄이는 효과를 가져옵니다.

글로벌 금융 서비스 기업 A사는 규제 요구사항 때문에 자체 데이터 거버넌스 레이어 구축에 집중했습니다. 그 결과, 사기 방지 모델을 몇 시간 만에 업데이트 및 재배포할 수 있는 기반을 확보했으며, 이는 경쟁사 대비 위험 관리 능력에서 확고한 우위를 점했습니다. 이는 인프라 투자가 핵심 비즈니스 통제권과 컴플라이언스 신뢰성을 확보하는 전략적 자산임을 입증합니다.

4 | 역량으로서의 AI: 가치 추출 극대화 및 변화 관리 전략

AI as Capability에 대한 투자는 인력의 행동 변화를 유도하여, 구축된 인프라의 잠재력을 극대화하는 과정입니다. 이제 ‘운전자’ 훈련을 소홀히 해서는 안 됩니다.

마인드셋 전환 및 역할 기반 재설계: 리더십은 AI를 ‘공동 조종사’로 포지셔닝하고, 직무별 특성에 맞춘 구체적인 교육을 제공해야 합니다. Harvard Business Review의 연구에 따르면, AI 도구를 사용한 작업에서도 인간의 판단력과 비판적 사고 능력이 최종 성과에 미치는 영향은 40% 이상으로 나타났습니다. 따라서 단순 툴 사용 교육이 아닌 ‘AI 산출물에 대한 비판적 검증’ 스킬이 필수입니다.

역량 강화와 ROI 증폭: 인력의 AI 활용 역량을 높이는 것이 인프라 투자의 가치를 기하급수적으로 증폭시킵니다.

글로벌 컨설팅 펌 B사는 AI Mindset 교육을 의무화하고 ‘전략적 프롬프트 엔지니어링’을 핵심 역량으로 지정했습니다. 그 결과, 컨설턴트들이 AI를 활용하여 자료 조사 및 초안 작성 시간을 평균 75% 단축했으며, 이는 절약된 시간을 전략 분석에 투입함으로써 인간 시간이 20% 증가하는 효과로 이어져 프로젝트의 질적 향상과 수익성 증대를 동시에 달성했습니다. B사의 사례는 인력 역량 강화 투자가 기술 인프라의 가치를 몇 배로 증폭시킬 수 있음을 증명합니다.

5 | AI 인프라 투자와 변화관리의 지속 가능한 연동 전략

가장 어려운 과제는 인프라 투자(대규모 장기 프로젝트)와 인력 변화관리(지속적인 교육 및 문화 투자)를 어떻게 단절되지 않고 지속 가능하게 연결할 것인가입니다. 성공적인 기업들은 이 두 축을 ’가치 피드백 루프(Value Feedback Loop)’를 통해 통합하여 서로의 ROI를 증폭시킵니다.

핵심은 이 루프를 시스템화하고 조직 구조에 내재화하는 것입니다.

구체적인 지속 가능 연동 Action Items:

1. 교차 기능 AI 거버넌스 위원회 설립: CTO, CHRO(최고인사책임자), 주요 비즈니스 라인 리더가 참여하는 영구적인 위원회를 설립하십시오. 이 위원회는 인프라팀의 기술 로드맵과 인사팀의 역량 강화 로드맵이 매 분기마다 서로의 목표에 맞춰 조정되도록 감독해야 합니다.

2. ‘역량 주도 투자’의 의무화: 새로운 인프라 프로젝트를 제안할 때, 해당 기술 투자가 조직의 특정 역할(예: 영업팀, 재무팀)에 가져올 구체적인 ‘생산성 향상 수치’ 또는 ’업무 시간 단축 비율’을 명시하도록 의무화하십시오. 예를 들어, “이 데이터 레이크 구축은 데이터 사이언티스트의 데이터 준비 시간을 30% 줄여 모델링 시간을 50% 늘릴 것입니다”와 같이 인프라 투자가 인력의 역량 향상 관점에서 정당화되어야 합니다.

3. 구조화된 ‘휴먼-인-더-루프(Human-in-the-Loop)’ 피드백 시스템 구축: AI 도구를 사용하는 모든 직원들이 AI의 산출물에 대한 오류, 부정확성, 비효율성 등을 즉시 보고할 수 있는 시스템을 구축하십시오. 이 보고 데이터는 IT 인프라팀의 데이터 정제(Data Cleansing) 백로그 및 모델 엔지니어링 개선 작업에 가장 높은 우선순위로 즉시 반영되어야 합니다. 이 시스템을 통해 인력의 경험이 다음 인프라 투자의 동력으로 작동합니다.

4. 예산의 연동 및 공동 승인: 인프라 예산(CapEx/장기)과 역량 강화 예산(OpEx/단기 교육, 컨설팅)을 분리하되, 주요 AI 이니셔티브에 대해서는 두 예산을 반드시 공동으로 승인하고 관리해야 합니다. 인프라 구축이 완료되었음에도 역량 예산이 삭감되는 기존의 오류를 방지해야 합니다.

McKinsey & Company의 연구에 따르면, 글로벌 제조 기업 F사는 공장 운영 최적화를 위해 AI 인프라를 구축했습니다. F사는 IoT 센서 데이터의 실시간 처리를 위한 엣지 컴퓨팅 인프라를 구축하는 동시에, 현장 엔지니어들에게 AI 기반의 예측 유지보수 툴을 제공하고 툴 사용률 90% 달성을 인센티브 지표로 설정하며 두 축을 연동했습니다. F사처럼 운영 효율화와 인력 교육을 병행한 기업은 AI 도입 후 평균적으로 운영 비용을 15% 이상 절감했습니다. F사의 경우, 예측 유지보수 정확도가 85%에 도달했고, 이는 예상치 못한 장비 다운타임을 70% 감소시켰습니다. 현장 인력은 AI를 통해 절약한 시간을 새로운 공정 개선 아이디어를 제출하는 데 활용했으며, 이 피드백이 다시 인프라의 다음 단계 업그레이드를 이끌어냈습니다.

인프라 투자와 변화 관리는 단절된 프로젝트가 아닙니다. 이들은 서로의 ROI를 증폭시키고, 조직이 AI 시대를 지속 가능하게 주도할 수 있도록 하는 강력한 통합 시스템입니다.

---

6 | CTO Insights

AI 전략의 성공은 ‘레이스카’와 ‘운전자’라는 두 가지 축의 균형에 달려 있습니다. 인프라 투자는 위험을 관리하고 운영 효율성을 높이는 ‘기반’이며, 역량 투자는 그 기반 위에서 혁신을 실현하고 가치를 추출하는 ‘엔진’입니다. 기술이 평준화될수록, 인적 역량(운전자)이 곧 가장 강력하고 모방 불가능한 경쟁 우위의 해자(The Moat)가 됩니다. 이제 우리는 이 두 축에 대한 투자를 명확히 분리하고 상호 연동시켜, 조직 전체가 AI 시대를 지속 가능하게 주도할 수 있도록 해야 합니다.

---

저자 소개: 안종훈 (Joey Ahnn, UCLA 컴퓨터 과학 박사)님은 SSG.COM의 CTO (한국 E-커머스 3위)이자 SSG Pay의 이사회 이사 (한국 핀테크 4위), 이마트의 전직 CTO/CPO (한국 리테일 1위), Target (미국 리테일 2위), 그리고 삼성 리서치 아메리카 (미국 전자제품 2위)에서의 테크 리더 경력을 바탕으로, AI+DT (AX), 애자일(Agile), 그리고 리테일 리더십 분야에서 깊은 전문성을 활용하고 있습니다. 더 자세한 정보는 LinkedIn 프로필에서 확인할 수 있습니다.

---

#AISummit #CTOInsights #AIGovernance #DigitalTransformation #AIROI #InfrastructureVsCapability #ChangeManagement #AIStrategy #FutureOfWork #TechLeadership