생성형 인공지능(AI) 도입에 대한 기업들의 기대는 높지만 실질적 성과는 미흡한 것으로 드러났다. 전사적 도입보다 작은 사례부터 시작해 조직문화를 함께 개편하는 기업만이 진짜 효과를 보고 있다. 개발 라이프사이클 전반에 AI를 접목하려면 점진적 접근과 프로세스 재정립이 필수라는 분석이다.
김유미 한국IBM 테크놀로지사업부 실장은 <블로터> 주최로 26일 서울 서초구 양재동 엘타워에서 열린 'AI 클라우드 퓨처 서밋 2026'에서 "IBM 기업가치연구소 조사 결과 2026년이 되면 90% 이상 기업이 생성형 AI를 도입할 것으로 전망했지만 올해 1000개 조직 대상 조사에선 기대에 미치지 못했다는 답변이 나왔다"고 밝혔다. 실질 효과를 본 기업은 27%에 그쳤고, 투자수익률(ROI) 측면에서 이점을 확인한 곳도 23%에 불과했다.
기업들이 기대만큼 효과를 보지 못한 이유는 업무 방식을 바꾸지 않았기 때문이다. 생성형 AI를 일부 업무에 적용해 기능과 비용 측면에서 효과를 본 사례는 있지만 제품을 만드는 과정 전체에 생성형 AI를 도입해 업무를 재편한 경우는 많지 않다는 것이다. 앱 현대화를 추진하는 기업은 90% 이상이지만 실제 업무 방식을 AI 기반으로 현대화한 사례는 3분의 1 수준에 머물렀다.
효과를 본 기업들엔 공통점이 있었다. 김 실장은 "빠르게 제품을 만들고 피드백을 즉시 반영하는 과정을 반복한 기업들이 성과를 냈다"며 "하나의 사례에서 효과를 확인하고, 조직 문화를 함께 조정하면서 순차적으로 접목해야 생성형 AI가 조직에 맞는지 검증된다"고 설명했다. 작은 단위에서 시작해 점차 확대하는 방식이 실질적 이득으로 이어졌다는 얘기다.
많은 리더십이 단기간 내 전체 개편 효과를 기대하지만 현실은 다르다고 김 실장은 지적했다. 실행은 작은 단위에서 시작해 늘려가는 기업이 실제 성과를 거두고 큰 그림 차원에서 빠른 도입 효과를 바라는 경우에는 실패 위험이 커진다.
생성형 AI 도입으로 개발자 수를 줄일 수 있냐는 질문도 자주 나온다. 김 실장은 "개발자 인원을 줄이는 게 아니라 잘하던 사람이 더 잘하게 만드는 것"이라며 "숙련자는 더 나은 성과를 내도록, 신입 직원에겐 가이드북 역할을 한다"고 강조했다. 비숙련자에게 생성형 AI는 어드바이저로 기능한다는 설명이다.
AI를 개발에 접목하는 것은 단순 코드 생성이 아니라 앱의 구조와 아키텍처 설계부터 이해하는 것이라고 김 실장은 설명했다. 구조 파악 후 계획을 세우고, 해당 구조를 최적화하며, 결과물을 테스트하고 배포하는 전 단계에서 AI가 프로세스를 자동화하거나 검증할 수 있다. 운영 중에도 데이터를 수집하고 AI가 분석하는 식으로 전체 개발 라이프사이클에 AI를 녹여낼 수 있다.
AI 에이전트 기술도 주목받고 있다. 김 실장은 "에이전틱 AI의 핵심은 계획"이라며 "기존엔 사람이 직접 프로세스를 준수했지만 이제 AI가 각 실행 단계를 알려주고 피드백을 제공한다"고 설명했다. 생성형 AI가 좋으니 그냥 도입하면 된다는 오해를 경계해야 한다고도 덧붙였다.
김 실장은 "단순히 도입하는 데 멈추지 않고 프로세스를 재개편하는 것을 놓치지 말아야 한다"며 "ROI 관점에서 중요한 업무를 계속 추적하고, 효과를 극대화하려면 일하는 방식도 바뀌어야 한다"고 강조했다. 프로세스에 AI 도입을 고민하다 보면 프로세스 재정립이 이뤄지고 효용 가치도 올라갈 것이란 전망이다.