대기업 업무현장에 AX 도입 1년차에 느끼는 병목과 허들 : 자비스는 있는데 토니스타크가 없다

네트워크 엔지니어로 입사를 했는데, 직무이동으로 BO로 옮겨지면서 내 업무 롤이 조직내 AX 도입과 활성화로 자리잡히게 되었다.

AX도입은 작년부터 사내에 E3 ~ E5 레벨의 MS Solution을 본격적으로 도입하면서 가속화 되었다.

그전엔 개발부서에서 업무 플랫폼 개발과 운영을 담당했는데 이젠 부서단위로 필요한 솔루션을 개별로 구축하도록 한다 (데이터 분석 조직 중 기능구조? 에 가가운 AX도입 구조를 가지고 있다. 각자 자체 개발하고 중앙에서 MS Solution 병목과 리소스를 제한하고 분배하는 방식이다)

 

작년엔 툴을 익히고 하고 있는 모든 업무를 AX의 문법으로 바꿔보려는 시도를 했었다. 당연히 어색하고 전부 새로 배우고 적용하면서 허들이 많고 러닝커브가 잇었다. 일년간의 고생 끝에 올해는 회의가 끝나면 바로 Copilot 이 요약한 회의록이 메일로 날아온다. Agent와 Copilot 이 업무 히스토리를 파악해서 KPI, RnR 등을 곧 잘 찾아준다.

 

그런데 이런 생각이 들었다.

AI가 도입되면서 진짜 업무시간이 줄었나?

줄어든 업무시간은 뭐로 채워진거지?

 

사람들은 정말 AI를 이용해서 스마트하게 일을 하고 있는건가?

아님 그냥 내가 만든 tool만 기계적으로 이용하는건가?

애초에 지금까지 일이라는게 어떻게 이뤄지고 있었지?

 

통신국사가 전국에 있다보니 한번씩 현장에 가보고 가서 무슨 문제가 있는지를 확인하는 업무가 있다.

일자체는 현장가서 사진찍고 추후 조치를 취하는 "듣기에는" 간단한 일이다.

사진을 찍어놓으면 사진만으로 어느국사인지, 어떤 문제가 있었는지 관리가 안되서 MS APPS로 이력을 관리하는 앱을 만들었다.

편리하고 앞으로 이력관리가 되어서 칭찬도 받고 호응이 좋았던 프로젝트였는데 문제는.. 사진과 이력을 저장하고 그 이후에 업무가 진행되지 않았다. 조사하는 사람, 조치하는 사람, 관리하는 사람, 지차제, 마을 이장 등등.. 문제를 발견하고 이력을 관리하고가 끝이 아니라 이후 사람을 통해 일이 해결되어야 하는게 그게 안되고 있었다. 사내에서 해결하는게 아니라 사외의 협력사를 거쳐서 해결해야하니까 비용문제 , RnR 문제 등등이 발목을 잡았다.

그럼 이게 AX로 업무를 효율화한게 맞을까.. 문제는 해결되지 않고 그냥 방치되어 있는데 말이다..

 

일이 빨라지는게 아니라

일이 빨라지는 것처럼 보이는 산출물이 많아졌다.

만약에 구조조정을 해서 이제 국사관리업무는 AX로 자동화가 되었으니 해당 부서는 없애도 좋다는 C레벨의 결정이 있으면 어떻게 되는걸까.

 

생산성을 따지는 기준이 문제발견과 문제해결이 되어야 하는데.. 그냥 문서만 많아지고 있다.

AI가 무지막지하게 빠르게 산출물을 뱉어내기전에는 사람이 일을 발견하고 일을 해결하고 그 다음에 문서가 남았다.

문서가 없는 부분이 업무현장에서는 더 많다. 나무가 쓰려져서 베어내는데 마을이장님한테 전기톱 빌리고 동네사람들이랑 같이 베어낸 나무를 공터에 정리하는 일은 문서에도 RnR에도 남지 않는다. 도와줘서 감사한 마음에 다같이 밥먹고 커피마시는걸로 지나갔다.

그런데 AI는 문서로 남은 결과만 학습했고 문서에 남지않은 일은 추론조차 하지 못한다. 서류에 없는 일을 추론하는건 할루시네이션이기 때문이다. 

 

Claude Code, Codex 같은 프로그램이 나오고

이걸 이용해서 앱을 개발하는게 아직도 hype이 되고 있다. (25년 하반기 ~ 26년 상반기 기준)

나도 만타라트 앱이 마음에 드는게 없어서 내가 해보자! 하고 만들어봤었다. 백엔드도 필요없고 플러터로 개발하면 멀티플랫폼에서 구동할 수 있으니까 나도 앱개발자가 될 수 있지 않을까 하는 생각도 들었다.

 

그런데 아무리 자동으로 리사이징이 된다고 해도. 사람의 미감은 어색한걸 너무나 잘 캐치한다. 

다양한 화면 크기와 거기에 대응하는 폰트의 배치, UIUX요소의 동적인 변화 (넓은 화면에선 크게 펼쳐지고 작은 화면에선 드롭다운으로 줄어드는 등) 을 하나하나 변경하고 수정하고 반영하다가 나도 AI 도 지쳐버렸다.

내 태블릿 화면과 맥북 화면 크기에 맞춰서 최적화하고 근야 개인적으로만 쓰고 있다.

 

AI를 업무와 (취미지만) 개발에 도입해서 MVP가 아닌 완결된 업무를 하려고 하니까 "LAST MILE" 문제가 어김없이 생겨난다.

쿠팡 같은 배송업체가 아무리 시스템을 최적화하고 AI를 기반으로 소비자 패턴을 분석해도 결국 고객에 도달하는 1마일의 병목을 해결하기가 어렵다는 것이다. AX도 그런 라스트 마일이 산재되어있다. 프로그램이든 업무자동화든 결국 일은 사람을 거쳐야 완결성을 지니게 되는데 (사람이 마지막에 도장찍어야 책임 지는 사람이 정해지고 월급 받는 사람이 나온다) AI 딸깍으로 뭘 하려고 하니까 아무리 RAG를 해보고 온톨로지를 구성해보고 그래프DB를 만들어봐도 이 문제가 해결되지 않는다.

 

내가 파이썬을 배우면서 가장 놀라운 점은 뭔가 불편했던 것들은 다른 사람들이 오픈소스로 공유를 해놓았다는 점이다. 

프로그래밍이야 말로 거인의 어깨위에 선다! 라는 말이 실감이 되는 분야이다. 

그래서 다른 사람들이 이걸 어떻게 해결하는지를 조사를 해봤다. 물론 AI로... 

 

결론은 AI는 모든 업무에서 같은 방식으로 생산성을 높이지 않는다.

 

Noy와 Zhang의 실험에서는 ChatGPT 사용자가 전문적 글쓰기 과제를 수행할 때 평균 소요 시간이 40% 감소하고 평가 품질이 18% 상승했다. 이는 생성형 AI가 특정 지식노동 과제에서 산출물 속도와 품질을 동시에 개선할 수 있음을 보여준다. 

 

반면 BCG 컨설턴트 대상 연구는 다른 그림을 보여준다. 해당 연구는 758명의 컨설턴트를 대상으로 GPT-4 활용을 실험했고, AI가 잘하는 과제에서는 성과가 개선됐지만 AI의 능력 경계 밖 과제에서는 성과가 나빠질 수 있음을 보였다. 연구진은 이를 jagged technological frontier라고 불렀다. AI가 잘하는 영역과 못하는 영역의 경계가 매끈하지 않고 들쭉날쭉하다는 뜻이다. 

 

또 2025년 METR의 경험 많은 오픈소스 개발자 대상 RCT에서는 AI 도구 사용 조건에서 작업 시간이 19% 더 길어졌다. 더 흥미로운 점은 개발자들이 사전에 AI가 24% 빠르게 해줄 것이라고 예상했고, 실제로 느려진 뒤에도 AI가 20% 빠르게 해줬다고 믿었다는 점이다. 이 연구는 특정 조건의 소규모 개발자 실험이므로 일반화에는 주의해야 하지만, 체감 생산성과 실제 생산성이 다를 수 있다는 점을 보여준다.

 

이런 결과는 내가 업무에서 느낀 답답함을 설명해준다.

AI나 AX의 능력이 분야에 따라 들쑥날쑥하다는 점이다. 그래서 일을 완결적으로 해주지 못한다.

내가 원한건 AI 딸깍으로 일이 완결되고 나는 그 결과물만 착취하는 거였는데. 내가 착취되어야 AI가 일을 완결해준다.

 

문제는 내가 잘 모를때 AI를 이용하면 너무나 그럴듯한 결과가 나온다. (별로 노력하지 않았는데 결과가 좋게 느껴지면서 일종의 도파민도 나온다)

내가 잘 아는 분야면 AI의 부족함이 눈에 보이고 이를 개선해서 완결된 일을 만들 수 있는데

잘 모르는 분야여서 AI를 딸깍해서 결과물을 만들고

AI 의 결과물을 그냥 받아들이면서 점점 결과물이 구려진다.

원래 인간의 결과물도 초안은 구리다. 그런데 AI의 결과물은 구리지 않아서 구리다. 

인간이 일을 할 때 혼나가며 욕을 먹어가며 결과물이 소비자의 니즈에 맞아간다. 그런데 AI는 혼내고 욕을 해도 다양한 버전의 어설프게 완성되어 보이는 결과물을 만들어온다. 요즘엔 이를 AI Slot이라고 부르는거 같다.

비슷한 미감의 홈페이지, 앱, 홍보물 등등..

아무리 결과물의 미감이 좋아보여도 소비자의 입장에서 동일한 공장제 제품같은 서비스가 늘어나면 피로감을 느끼고 구리게 느껴진다.

 

아이언맨을 오랜만에 다시보는데

토니스타크가 자비스에게 명령을 하는게 새삼 다르게 느껴졌다.

AI가 없을때는 자비스가 다 해주는거 같았는데, 지금보니까 아이언맨(토니스타크)가 아이언맨 슈트의 설계구조, 한계를 알고 있으니까

자비스가 경고해도 고도를 높혀서 연료를 얼려버려서 빌런을 이기는 장면이 나온다.

아크원자로를 다시 설계할 때도 자비스를 활용해서 설계도를 그리지만, 그 핵심은 토니 스타크의 아버지가 남겨놓은 유산이었다.

이런 아하 모먼트가 인간을 성장시키고, 완성된 결과물을 만드는데. AI가 이런 아하 모먼트를 느끼지 못하게 생각을 거세하는게 아닌가..

자비스만 남고 토니스타크가 없으면 울트론이 지배하는 거 아닌가.. 이런 생각이 들었다.

 

나 스스로도 자꾸 AI 딸깍을 위한 GEEK NEWS만 찾아보고 있고.. 

예전에 ML 배울 때는 책도 여러권 사서 봤는데.. LLM이나 Agent 시스템은 연구를 하거나 이해하려고 하지 않는다.

Codex에서 그냥 딸깍하면 되는데 책에 돈쓰는게 아깝고 바보같다는 생각도 했었다.

내 손으로 뭔가 공부하고 깨닫고 이해한다는 감각이 오랜전 일 처럼 느껴지는 요즘이다.

 

AI로 이미지를 생성하는 시대지만 사진을 찍는다라는 행위는 내가 직접 "미"를 찾아낸다는 감각이 있다.