AI 시대, 지금이라도 지식을 구조화하자

AI가 이해하지 못하는 지식은 래거시 지식이 될 것이다.

2024년까지만 해도 LLM이 대답만 해줘도 사람들은 열광했다. 하지만 AI를 업무에 활용하려고 하니까 AI가 만들어내는 거짓정보가 문제가 되었다. 그걸 RAG라는 기술로 해결해서 성공한 스타트업이 Perplexity이다. 이제 AI는 AI를 만든 지식정보를 넘어서 인터넷의 정보를 습득하여 답변을 만들어낸다. 점점 구글링조차 구시대의 기술이 되어서 AI를 통해 지식을 얻거나, 추천 알고리즘에 따라 지식을 얻게 되고 있다. 이러다 보면 AI가 처리하지 못하는 지식은 곧 있으면 필요 없는 지식이 될 것이다. 래거시 기술처럼 지식도 래거시 지식이 되는 것이다. AI가 이해하고 처리할 수 있는 지식의 형태가 지식의 표준이 되는 것이다.

RAG: AI 지식 활용의 핵심 기술

최근 AI 트렌드의 중심에는 'RAG(Retrieval-Augmented Generation)'라는 기술이 있다. 이는 LLM(Large Language Model)의 한계를 보완하기 위해 등장했다. 기존 LLM은 방대한 지식을 학습했지만, 실시간성이나 특정 분야의 정확도, 신뢰성 면에서는 부족함이 있었다.

RAG는 이러한 문제를 해결한다. 외부 데이터베이스나 인터넷에서 관련 정보를 검색한 뒤, 이 검색된 정보를 바탕으로 LLM이 답변을 생성하는 방식이다. 이를 통해 LLM은 97% 적은 토큰으로도 더욱 정확하고 신뢰성 높은 답변을 만들어낼 수 있다. 더 좋은 LLM 모델이 발전해 가는 것과는 별개로 RAG 기술도 별도로 발전해갈 것이다. AI가 쉽게 활용할 수 있는 지식정리방식이 필요하다.

구조화되지 않은 지식은 '레거시'가 된다

RAG 기술을 통해 AI가 정보를 습득하고 정리하면서 구글검색조차 옛날일이 되어가고 있다. 앞으로는 사람들이 정보를 얻을 때 AI를 사용할 텐데 그럼 AI가 처리하지 못하는 지식은 앞으로 어떤 가치를 가질까? 어쩌면 AI가 접근하고 처리할 수 있는 지식이 곧 '지식의 표준 포맷'이 될지도 모른다. 표준이 되지 못한 지식은 '레거시 지식'이 되어 잊히거나 쓸모없어질 위험이 있다. 지식 노동자에게 이는 치명적인 위협이다. 앞으로의 지식 노동은 LLM을 활용한 'Agent'의 형태로 통합될 가능성이 높다. Agent가 활용할 수 있는 지식으로 노동이 이뤄질 것이다. 그렇다면 "지금이라도 지식을 구조화해야 한다."

어떻게 지식을 'AI 친화적'으로 구조화할 것인가

지식을 구조화한다는 것은 지식을 논리적이고 계층적으로 정리하는 것을 의미한다.
LLM이 RAG를 통해 정보를 효율적으로 분석할 때 가장 중요한 것은 바로 '계층 구조'이다. 정보가 어느 카테고리에 속하는지가 명확해야 한다. 업무에 필요한 지식을 계층화하여 구조화하면 RAG 기술의 '청킹(Chunking)'을 최적화하여 AI가 정보를 더욱 정확하고 빠르게 이해할 수 있도록 돕는다.

구체적인 지식 구조화의 원칙은 다음과 같다:

• 계층 구조 활용: H1-H2-H3와 같은 마크다운 헤딩을 활용하여 글의 논리적 흐름을 명확히 한다.
• 간결하고 직설적인 문체: 핵심을 빠르게 전달할 수 있도록 불필요한 수식이나 복잡한 문장을 피한다.
• 두괄식 작성: 핵심 정보는 서두에 배치하여 AI가 가장 중요한 내용을 먼저 파악할 수 있도록 한다.
• 핵심 강조 표현: '가장 중요한 점은', '핵심 포인트는' 등의 문구를 활용하여 주요 내용을 명확히 드러낸다.

예를 들어, 네트워크 운용 분야에서는 '표준 config'와 같은 정보를 구조화하고 정리하는 것이 시급하다. 표준 config는 네트워크 장비에 들어가는 설정정보라고 할 수 있는데 문제는 이 약속들이 오랜 시간 동안 업데이트 되면서 config 한줄한줄이 어떤 의미였는지 의미가 퇴색된다는 점이다. 바이러스나 DDoS공격으로 인해 필터를 걸어서 IP를 차단하는데 이건 경험에 기반한 규칙이기에 나중사람은 왜 차단했는지 모를 때도 있고, 새 장비를 설치할 때 그런 정보를 빼놓을 때도 있다.
이런 정보가 구조화되어 있으면 AI를 활용해서 config를 검토하고 운용자에게 운용정보를 알려줄 수도 있다. 물론 이런 일을 대비하기 위해 SDN으로 config를 구조화하고 자동화하는 시스템이 있긴 하지만 SDN은 rule에 따라 정해지기에 운용자가 SDN의 rule을 이해하지 못하고 넘어가는 경우가 많다. 그러다 보니 해당 규칙이나 설정이 어떻게 이뤄지는지 모르기에 SDN 운용하는 사람과 현장운용자 간 공감대가 다를 수 있다.
LLM과 RAG를 활용하면 이런 맥락을 제공하기에 운용자에게 친화적인 시스템을 설계할 수 있다.

네트워크의 처리흐름을 논리도로 표현하고, 마크다운 형식으로 표준 config와 각 설정의 의미를 정리하고 각 config가 어떻게 동작하는지 맥락이 담겨있다면 사람과 AI가 협동하며 지식노동생산성이 몇 배로 증가할 것이다.

AI 시대, 지식 노동자의 생존 전략

2024년의 AI는 단순 도구였다면 2025년의 AI는 시스템이 되어가고 있다. 그동안은 AI가 지식을 알아서 습득하도록 했다면 이제는 나의 지식체계를 AI 친화적으로 설계하여 AI가 내 지식을 활용할 수 있도록 해야 한다. 어쩌면 가까운 미래에 지식전수자는 사람이 아닌 AI일지도 모른다.
개인적인 지식뿐 아니라 팀이나 조직 내에서 지식을 공유하고 관리하는 방식 또한 AI 친화적으로 변화해야 한다. 그렇지 않으면 빠른 시일 내에 (어쩌면 2026년에) 모든 지식과 기술들이 레거시가 되어 일과 함께 사라질지도 모른다. 일종의 생존전략으로 옵시디언을 추천한다. 옵시디언은 마크다운 문법으로 지식을 관리하기에 문서의 문법부터가 AI 친화적이다. 게다가 문서 간 연결이 쉽고 간편하다. 개인 업무를 옵시디언 등에 마크다운으로 관리하여 업무 지식 베이스를 구축하는 것이다. 회사에서도 비슷한 흐름을 제시하고 있는 게 모든 파일을 원드라이브에 업로드하고 팀문서는 셰어포인트에서 관리하는 걸 권장하고 있다. 개발부서에선 컨플루언스로 지식을 위키화 하고 있다.

1. 개인 지식 관리: Obsidian이나 다른 노트 앱에서 노트를 작성할 때, H1-H2-H3와 같은 마크다운 헤딩을 적극 활용하여 계층적 구조를 만들고, 핵심 내용을 서두에 배치하는 두괄식 작성을 습관화한다.
2. 문서 작성: 보고서, 제안서, 기술 문서 등 모든 공식 문서 작성 시에도 동일하게 명확한 구조와 간결한 표현을 적용한다. 특히 설명서나 절차서는 AI가 더 잘 이해하고 활용할 수 있도록 단계별로 명확하게 작성하는 연습을 한다.
3. 팀 내 공유: 현재 사용하는 지식 공유 시스템(예: Confluence, SharePoint 등에서 팀 지식을 구조화한다.

지식과 노하우가 AI에게 넘어가면 잘리는 거 아닌가 하는 생각도 해보았는데. AI가 이해할 수 있게 지식을 구조화할 수 있다는 건 해당 지식 업무 분야에서 AI를 운용할 수 있다는 의미가 된다. 해당 필드의 지식을 가지고 있으면서 AI를 운용할 수 있는 사람을 회사에서 자를지. 아니면 AI를 활용할 수 없는 업무 그 자체를 자회사로 넘겨버릴지는 안 봐도 뻔하다. 이미 올해 겪어보기도 했고.. AI를 활용할 수 없는 업무는 결국 자회사로 넘어간다. 그러니까 AI 친화적으로 업무를 변경하는 건 말 그대로 생존전략이다.