최근 글로벌 컨설팅 그룹인 KPMG가 자사의 최신 AI 보고서인 'Redefining excellence in the age of agentic AI'를 전격 철회하는 초유의 사태가 발생했습니다. 원인은 충격적이게도 AI의 환각(Hallucination) 현상으로 인한 허위 정보 기재였습니다. AI의 잠재력을 논하는 보고서가 정작 AI에 의해 오염된 셈입니다.
"우리는 모든 구성원이 AI의 책임 있는 사용 가이드라인을 준수할 것을 기대하며, 여기에는 콘텐츠 검증을 위한 인간의 감독(Human Oversight)과 독립적인 출처 확인이 포함됩니다." - KPMG 대변인
이번 사건은 단순히 한 기업의 실수를 넘어, Enterprise AI 도입 과정에서 발생할 수 있는 데이터 신뢰성 문제를 적나라하게 보여줍니다. 보고서에 언급된 UBS, 영국 국민보건서비스(NHS), 스위스 연방 철도 등 주요 기관들은 보고서에 담긴 자신들의 AI 활용 사례가 사실과 다르거나 오해의 소지가 있다고 지적했습니다. 이는 LLM(Large Language Model)이 사실 확인 없이 그럴듯한 문장을 생성하는 특성이 전문적인 비즈니스 분석 영역까지 침투했음을 시사합니다.
반복되는 컨설팅 업계의 AI 리스크
이러한 문제는 KPMG만이 아닙니다. 지난달에는 EY(Ernst & Young)가 로열티 보상 프로그램에 관한 보고서를 철회한 바 있는데, 이 역시 가짜 각주와 AI 환각 증세가 발견되었기 때문입니다. 생성형 AI를 활용한 생산성 향상이 '검증'이라는 필수 프로세스를 생략할 경우, 기업의 브랜드 신뢰도에 치명적인 타격을 줄 수 있음을 경고하고 있습니다.
아키텍트의 분석: Deterministic Validation의 필요성
시니어 아키텍트의 관점에서 이번 사태는 RAG(Retrieval-Augmented Generation) 아키텍처의 부재나 Grounding 프로세스의 결여가 불러온 전형적인 결과입니다. LLM은 기본적으로 확률론적(Probabilistic) 모델이며, 사실 관계를 판단하는 논리 엔진이 아닙니다.
- 데이터 출처 추적(Data Provenance): 기업용 AI 에이전트를 설계할 때, 생성된 모든 문장은 신뢰할 수 있는 소스(Raw Data)로부터 역추적 가능해야 합니다. 단순한 텍스트 생성이 아닌, 근거 문헌을 매핑하는 Source Attributions 기능이 필수적입니다.
- Human-in-the-Loop (HITL): AI가 초안을 작성하더라도 최종 승인 단계에서는 도메인 전문가의 검증이 강제되는 워크플로우를 아키텍처 수준에서 보장해야 합니다.
- Hallucination Detection 모델의 고도화: 최근 Python 기반의 다양한 프레임워크나 GPTZero와 같은 도구를 활용하여 생성된 결과물의 진위 여부를 판별하는 보조 AI를 배치하는 레이어드 아키텍처(Layered Architecture) 도입이 시급합니다.
결국 Agentic AI의 시대에서 가장 중요한 아키텍처적 요소는 '얼마나 똑똑한가'가 아니라 '얼마나 통제 가능한가'에 달려 있습니다.
원문 출처: KPMG pulls report on AI usage due to apparent hallucinations
댓글
댓글 쓰기