가트너, 2029년까지 개인정보 침해 대부분 AI 생성 추론에서 발생 전망
가트너(Gartner)는 2029년까지 대부분의 개인정보 침해 사고가 개인식별정보(PII)의 직접적인 유출이 아니라, 인공지능(AI)이 개인에 대해 생성한 추론에서 비롯될 것으로 전망했다.
개인정보 보호 위험의 중심이 기존의 ‘데이터 유출’에서 AI가 생성한 ‘인사이트 유출’로 이동하고 있다는 분석이다. 생성형 AI와 머신러닝 기술이 발전하면서 익명화되거나 집계된 데이터만으로도 개인의 건강 상태와 행동 패턴 등 민감한 정보를 유추할 수 있게 됐기 때문이다.
바트 빌렘센(Bart Willemsen) 가트너 수석 애널리스트는 “개인정보 침해 양상이 데이터 유출에서 인사이트 유출로 바뀌고 있다”며, “AI는 기존 데이터 통제에 구애받지 않고도 개인에 대한 심층적인 인사이트를 재현할 수 있어, 개인정보 보호 위험은 데이터 노출보다 AI 알고리즘이 개인에 대해 무엇을 추론하는지에 더 크게 좌우되고 있다”고 말했다.
기업들이 규제 준수와 비용 부담을 이유로 개인 데이터 보유량을 줄이고 있지만, 위협 행위자는 AI를 활용해 제한된 정보에서도 개인의 민감한 특성을 추론할 수 있다. 실제 기록이 직접 유출되지 않더라도 AI가 도출한 결론을 통해 개인의 건강 상태나 성향, 행동 특성 등이 드러날 수 있다는 설명이다.
가트너는 이 같은 추론 기반 공격이 기존 보안 체계에 포착되지 않는 경우가 많아 위험성이 더 크다고 지적했다. AI가 생성한 추론은 실제 데이터 유출 여부만을 감시하는 기존 탐지 체계로는 확인하기 어려우며, 오류나 편향이 포함될 경우에도 이를 설명하거나 바로잡기가 쉽지 않다는 것이다.
빌렘센 애널리스트는 “추론 공격은 실제 기록이 유출되지 않더라도 개인 민감 정보를 드러낼 수 있다”며, “이는 데이터 무결성을 훼손하고 탐지와 설명, 완화가 어려운 새로운 개인정보 침해 위험을 초래한다”고 설명했다.
이에 따라 기업의 개인정보 보호 전략도 개인 데이터의 저장과 접근 통제에 머물지 않고, AI 시스템이 개인에 관한 인사이트를 어떻게 생성하고 활용하며 이를 바탕으로 어떤 행동을 수행하는지까지 관리하는 방향으로 확대돼야 한다고 가트너는 강조했다.
가트너는 기업들이 AI 프로필의 오류와 편향, 무단 생성 위험에 대한 대응을 강화하면서 2028년까지 데이터 무결성 보호 지출이 기밀성 보호 투자와 비슷한 수준에 이를 것으로 전망했다.
빌렘센 애널리스트는 “개인정보를 데이터 보호 문제로만 인식하는 기업은 AI 생성 추론으로 인한 개인정보 침해 사고에 갈수록 취약해질 것”이라며, “앞으로 개인정보 보호 위험은 기업이 데이터를 어떻게 저장하는지보다 AI가 데이터를 어떻게 해석하는지에 더 크게 좌우될 것”이라고 말했다.
가트너는 추론 기반 개인정보 보호 위험에 대응하기 위해 AI 개발과 배포 전 과정에 개인정보 보호 중심 설계 원칙을 적용하고, 알고리즘 편향과 과적합, 의도하지 않은 추론 위험을 정기적으로 점검해야 한다고 권고했다.
또 차등 프라이버시와 합성 데이터, 개인정보 보호형 머신러닝 등 개인정보 보호 강화 기술을 도입하고, 데이터 수집 범위를 필요한 수준으로 제한하는 한편 엄격한 접근 통제와 적시 삭제를 통해 추론 공격에 활용될 수 있는 정보를 최소화해야 한다고 제안했다.
이와 함께 간접적인 악용 패턴과 추론 기반 위협을 식별할 수 있도록 고급 모니터링과 이상 징후 탐지 역량을 강화하고, AI가 수행할 수 있는 추론의 범위를 명확히 문서화해야 한다고 밝혔다. 민감한 데이터와 관련된 조치를 수행하기 전에는 사람이 AI의 추론 결과를 검증하는 ‘휴먼 인 더 루프(Human in the Loop)’ 체계를 의무화할 필요가 있다고 덧붙였다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
