Google DeepMind의 ‘수백만 에이전트’ 경고: 출시 전 심사에서 상시 관제로 바뀌는 AI 보안

핵심 요약

AI 에이전트가 일어나고 있다. 여기서 에이전트란 사람이 매번 지시하지 않아도 목표를 받아 검색하고, 결제하고, 메일을 보내고, 다른 프로그램과 대화하는 자동 실행형 AI를 뜻한다. 그 이유는 Google DeepMind, Anthropic, Microsoft, OpenAI 같은 기업들이 챗봇의 다음 단계로 에이전트를 밀고 있고, 기업 고객도 인건비 절감과 업무 속도 향상을 위해 이를 빠르게 받아들이고 있기 때문이다. 이것이 의미하는 것은 AI 위험 관리의 무게중심이 “출시 전에 모델이 안전한지 한 번 평가하는 일”에서 “운영 중 수많은 에이전트가 어떻게 행동하는지 계속 지켜보고 고치는 일”로 이동한다는 점이다. 앞으로 12개월 동안 AI 업계의 핵심 질문은 “어떤 모델이 더 똑똑한가”가 아니라 “수백만 개의 똑똑한 자동 프로그램이 동시에 움직일 때 누가 멈출 버튼을 갖는가”가 될 가능성이 크다.

무엇이 일어나고 있는가

Google DeepMind가 던진 질문: 수백만 에이전트가 서로 말을 걸면 무슨 일이 생기나

2026년 6월 12일 보도된 MIT Technology Review 기사에서 Google DeepMind는 온라인에서 수백만 개의 AI 에이전트가 서로 상호작용하는 상황의 위험을 연구하기 위해 외부 연구를 지원하고 있다고 밝혔다. 이 회사의 AGI 안전 및 정렬 연구를 이끄는 Rohin Shah는 대중 시장용 에이전트가 본격화되면 지금과 다른 종류의 문제가 생긴다고 설명했다. 챗봇 하나가 틀린 답을 하는 문제와, 수많은 자동화된 에이전트가 서로 협상하고 모방하고 경쟁하면서 인터넷 전체의 행동 패턴을 바꾸는 문제는 성격이 다르다. 전자는 자동차 한 대의 브레이크 고장에 가깝지만, 후자는 도로 위 신호 체계 전체가 예상 밖으로 작동하는 문제에 가깝다.

이 사건이 일회성이 아닌 이유는 이미 업계의 제품 방향이 ‘대화형 AI’에서 ‘행동형 AI’로 이동하고 있기 때문이다. Microsoft는 Copilot을 업무용 소프트웨어 전반에 심고 있고, OpenAI는 2025년 이후 도구 사용과 작업 자동화 기능을 계속 강화해 왔다. Anthropic도 Claude 계열 모델을 단순 답변기보다 코딩, 문서 처리, 기업 업무 보조에 맞춰 발전시키고 있다. Boston Consulting Group은 최근 “Agentic AI Is Rewriting the Rules of Data Risk Management”라는 보고서에서 에이전트형 AI가 데이터 위험 관리의 규칙 자체를 바꾸고 있다고 지적했다. 여기서 핵심은 AI가 더 이상 문서를 읽고 요약하는 데 그치지 않고, 문서에 접근한 뒤 판단하고 실행까지 한다는 점이다.

업계 반응도 단순한 기대감만은 아니다. Google DeepMind의 Rohin Shah는 “우리는 많은 에이전트가 서로 상호작용할 때 나타날 수 있는 새로운 실패 양식을 이해해야 한다”는 취지로 말했다. Gartner 역시 2026년 관련 분석에서 “AI 거버넌스에는 정책 이상의 것이 필요하다”고 강조했다. 이 말은 회사 내부 규정집에 “AI를 책임 있게 쓰자”라고 적는 것만으로는 부족하다는 뜻이다. 실제로 에이전트가 결제 권한, 고객 데이터 접근 권한, 코드 배포 권한을 갖는 순간, 규정은 종이 문서가 아니라 실시간 제어 장치가 되어야 한다.

NIST의 수학적 증명: AI 보안은 ‘검사 완료’가 아니라 ‘계속 업데이트’다

같은 흐름에서 미국 국립표준기술연구소, 즉 NIST는 AI 시스템 보안이 지속적 감시와 업데이트 모델로 이동해야 한다는 수학적 근거를 제시했다. NIST가 언급한 연속 감시 및 업데이트 모델은 쉽게 말해, AI를 한 번 시험하고 “합격” 도장을 찍는 방식이 아니라 실제 사용 중 성능과 위험을 계속 측정하고 필요하면 즉시 고치는 방식이다. 이는 병원에서 건강검진을 1년에 1번 받는 것과, 중환자실에서 심박수와 산소포화도를 실시간으로 보는 것의 차이에 가깝다. 에이전트형 AI가 중요한 업무를 맡을수록 후자의 방식이 필요해진다.

이 패턴은 다른 곳에서도 반복된다. Cloudflare는 “Your AI bill is out of control. Cloudflare can fix it now”라는 글에서 기업의 AI 사용 비용이 통제하기 어려워지고 있다고 지적했다. 비용 문제처럼 보이지만, 본질은 관측 가능성의 문제다. 어떤 팀의 어떤 에이전트가 어떤 모델을 얼마나 호출하고, 어떤 데이터를 외부 API로 보내며, 어떤 결과를 자동 실행했는지 모르면 비용도, 보안도, 책임도 관리할 수 없다. PYMNTS.com도 Anthropic의 30일 데이터 정책이 기업 AI 거버넌스의 빈틈을 드러냈다고 분석했다. 데이터가 어디에 남고 얼마나 보관되는지 모르는 조직은 에이전트에게 더 큰 권한을 줄수록 더 큰 불확실성을 떠안는다.

또 다른 사례는 정부 영역이다. Fierce Healthcare는 Bipartisan Policy Center 데이터를 인용해 2025년 미국 보건복지부 산하 기관의 AI 사용이 급증했고, 특히 FDA의 AI 사용이 148% 증가했다고 보도했다. 의료, 식품, 의약품처럼 국민 안전과 직결된 기관에서 AI 사용이 늘어난다는 것은 단순한 생산성 실험이 아니다. 잘 쓰면 심사 속도와 행정 효율을 높이지만, 잘못 쓰면 승인 판단, 민감 정보 처리, 책임 소재가 흔들릴 수 있다. 그래서 NIST, Gartner, BCG, Google DeepMind가 서로 다른 언어로 같은 방향을 가리키고 있다. AI는 이제 배포 전 심사 대상이 아니라 배포 후에도 계속 관제해야 하는 움직이는 시스템이다.

왜 이런 일이 벌어지는가

챗봇보다 에이전트가 돈이 되기 때문이다

첫 번째 원인은 경제적이다. 챗봇은 질문에 답하지만, 에이전트는 일을 끝낸다. 기업 입장에서 “이번 분기 영업 리드를 정리해줘”라는 요청에 표를 만들어 주는 AI와, 고객 목록을 찾고, 우선순위를 매기고, 이메일 초안을 쓰고, 일정까지 잡는 AI의 가치는 다르다. 후자는 실제 직원의 업무 흐름 일부를 대체하거나 보조할 수 있기 때문에 예산을 끌어오기 쉽다. Microsoft가 Copilot을 Office, Teams, Dynamics에 붙이고, Salesforce가 에이전트형 기능을 고객관리 소프트웨어에 통합하는 이유도 여기에 있다.

이 원인을 뒷받침하는 데이터는 기업 자동화 시장의 성장 속도에서 보인다. MIT Technology Review는 하이브리드 인간-AI 기업에 관한 글에서 AI 에이전트 도입이 향후 2년 동안 최대 300% 증가할 수 있다는 전망을 소개했다. 이 수치가 과장되어 있더라도 방향은 분명하다. 기업은 단순 생성형 AI(글, 이미지, 코드처럼 새 콘텐츠를 만드는 AI)보다 업무 결과를 만들어 내는 에이전트에 더 많은 돈을 낼 가능성이 높다. 컨설팅 회사, 클라우드 회사, 소프트웨어 회사가 모두 “에이전트”라는 단어를 전면에 내세우는 이유는 기술적 유행어라서가 아니라, 고객에게 투자수익률을 설명하기 쉽기 때문이다.

문제는 돈이 되는 기능일수록 위험도 커진다는 점이다. AI가 문장을 잘못 쓰면 사람이 고칠 수 있지만, AI가 잘못된 고객에게 계약서를 보내거나, 내부 파일을 외부 협력사에 전달하거나, 실제 결제를 실행하면 피해는 즉시 발생한다. 그래서 에이전트의 위험은 모델의 지능 자체보다 권한의 크기와 연결된다. Anthropic의 최고경영자 Dario Amodei는 여러 인터뷰에서 강력한 AI 시스템에는 더 강한 안전장치가 필요하다는 취지로 말해 왔다. 에이전트 경제가 커질수록 기업은 “무엇을 할 수 있는 AI인가”와 동시에 “무엇은 절대 못 하게 막을 것인가”를 설계해야 한다.

이 원인은 쉽게 해소되지 않는다. 경쟁사가 에이전트로 업무 시간을 줄였다고 발표하면, 다른 회사도 비슷한 기능을 도입하라는 압박을 받는다. AI 기능을 늦게 도입한 임원은 보수적이라는 평가를 받을 수 있고, 너무 빨리 도입한 임원은 사고가 나면 책임을 져야 한다. 이 딜레마 때문에 기업은 완벽한 안전 기준이 마련되기 전에 도입을 시작하고, 사고가 나면 뒤늦게 통제 장치를 붙이는 방식으로 움직일 가능성이 크다.

에이전트는 ‘예측 가능한 소프트웨어’가 아니라 ‘상황에 반응하는 직원’처럼 움직인다

두 번째 원인은 기술적이다. 전통적인 소프트웨어는 대체로 사람이 정한 규칙에 따라 움직인다. 버튼을 누르면 정해진 코드가 실행되고, 같은 입력에는 같은 결과가 나오는 경우가 많다. 그러나 대형언어모델(많은 문장을 학습해 다음 말을 예측하고 생성하는 AI)을 기반으로 한 에이전트는 상황에 따라 다른 경로를 선택한다. 검색 결과가 다르면 판단이 달라지고, 다른 에이전트의 답변이 달라지면 후속 행동도 달라진다. 그래서 에이전트는 계산기보다 신입 직원에 가깝다. 대체로 유능하지만, 가끔은 회사 규칙을 오해하거나, 너무 자신 있게 틀린 결정을 내릴 수 있다.

이 특성은 다중 에이전트 환경에서 더 복잡해진다. 한 에이전트가 가격을 낮추고, 다른 에이전트가 이를 따라 하고, 또 다른 에이전트가 그 패턴을 악용하면 사람은 원인을 추적하기 어렵다. 금융시장의 알고리즘 거래에서 이미 비슷한 현상이 있었다. 2010년 5월 6일 미국 증시의 ‘플래시 크래시’는 자동화된 거래 시스템들이 짧은 시간에 서로 영향을 주며 급락을 키운 사례로 자주 언급된다. AI 에이전트가 전자상거래, 광고 입찰, 고객 상담, 채용, 보험 심사에 널리 들어가면 유사한 자동 반응 사슬이 디지털 경제 전반에서 생길 수 있다.

Google DeepMind가 수백만 에이전트의 상호작용을 걱정하는 이유도 여기에 있다. 개별 에이전트 하나하나는 안전해 보여도, 여러 에이전트가 모이면 새로운 행동이 나타날 수 있다. 이를 창발(작은 요소들이 모였을 때 개별 요소만 봐서는 예상하기 어려운 전체 행동이 나타나는 현상)이라고 부른다. 개미 한 마리는 단순한 규칙을 따르지만, 개미 떼는 복잡한 길을 만들고 먹이를 운반한다. AI 에이전트도 마찬가지다. 한 개의 에이전트를 실험실에서 시험하는 것만으로는 인터넷 규모에서의 행동을 충분히 예측하기 어렵다.

여기서 기존 보안 방식의 한계가 드러난다. 지금까지 많은 기업은 소프트웨어를 출시하기 전에 취약점 점검, 권한 검토, 침투 테스트를 했다. 하지만 에이전트는 배포 이후에도 모델 업데이트, 프롬프트 변경, 외부 도구 연결, 사용자 행동 변화에 따라 성격이 바뀐다. NIST가 연속 감시와 업데이트를 강조하는 이유는 바로 이 동적인 성질 때문이다. 움직이는 강을 건너려면 1번 물 깊이를 재는 것으로 충분하지 않다. 계속 흐름을 봐야 한다.

데이터 접근권이 AI 위험의 새 핵심 자산이 됐다

세 번째 원인은 데이터다. 에이전트가 유용하려면 회사 내부 자료, 고객 기록, 일정표, 결제 시스템, 코드 저장소에 접근해야 한다. 하지만 바로 그 접근권 때문에 위험이 커진다. 예전의 챗봇이 회사 밖에 있는 백과사전을 보는 학생이었다면, 기업용 에이전트는 사무실 열쇠와 법인카드를 가진 인턴에 가깝다. 인턴이 똑똑할수록 좋은 일을 많이 할 수 있지만, 권한 관리가 허술하면 사고 범위도 커진다.

Boston Consulting Group이 에이전트형 AI가 데이터 위험 관리의 규칙을 바꾼다고 말한 배경도 여기에 있다. 데이터 위험 관리는 원래 누가 어떤 파일을 볼 수 있는지, 개인정보가 어디에 저장되는지, 외부로 나가는 정보가 무엇인지를 관리하는 일이다. 그런데 에이전트는 단순히 파일을 ‘읽는’ 것이 아니라 여러 파일을 조합해 새로운 판단을 만들고, 그 판단을 다른 시스템으로 전송할 수 있다. 예를 들어 영업 에이전트가 고객 불만 기록, 가격 정책, 계약 조건을 함께 읽고 맞춤 제안을 만든다면 생산성은 높아진다. 그러나 같은 과정에서 민감한 조건이 잘못된 고객에게 노출되거나, 내부 전략이 외부 도구로 전달될 위험도 생긴다.

Anthropic의 데이터 정책 논란이 기업 거버넌스의 빈틈을 드러냈다는 분석도 같은 맥락이다. 기업 고객은 AI 서비스를 쓸 때 입력한 문서가 학습에 쓰이는지, 얼마나 오래 저장되는지, 누가 접근할 수 있는지를 알아야 한다. 30일 보관이라는 숫자가 중요한 이유는 기간 자체보다 “기업이 그 기간과 목적을 정확히 이해하고 통제하고 있었는가”라는 질문 때문이다. 에이전트가 여러 서비스와 연결될수록 데이터는 한 회사 안에 머물지 않는다. 클라우드, 협업 도구, 고객관리 시스템, 외부 검색 API를 오가며 흔적을 남긴다.

이 문제는 규정만으로 해결하기 어렵다. 회사가 “민감 정보를 외부 AI에 넣지 말라”고 말해도, 직원이 편의를 위해 붙여넣기를 하거나 에이전트가 자동으로 요약 자료를 전송하면 규정은 쉽게 무력화된다. 그래서 앞으로의 핵심은 사람을 믿는 것이 아니라 시스템이 민감 정보를 자동으로 감지하고, 권한을 최소화하고, 이상 행동을 멈추게 하는 것이다. 이는 공항 보안 검색대와 비슷하다. 모든 승객에게 “위험 물품을 가져오지 마세요”라고 말하는 것만으로는 부족하기 때문에 검색 장비와 절차가 필요하다.

무엇을 의미하는가

단기적으로 1~6개월 안에 가장 크게 바뀔 곳은 기업 보안, 클라우드 비용 관리, 내부 감사 부서다. 지금까지 AI 도입은 주로 최고디지털책임자나 혁신팀이 주도했지만, 에이전트가 실제 업무를 실행하기 시작하면 최고정보보안책임자와 법무팀의 권한이 커질 수밖에 없다. 기업들은 어떤 에이전트가 어떤 데이터에 접근했는지 기록하는 로그(컴퓨터 시스템의 행동 기록)를 더 촘촘히 남기려 할 것이다. Cloudflare, Microsoft Azure, Amazon Web Services, Google Cloud 같은 인프라 기업은 AI 호출량, 비용, 보안 이벤트를 한 화면에서 보여주는 관제 기능을 경쟁적으로 내놓을 가능성이 높다.

중기적으로 6~18개월 안에는 수혜자와 피해자가 갈릴 것이다. 수혜자는 AI 에이전트를 안전하게 연결하고 감시하는 도구를 가진 클라우드 기업, 보안 기업, 데이터 거버넌스 기업이다. 반대로 피해자는 “우리 직원들이 알아서 조심하겠지”라는 수준으로 AI를 도입한 조직일 가능성이 크다. 특히 금융, 의료, 공공기관처럼 데이터가 민감하고 책임 소재가 중요한 분야에서는 작은 사고도 큰 신뢰 손실로 이어질 수 있다. FDA의 AI 사용 증가처럼 공공 영역에서 AI 활용이 늘어날수록, 정부 기관은 민간 기업보다 더 엄격한 설명 가능성과 기록 보존 기준을 요구받을 것이다.

일반 독자의 삶에도 영향이 온다. 앞으로 고객센터에 문의했을 때 답하는 상대는 단순 챗봇이 아니라 환불 승인, 배송 변경, 요금제 조정까지 실제로 처리하는 에이전트일 수 있다. 병원 예약, 보험 청구, 은행 대출 상담에서도 AI가 서류를 검토하고 다음 단계를 자동으로 진행할 가능성이 커진다. 편리함은 커지지만, 잘못된 자동 판단이 내려졌을 때 “누구에게 항의해야 하는가”라는 문제가 더 중요해진다. 그래서 에이전트 시대의 소비자 권리는 빠른 답변을 받는 권리뿐 아니라, 자동 결정의 근거를 확인하고 사람에게 재검토를 요구할 권리까지 포함하게 될 것이다.

반론과 한계

가장 강력한 반론은 “수백만 에이전트의 위험은 아직 과장된 미래 시나리오”라는 주장이다. 현재 많은 기업용 AI는 여전히 제한된 권한 안에서 문서 요약, 초안 작성, 코드 보조 정도를 수행한다. 실제 결제, 계약 체결, 인사 평가처럼 민감한 실행은 사람 승인을 거치도록 설계된 경우가 많다. 따라서 당장 인터넷 전체가 에이전트들로 뒤덮이고, 이들이 통제 불가능한 상호작용을 일으킨다는 전망은 지나치게 앞서간 이야기일 수 있다. Gartner가 말한 거버넌스 강화도 기업 판매를 위한 컨설팅 언어로 과장될 여지가 있다.

이 분석의 한계도 분명하다. 에이전트 도입 속도는 기술 능력뿐 아니라 비용, 규제, 사용자 신뢰, 경기 상황에 좌우된다. Cloudflare가 지적한 것처럼 AI 비용이 빠르게 늘어나면 기업은 에이전트 확산을 늦출 수 있다. 또 NIST의 연속 감시 모델이 수학적으로 타당하더라도, 모든 중소기업이 이를 구현할 돈과 인력을 갖고 있는 것은 아니다. 정책 변수도 크다. 미국 연방정부가 주별 AI 법률을 막고 단일 기준을 만들지, 아니면 각 주가 각자 규칙을 세울지에 따라 기업의 대응 방식은 달라진다. Reuters가 보도한 것처럼 Anthropic은 연방 기준 없이 주 법률을 막는 데 신중해야 한다고 주장했는데, 이는 업계 내부에서도 규제 방향에 합의가 없다는 뜻이다.

또 하나의 불확실성은 기술 자체가 방어 도구도 함께 발전시킨다는 점이다. AI 에이전트가 위험을 만들지만, 동시에 AI는 이상 행동을 감지하고 악성 요청을 차단하는 보안 도구가 될 수 있다. 즉 공격과 방어가 동시에 자동화되는 셈이다. 이 경우 위험이 폭발적으로 커지기보다, 새로운 균형점이 형성될 가능성도 있다. 다만 그 균형점이 사회적으로 받아들일 만한 수준인지, 그리고 사고가 나기 전에 도달할 수 있는지는 아직 알 수 없다.

앞으로 12개월 전망

낙관적 시나리오에서는 2026년 하반기부터 기업들이 에이전트 도입의 기본 원칙을 빠르게 정리한다. 중요한 조건은 권한 최소화, 실시간 로그, 사람 승인 절차, 데이터 보관 정책이 제품에 기본값으로 들어가는 것이다. NIST의 연속 감시 모델이 표준 논의의 중심이 되고, Google DeepMind와 Anthropic 같은 모델 기업이 다중 에이전트 안전성 테스트 결과를 더 공개한다면 시장은 비교적 안정적으로 성장할 수 있다. 이 경우 에이전트는 사람을 대체하는 공포의 상징이라기보다, 반복 업무를 줄이고 실수를 줄이는 디지털 동료로 자리 잡을 가능성이 있다.

비관적 시나리오에서는 작은 사고들이 누적되며 신뢰가 흔들린다. 예를 들어 한 기업의 영업 에이전트가 고객 데이터를 잘못 공유하거나, 금융 에이전트가 잘못된 자동 거래를 실행하거나, 공공기관의 AI 보조 시스템이 민감한 결정을 충분한 검토 없이 진행하는 사건이 발생할 수 있다. 이런 사고가 1~2건만 크게 보도되어도, 정치권은 강한 규제로 반응할 가능성이 높다. Politico와 Axios가 보도한 White House와 의회의 AI 법률 논쟁처럼, 미국에서는 이미 연방 기준과 주별 규제의 충돌이 중요한 쟁점이 되고 있다. 사고가 먼저 오고 표준이 나중에 따라오는 방식이 되면, 기업은 혁신보다 법적 방어에 더 많은 시간을 쓰게 된다.

지금 당장 주목해야 할 변수는 세 가지다. 첫째는 모델 기업들이 에이전트에게 어떤 기본 권한을 허용하느냐다. 둘째는 NIST 같은 표준 기관의 권고가 실제 조달 기준과 기업 계약 조건에 반영되는 속도다. 셋째는 클라우드와 보안 기업이 AI 사용 기록을 얼마나 투명하게 보여줄 수 있느냐다. 이 세 변수가 맞물리면 에이전트 시장은 신뢰를 얻고 커질 수 있다. 반대로 하나라도 빠지면 기업들은 편리함을 위해 보이지 않는 위험을 떠안게 된다.

앞으로 12개월은 에이전트가 얼마나 똑똑해지는가보다, 에이전트가 얼마나 관찰 가능하고 멈출 수 있는가를 시험하는 시간이 될 것이다. 사용자는 멋진 데모보다 실패했을 때의 복구 절차를 물어야 한다. 기업 임원은 “AI를 몇 개 도입했는가”보다 “AI가 한 행동을 얼마나 정확히 추적할 수 있는가”를 확인해야 한다. 정부는 혁신을 막지 않으면서도, 자동화된 결정이 시민의 권리를 침해하지 않도록 최소한의 기록과 이의제기 절차를 요구해야 한다.

결론

Google DeepMind의 수백만 에이전트 경고는 먼 미래의 공상과학 이야기가 아니다. 챗봇이 업무를 도와주는 단계를 지나, AI가 실제 행동을 실행하는 단계로 넘어가면서 위험의 형태가 바뀌고 있다. 핵심은 더 강한 AI를 막자는 것이 아니라, 더 강한 AI가 움직이는 과정을 계속 볼 수 있어야 한다는 점이다. 독자가 이 글에서 가져가야 할 단 하나의 메시지는 이것이다. 에이전트 시대의 경쟁력은 지능만이 아니라 관제 가능성에서 나온다.

출처 및 참고

MIT Technology Review, "Google DeepMind is worried about what happens when millions of agents start to interact" (2026-06-12) — https://www.technologyreview.com/
NIST, "Mathematical Proof Supports Transition to a Continuous-Monitor-and-Update Security Model for AI Systems" (2026-06-12) — https://www.nist.gov/
Boston Consulting Group, "Agentic AI Is Rewriting the Rules of Data Risk Management" (2026-06-12) — https://www.bcg.com/
Gartner, "AI Governance Needs More Than Policies" (2026-06-12) — https://www.gartner.com/
Cloudflare Blog, "Your AI bill is out of control. Cloudflare can fix it now." (2026-06-12) — https://blog.cloudflare.com/
Reuters, "Anthropic urges US not to block state AI laws without setting federal standards" (2026-06-12) — https://www.reuters.com/
Fierce Healthcare, "AI use is surging across HHS, jumping 148% at the FDA in 2025, Bipartisan Policy Center data finds" (2026-06-12) — https://www.fiercehealthcare.com/

커뮤니티