California 미신고 고위험 AI가 드러낸 복지 행정 자동화의 위험

핵심 요약

미국 주정부와 지방정부에서 고위험 AI가 조용히 확산되고 있다. 특히 복지 수급 심사, 의료 지원, 실업급여, 학교 행정처럼 시민의 생활에 직접 영향을 주는 영역에서 인공지능 시스템이 쓰이고 있지만, California가 일부 시스템을 제때 보고하지 못했다는 보도는 공공부문 감시 체계가 기술 도입 속도를 따라가지 못하고 있음을 보여준다. 그 이유는 예산 부족, 행정 인력난, 복지 부정수급 감시에 대한 정치적 압박, 그리고 민간 소프트웨어 업체가 제공하는 ‘자동화 패키지’의 매력 때문이다. 이것이 의미하는 것은 단순한 행정 효율화가 아니라, 가난한 사람과 취약계층이 가장 먼저 알고리즘 판단의 실험대에 오르는 새로운 공공 행정의 등장이다.

무엇이 일어나고 있는가

California의 미신고 고위험 AI, 행정 자동화는 이미 현장에 들어왔다

CalMatters는 2026년 6월 보도에서 California 주정부가 고위험 인공지능 시스템을 사용하고 있음을 인정했으며, 그중 일부는 전년도 보고 대상이었지만 누락됐다고 전했다. 여기서 고위험 인공지능은 단순한 문서 요약 도구가 아니라, 사람의 권리와 기회에 영향을 줄 수 있는 시스템을 뜻한다. 예를 들어 복지 수급 자격을 점검하거나, 사기 가능성을 표시하거나, 의료·주거·고용 관련 행정 판단을 보조하는 도구가 여기에 포함된다. 일반 시민 입장에서는 “컴퓨터가 서류를 빨리 처리한다” 정도로 보일 수 있지만, 실제로는 어떤 사람이 지원금을 받을지, 어떤 신청이 지연될지, 어떤 가구가 추가 조사를 받을지에 영향을 줄 수 있다.

이 사건이 중요한 이유는 California가 미국에서 기술 규제와 개인정보 보호 논의가 가장 활발한 주 중 하나이기 때문이다. California는 2018년 소비자 개인정보보호법을 통과시켰고, 실리콘밸리를 품은 지역답게 기술 기업과 규제기관이 동시에 밀집해 있다. 그런 주정부조차 자신들이 어떤 인공지능을 어디에 쓰는지 완전히 파악하지 못했다면, 예산과 인력이 더 부족한 다른 주와 지방정부의 상황은 더 취약할 가능성이 크다. 즉 이번 일은 한 주의 행정 실수가 아니라, 공공부문 전체가 “구매는 빠르게, 관리는 느리게” 움직이는 구조적 문제를 드러낸다.

업계와 시민단체의 반응도 이 지점에 모인다. Electronic Frontier Foundation은 최근 인공지능 규제가 “보복적이어서는 안 되고 합리적이어야 한다”고 주장했는데, 이는 기술을 무조건 막자는 이야기가 아니라 권력기관이 시민에게 영향을 주는 방식은 투명해야 한다는 의미다. 공공기술 연구자들은 오래전부터 “정부가 인공지능을 쓰는 순간, 오류는 단순한 버그가 아니라 행정처분이 된다”고 경고해 왔다. Meredith Whittaker Signal 대표도 인공지능 감시에 대해 “문제는 지능이 아니라 권력의 집중”이라고 말한 바 있는데, 복지 행정 자동화는 바로 그 권력 집중이 가장 약한 시민에게 작동하는 장면이다.

복지·의료·교육으로 번지는 자동화, 가장 약한 영역에서 먼저 실험된다

이번 사건 뒤에는 반복되는 패턴이 있다. 인공지능은 대개 기업의 마케팅 문구에서는 창의성, 생산성, 혁신의 언어로 포장되지만, 공공 행정 현장에서는 밀린 업무를 줄이고 비용을 절감하는 도구로 먼저 들어온다. 특히 복지 행정은 신청자가 많고 서류가 복잡하며 담당 공무원은 부족하기 때문에 자동화의 유혹이 강하다. 인공지능이 “사람을 대체한다”기보다 “사람이 다 볼 수 없는 신청서를 우선순위별로 분류한다”는 식으로 도입되지만, 바로 그 분류가 시민의 삶을 바꾸는 결정의 출발점이 된다.

Axios는 2026년 6월 미국 여러 주가 안전망 프로그램, 즉 저소득층을 위한 복지와 의료 지원을 관리하기 위해 인공지능을 받아들이고 있다고 보도했다. 여기에는 Medicaid 같은 공공의료, 식료품 지원, 실업 관련 서비스, 아동 보호와 같은 영역이 포함될 수 있다. 지방정부를 다룬 StateTech Magazine도 같은 시기 새로운 지침이 지방정부 인공지능 관리의 청사진을 제공한다고 전했는데, 이런 지침이 나왔다는 사실 자체가 이미 현장 사용이 상당히 진행됐다는 방증이다. 학교에서도 비슷한 일이 벌어진다. Wake County 교육청의 인공지능 정책 초안 논의나 Business Insider의 학부모 사례처럼, 교육기관은 학생의 과제, 평가, 표절, 교사 업무를 둘러싸고 이미 인공지능 정책을 급히 만들고 있다.

이 패턴은 낯설지 않다. 과거 행정 전산화가 처음 도입됐을 때도 정부는 “처리 속도 향상”과 “예산 절감”을 강조했지만, 오류가 발생하면 시민이 직접 증명해야 하는 부담이 커졌다. 인공지능은 그 문제를 한 단계 더 복잡하게 만든다. 기존 전산 시스템은 대체로 “조건 A면 결과 B”처럼 규칙이 비교적 분명했지만, 기계학습(많은 사례를 보고 스스로 패턴을 찾는 계산 방식) 모델은 왜 특정 신청을 위험하다고 판단했는지 설명하기 어렵다. 그래서 인공지능 행정은 효율을 높일 수 있지만, 동시에 책임 소재를 흐리게 만드는 기술이기도 하다.

왜 이런 일이 벌어지는가

공무원은 부족하고 신청은 폭증했다, 자동화는 비용 절감의 언어로 들어온다

첫 번째 원인은 행정 현장의 압박이다. 미국 주정부와 지방정부는 2020년 코로나19 이후 실업급여, 의료지원, 주거지원, 식품지원 신청이 급증하는 상황을 경험했다. 팬데믹이 끝난 뒤에도 물가 상승과 의료비 부담은 계속됐고, 복지 프로그램 담당 부서는 적은 인력으로 더 많은 신청을 처리해야 했다. 이런 환경에서 인공지능 도구는 “새로운 정책”이라기보다 “쌓인 민원을 처리하는 장비”로 받아들여진다. 마치 창고에 물건이 너무 많이 쌓였을 때 컨베이어벨트를 들여오는 것처럼, 정부는 복잡한 사회 문제를 처리 속도의 문제로 바꿔 바라보게 된다.

문제는 복지 행정이 단순 반복 업무만으로 구성되지 않는다는 점이다. 한 가구가 지원금을 신청할 때는 소득, 가족 구성, 장애 여부, 주거 상태, 병력, 이민 지위, 고용 기록처럼 민감한 정보가 얽힌다. 인공지능이 이 자료를 빠르게 분류할 수는 있지만, 왜 소득이 갑자기 줄었는지, 서류가 늦어진 이유가 가정폭력 때문인지, 주소가 자주 바뀐 것이 노숙 상태 때문인지는 숫자만으로 알기 어렵다. Virginia Eubanks는 저서 Automating Inequality에서 “가난한 사람들은 자동화 시스템의 초기 시험 대상이 된다”고 지적했는데, 이 말은 지금 복지 인공지능 논의에 그대로 적용된다.

데이터도 이 압박을 뒷받침한다. Pew Research Center가 2026년 발표한 미국인의 인공지능 인식 조사 제목은 챗봇과 스마트기기, 영향에 대한 견해를 다뤘는데, 대중의 사용 경험이 넓어질수록 정부 역시 “이미 시민이 쓰는 기술”이라는 명분을 얻는다. 동시에 정부 예산은 늘 충분하지 않다. 민간 업체가 “처리 시간을 30% 줄일 수 있다”거나 “사기 탐지 정확도를 높일 수 있다”고 제안하면, 정치인은 세금을 아낀다는 메시지를 얻고 기관장은 민원 적체를 줄일 도구를 얻는다. 그러나 처리 시간이 줄어드는 것과 공정성이 높아지는 것은 같은 말이 아니다.

이 원인은 쉽게 해소되지 않는다. 공공부문의 인력난은 단기간에 해결하기 어렵고, 복지 수요는 경기 변동과 고령화에 따라 계속 늘어날 가능성이 크다. 더구나 인공지능을 도입한 뒤 예산 절감 효과가 일부라도 보이면, 다시 사람을 충원하는 선택은 정치적으로 더 어려워진다. 자동화는 한 번 들어오면 임시방편이 아니라 기본 인프라가 되는 경향이 있다.

부정수급을 잡겠다는 정치적 압박이 ‘의심하는 기계’를 만든다

두 번째 원인은 복지 정책을 둘러싼 정치적 분위기다. 복지 제도는 늘 두 가지 압력을 동시에 받는다. 하나는 도움이 필요한 사람에게 빨리 지원하라는 요구이고, 다른 하나는 부정수급을 막아 세금을 보호하라는 요구다. 인공지능은 이 두 요구 중 특히 두 번째 요구와 잘 결합한다. “사람이 놓치는 사기 패턴을 기계가 찾아낸다”는 설명은 정치적으로 매우 매력적이기 때문이다.

하지만 사기 탐지 인공지능은 본질적으로 의심의 기술이다. 모델(입력된 정보를 바탕으로 결과를 예측하는 계산 체계)은 과거 데이터를 보고 “이런 특징을 가진 신청은 문제가 있었을 가능성이 높다”고 판단한다. 그런데 과거 데이터가 이미 특정 지역, 인종, 소득층을 더 많이 조사한 기록을 담고 있다면, 인공지능은 그 편향을 새로운 객관성처럼 포장할 수 있다. 예컨대 과거에 저소득 지역 신청자들이 더 자주 조사받았다면, 모델은 그 지역 주소를 위험 신호로 학습할 수 있다. 그러면 실제 부정 여부와 무관하게 같은 지역 주민은 더 자주 지연, 추가 서류 요구, 조사 대상이 될 수 있다.

비슷한 문제는 이미 여러 자동화 복지 시스템에서 드러난 바 있다. 미국 Michigan의 실업급여 사기 탐지 시스템 MiDAS는 2010년대 수만 명을 부정수급자로 잘못 분류해 큰 논란을 일으켰고, 이후 소송과 배상 문제로 이어졌다. Netherlands에서는 아동수당 부정수급 단속 과정에서 알고리즘과 행정 시스템이 결합해 수많은 가정을 잘못 의심한 사건이 벌어졌고, 이 문제는 2021년 내각 사퇴로까지 이어졌다. 이런 사례는 인공지능이 복지 행정에 들어갈 때 가장 위험한 지점이 “돈을 줄 사람을 찾는 기능”보다 “돈을 끊을 사람을 찾는 기능”에서 발생한다는 사실을 보여준다.

전문가들이 말하는 핵심도 여기에 있다. Cathy O’Neil은 Weapons of Math Destruction에서 “모형은 의견을 수학으로 위장한 것”이라고 썼다. 쉽게 말해 알고리즘은 중립적인 계산기처럼 보이지만, 실제로는 어떤 목표를 중요하게 볼지 사람이 정한 기준을 따른다. 정부가 목표를 “부정수급 최소화”로만 잡으면, 인공지능은 억울한 사람을 걸러내는 비용보다 의심 대상을 많이 찾는 성과를 더 크게 보상받게 된다. 그 순간 공공서비스는 시민을 돕는 창구에서 시민을 심사하고 의심하는 장치로 기울어진다.

민간업체의 블랙박스가 공공책임을 흐린다

세 번째 원인은 정부가 직접 인공지능을 만드는 것이 아니라 민간업체의 시스템을 구매하거나 임대하는 구조다. 많은 지방정부는 자체 인공지능 연구팀을 둘 여력이 없다. 그래서 클라우드 서비스, 행정 소프트웨어, 데이터 분석 업체가 제공하는 제품을 계약 형태로 도입한다. 문제는 계약서에는 비용, 납기, 보안 조항은 자세히 적히지만, 모델이 어떤 데이터로 학습됐는지, 오류가 났을 때 누가 책임지는지, 시민이 이의를 제기하면 어떤 설명을 받을 수 있는지는 불분명한 경우가 많다는 점이다.

블랙박스(안에서 어떤 계산이 일어나는지 외부에서 알기 어려운 시스템)는 민간 기업에는 영업비밀일 수 있지만, 공공 행정에서는 민주적 통제의 문제다. 정부가 어떤 시민에게 혜택을 줄지 판단할 때 사용한 기준은 원칙적으로 설명 가능해야 한다. 그러나 업체는 “모델 세부사항은 지식재산”이라고 말하고, 정부는 “우리는 최종 결정을 사람이 한다”고 말하며 책임을 나눠 가진다. 이때 시민은 가장 약한 위치에 놓인다. 결과는 정부 이름으로 통보받지만, 판단 과정은 업체의 시스템 안에 숨어 있기 때문이다.

Databricks가 2026년 Unity AI Gateway를 통해 인공지능 거버넌스 생태계를 만들겠다고 밝힌 것도 이런 시장의 방향을 보여준다. 기업과 기관은 이제 인공지능을 쓰지 않는 것이 아니라, 여러 모델을 한곳에서 관리하고 접속 기록, 권한, 보안, 평가를 통제하는 체계를 찾고 있다. 이는 긍정적인 변화일 수 있지만, 동시에 인공지능 관리 자체가 또 다른 소프트웨어 시장이 되고 있음을 뜻한다. 감시를 위한 도구마저 민간 플랫폼에 의존하면, 공공기관은 기술을 통제하는 것처럼 보이면서 실제로는 더 복잡한 공급망에 묶일 수 있다.

이 구조는 쉽게 바뀌지 않는다. 지방정부는 빠르게 작동하는 제품을 원하고, 업체는 확장 가능한 표준 솔루션을 팔고 싶어 한다. 개별 시민의 예외적 사정은 제품 설명서에서 가장 다루기 어려운 부분이다. 그래서 공공 인공지능의 가장 큰 위험은 “기계가 인간을 몰라본다”는 철학적 문제가 아니라, “아무도 충분히 책임지지 않는 결정이 늘어난다”는 행정적 문제다.

무엇을 의미하는가

단기적으로는 1개월에서 6개월 사이에 공공기관의 인공지능 사용 목록을 공개하라는 요구가 커질 가능성이 높다. California의 미신고 논란은 다른 주정부와 시정부에 자체 점검 압박을 줄 것이다. 특히 복지, 공공의료, 실업급여, 교육행정, 치안 보조 분석처럼 시민 권리에 직접 영향을 주는 영역은 “어떤 모델을 쓰는가”보다 “그 모델이 결정 과정 어디에 끼어드는가”를 묻는 방향으로 감시가 바뀔 수 있다. 단순 챗봇 안내와 수급 자격 위험 점수 산정은 같은 인공지능 사용이 아니기 때문이다.

중기적으로는 6개월에서 18개월 사이에 공공 인공지능 시장의 승자와 패자가 갈릴 것이다. 수혜자는 감사 기록, 설명 기능, 접근권한 관리, 편향 점검을 제품에 넣은 업체가 될 가능성이 크다. 반대로 “정확도”와 “비용 절감”만 강조하고 이의제기 절차나 설명 가능성을 준비하지 못한 업체는 조달 과정에서 불리해질 수 있다. 시민단체와 언론도 중요한 감시자가 된다. 정부가 인공지능 사용을 공개하지 않으면, 정보공개청구와 소송을 통해 뒤늦게 드러나는 방식이 반복될 가능성이 높다.

일반 독자의 삶에도 영향은 구체적이다. 앞으로 복지 신청을 하거나, 자녀의 학교 행정 서비스를 이용하거나, 병원비 지원을 신청할 때 “담당자가 검토 중”이라는 문장 뒤에 인공지능 분류가 숨어 있을 수 있다. 어떤 사람은 더 빨리 도움을 받을 수 있지만, 어떤 사람은 이유를 모른 채 추가 서류를 요구받거나 신청이 지연될 수 있다. 중요한 변화는 인공지능이 멀리 있는 연구소의 기술이 아니라, 동사무소 창구와 병원비 청구서, 학교 상담 기록 뒤에서 작동하는 생활 인프라가 된다는 점이다.

반론과 한계

가장 강력한 반론은 인공지능을 쓰지 않는 것이 오히려 더 불공정할 수 있다는 주장이다. 사람도 편견을 갖고 있고, 과로한 공무원은 실수할 수 있으며, 종이 서류 중심의 행정은 처리 속도가 느려 취약계층에게 더 큰 피해를 줄 수 있다. 실제로 잘 설계된 자동화 시스템은 누락된 서류를 빠르게 알려주고, 반복 업무를 줄여 담당자가 복잡한 사례에 더 많은 시간을 쓰게 만들 수 있다. 인공지능을 무조건 위험으로만 보면, 공공서비스 개선 기회를 놓칠 수 있다는 지적은 타당하다.

또 다른 한계는 모든 공공 인공지능을 하나로 묶어 평가하기 어렵다는 점이다. 민원 챗봇, 문서 번역, 회의록 요약, 복지 사기 탐지, 아동학대 위험 예측은 위험 수준이 완전히 다르다. World Economic Forum이 2026년 인간 판단의 중요성을 강조한 것도, 기술 자체보다 어떤 맥락에서 어떻게 쓰이는지가 핵심이라는 뜻으로 읽을 수 있다. 따라서 이 분석은 “정부 인공지능은 모두 나쁘다”는 주장이 아니라, 시민 권리에 영향을 주는 고위험 사용부터 공개와 검증을 강하게 요구해야 한다는 주장에 가깝다.

결과를 바꿀 변수도 많다. 법원이 자동화된 행정 판단에 대해 더 엄격한 설명 의무를 부과하면 정부와 업체의 행동은 빠르게 달라질 수 있다. 반대로 예산 압박이 심해지고 복지 부정수급에 대한 정치적 공세가 강해지면, 정확성 검증보다 단속 성과가 우선될 수 있다. 또한 생성형 인공지능(글, 이미지, 코드 등을 새로 만들어내는 인공지능)이 행정 문서 작성에 더 널리 들어오면, 판단 인공지능과 문서 인공지능이 결합하면서 책임 추적은 더 어려워질 수 있다.

앞으로 12개월 전망

낙관적 시나리오는 공공기관이 인공지능 목록 공개, 영향평가, 이의제기 절차를 제도화하는 방향이다. 영향평가란 새 도구를 도입하기 전에 누구에게 피해가 갈 수 있는지, 오류가 나면 어떻게 고칠지 미리 점검하는 절차다. California 논란이 다른 주의 반면교사가 되고, StateTech Magazine이 언급한 지방정부 지침이나 Databricks 같은 기업의 관리 도구가 투명성 요구와 결합하면, 공공 인공지능은 더 안전한 방향으로 자리 잡을 수 있다. 이 경우 인공지능은 시민을 의심하는 장치가 아니라, 공무원이 더 나은 결정을 하도록 돕는 보조 도구에 가까워질 것이다.

비관적 시나리오는 정부가 공개보다 속도를 택하는 경우다. 복지 예산 논쟁이 격화되고, 부정수급 단속이 정치적 구호가 되며, 업체들이 “고객 사례”와 “절감 효과”를 앞세워 빠르게 계약을 늘리면 고위험 시스템은 더 깊숙이 들어갈 수 있다. 이때 가장 큰 피해자는 변호사나 기술 전문가를 고용하기 어려운 저소득층, 장애인, 이민자, 노인일 가능성이 크다. 오류가 나도 항의할 시간과 자원이 부족한 사람들이기 때문이다. 행정 자동화의 역설은 바로 여기에 있다. 가장 도움이 필요한 사람이 가장 설명받기 어려운 시스템을 상대하게 된다.

앞으로 12개월 동안 주목해야 할 변수는 세 가지다. 첫째, 각 주정부가 인공지능 사용 목록을 실제로 공개하는지 여부다. 둘째, 공개가 단순 제품명 나열에 그치는지, 아니면 사용 목적, 데이터 종류, 사람의 개입 지점, 이의제기 절차까지 포함하는지다. 셋째, 법원과 감사기관이 “최종 결정은 사람이 했다”는 정부의 설명을 어디까지 인정할지다. 이 세 가지가 정해지면 공공 인공지능은 투명한 행정 보조 도구가 될 수도 있고, 보이지 않는 자동 심사관이 될 수도 있다.

결론

California의 미신고 고위험 인공지능 논란은 단순한 보고 누락 사건이 아니다. 그것은 정부가 시민을 돕기 위해 도입한 기술이 언제든 시민을 분류하고 의심하고 배제하는 장치가 될 수 있음을 보여주는 신호다. 앞으로의 핵심 질문은 “공공기관이 인공지능을 쓸 것인가”가 아니라 “시민이 그 사용 사실을 알고, 설명을 듣고, 잘못된 결정을 바로잡을 수 있는가”다. 독자가 가져가야 할 단 하나의 메시지는 분명하다. 공공부문의 고위험 AI는 효율보다 먼저 책임을 설계해야 한다.

출처 및 참고

CalMatters, "California admits using high-risk AI — including systems it failed to report last year" (2026년 6월) — https://calmatters.org/
Axios, "States are embracing AI to help manage safety-net programs" (2026년 6월) — https://www.axios.com/
StateTech Magazine, "New Guidance Offers a Blueprint for Local Government AI Governance" (2026년 6월) — https://statetechmagazine.com/
Electronic Frontier Foundation, "AI Regulation Should Be Rational, Not Retaliatory" (2026년 6월) — https://www.eff.org/
World Economic Forum, "Why the future of AI governance depends on human judgment" (2026년 6월) — https://www.weforum.org/

커뮤니티