“AI 에이전트는 부여받은 권한 안에서 판단을 거듭하다 회사의 핵심 데이터 3개월치를 모두 삭제했다. 이 모든 것이 일어나는 데에는 9초가 전부였다.”
왜 AI에이전트의 보안과 신뢰 구현 전략인가?
AI가 진보를 거듭하며 인간이 더 가치있고 생산적인 일에 집중할 수 있는 환경이 빠르게 조성되고 있습니다. 다른 한편으로 AI는 인간이 지켜야 할 것을 더욱 손쉽게 무너뜨릴 수 있는 도구가 되기도 합니다. 양날의 검인 AI는 결국 기능 그 자체를 넘어 ‘믿을 수 있는 기술’이 되어야 함을 시사합니다. 이러한 지속가능한 AI를 논의하고 방향성을 제시하는 무대가 바로 ASC 입니다.
3년 전 팀쿠키는 AI 기술이 우리 일상에서 더욱 가치있게 쓰일 수 있는 일에 관심을 갖기 시작했습니다. 그것의 결과물이 바로 ASC(AI Safety Compass) 입니다. 국제인공지능윤리협회(IAAE)와 손잡고 시작한 ASC는 올해로 3회째를 맞았습니다. 많은 분들이 사랑해주신 덕분에 해당 분야에서는 어느새 대표 행사가 되어가고 있습니다.
이번해 컨퍼런스의 주제는 ‘AI 에이전트의 보안과 기업의 신뢰 구현 전략’입니다. 아마 수많은 위협들이 있고, AI 발전에 따라 그 위협들은 더 커지고 빨라질 것입니다. 미토스 예고가 더욱 주목을 받은 것도 그것 때문일 것입니다. 이 뜨거운 감사를 논의하기 위해 AI안전연구소(AISI)와 한국인터넷진흥원(KISA)을 비롯해 포티투마루, AI스페라, 데이븐AI, 에임인텔리전스 등 공공·기업·학계의 전문가들과 100여 명의 참석자가 한자리에 모였습니다.
AI 안전성과 보안 분야 최고 전문가들이 남긴 인사이트
김명주 AISI 소장은 “AI에겐 조직의 상식이 없다”며, 사람과 달리 AI는 부여된 권한 안에서 무엇이든 하려 든다고 짚었습니다. 모델별 공격 방어율이 53.3~93.9%로 편차가 컸다는 측정 결과와 함께, 싱가포르 AISI와 도출한 위험 완화 ‘메타 원칙’ 10개(최소 권한·감사 가능성·단계적 배포·킬 스위치·인간 감독 등)를 처음 공개하며 중단 가능성과 인간 개입을 강조했습니다. 이재형 KISA 팀장은 “보안을 고려하지 않은 AI는 자동화된 리스크 생성기”라며, 승인 없이 쓰는 ‘섀도 에이전트’를 새로운 내부자 위협으로 지목했습니다.
강병탁 AI스페라 대표는 “공격 AI보다 막을 경찰이 시급하다”며, 취약점 발견부터 공격까지 63일에서 5시간으로 단축된 현실에 공격 표면 관리(ASM)를 해법으로 들었습니다. 이한울 에임인텔리전스 부사장은 9초 만의 ‘Pocket OS 사건’으로 기존 권한 모델의 한계를 지적하며 ‘리스트 에이전시’ 원칙과 미니마이저·새니타이저·레드티밍을 제안했습니다. 김동환 포티투마루 대표는 AI 인증의 국가 간 상호인정을, 김연지 데이븐AI CMO는 “신뢰는 결과물이 아닌 창작 과정의 투명성에서 온다”며 블록체인 저작 증명과 휴먼 인 더 루프를 강조했습니다.
2026 ASC 행사를 통해 배운 것
첫째, 이 분야를 향한 관심은 꾸준히 높아지고 있으며, 그 관여의 깊이 또한 남달랐습니다. 행사를 준비하는 입장에서는 관찰할 수 있는 것은 많은 청중께서는 필요한 세션만 선택적으로 들으시거나 중간에 자리를 뜨시는 경우를 흔히 보게 됩니다. 그러나 이번에는 마지막 세션까지 자리를 지키며 끝까지 귀 기울여 주신 분들이 대부분이었습니다. ‘에이전트 보안’이 꽤 고관여된 주제라는 뜻으로 받아들여지는 순간이었습니다.
둘째, 공공과 민간이 한 테이블에 마주 앉는다는 사실 그 자체에 큰 의미가 있었습니다. AISI·KISA와 같은 공공 영역과 보안·플랫폼 기업이 같은 무대에서 의견을 나누는 자리는 결코 흔치 않았던 것 같습니다. 공공과 민간은 때로 부딪치면서도 결국 함께 나아가야 하는 관계이며, 참석자들께서도 바로 그 역학 자체에 깊은 관심을 보여 주셨습니다. 규제와 진흥, 표준과 현장 사이의 다이내믹을 한자리에서 마주하는 경험이 흥미로웠던 현장이었습니다.
셋째, 생태계에 기여할수록 기업은 오히려 더 깊은 신뢰를 얻습니다. 자사의 제품을 앞세우기보다 생태계와 기술, 그리고 그것이 사회에 미치는 영향을 진지하게 파고들수록 청중은 더 적극적으로 호응해 주셨습니다. 그리고 흥미롭게도, 그렇게 문제를 정직하게 마주하는 기업에 오히려 더 깊은 신뢰와 호감을 보내 주셨습니다. B2B 분야의 신뢰와 매력도 이런 부분에 있는 게 아닐까라는 생각도 들었습니다.
#ASC #AI Safety Compass #AI #인공지능 #AI안전성 #미토스 #엔트로픽 #팀쿠키 #PR #홍보