[AIㆍML] “부조리한” 생성형 AI 규제를 최대한 활용하는 법

Evan Schuman | Computerworld2024.08.19

 

 

오늘날 CIO가 직면한 큰 과제 중 하나는 생성형 AI 도구를 배포해야 한다는 끊임없는 압박과 기업이 지역, 국가, 종종 국제 규정을 준수해야 한다는 필요성을 조화시키는 것이다. 문제의 핵심은 생성형 AI 시스템의 본질에 깊이 내재된 모순이다. 

IT 전문가가 수십 년 동안 훈련해 온 소프트웨어와 달리 생성형 AI는 다음 논리적 단계를 추측하는 예측형 시스템이다. 누군가가 주어진 문제를 처리하는 방법에 대해 매우 명시적이고 규범적인 제한 사항을 작성하지 않으면, 생성형 AI는 노출된 데이터를 기반으로 스스로 문제를 해결하려고 시도한다.
 

ⓒ Getty Images Bank

 

이것이 어떻게 잘못될 수 있는지를 보여주는 대표적인 예는 인사팀에서 생성형 AI 도구에 수많은 입사 지원서를 제공하고 직무 설명과 가장 유사한 배경을 가진 5명의 후보자를 평가하도록 요청하는 경우이다. 여기서 생성형 AI는 모든 현직 직원을 분석하고 연령, 성별, 인구통계학적 패턴을 찾아낸 후 기업이 원하는 지원자 유형일 것이라고 추론한다. 그런 다음 규제 당국에 기업의 연령, 인종, 성별 차별을 고발하는 것은 그리 어려운 일이 아니다.

놀랍게도 생성형 AI 소프트웨어는 때때로 기업이나 AI 솔루션 업체가 지시하지 않은 일을 수행하기도 한다. 무언가를 만들어내거나(일명 환각), 아무도 찾으라고 하지 않은 패턴을 관찰하거나, 매우 민감한 데이터 덩어리를 파헤치는 등 CIO에게는 악몽과도 같은 일들이 벌어진다.

특히 데이터 수집 및 보호 관련 규제에 대해서는 심각한 문제를 일으킨다. CIO가 생성형 AI 도구의 기능을 정확히 알지 못하는 경우가 많은데, 어떻게 고객에게 어떤 데이터가 수집되고 있고 어떻게 사용되고 있는지 정확하고 완벽하게 알릴 수 있겠는가? 라이선스가 부여된 생성형 AI 알고리즘이 매우 민감한 데이터 중 일부를 AI 솔루션 업체와 공유하기로 하면 어떻게 될까? 

사용자 경험 에이전시 UEGroup의 설립자 겸 CEO 토니 페르난데스는 “생성형 AI를 사용하면 CIO는 법적 위험이나 개인정보 보호 정책 위험 등 막대한 위험을 알고도 감수하게 된다. 이는 예측할 수 없는 다양한 결과를 초래할 수 있다"라고 지적한다.

페르난데스는 “예를 들어 어떤 사람이 인종을 공개하지 않기로 선택했는데, AI가 이를 유추할 수 있고 기업은 이를 기반으로 마케팅을 시작한다면 개인정보 보호정책을 위반한 것일까? 아마도 법정에서 해결해야 할 큰 문제가 될 것이다"라고 덧붙였다.

기업이 이런 세부 정보를 마케팅에 사용할 필요도 없이 규정 준수 문제가 발생할 수 있다. 시스템이 추론된 데이터를 사용자의 CRM 프로필에 기록한다면 어떻게 될까? 공격 중에 해당 데이터가 도난당해 다크 웹 어딘가에 게시되면 어떻게 될까? 고객은 어떻게 반응할까? 규제 당국은 어떻게 대응할까?
 

몰랐다는 변명은 통하지 않는다

규정 준수 문제를 더욱 복잡하게 만드는 것은 CIO가 고민해야 할 글로벌 개인정보 보호 규정(가장 잘 알려진 것은 EU의 GDPR)만이 아니라 EU AI 법, 미국 여러 주에서 검토 중인 법안, 백악관의 AI 권리장전 청사진, 일본의 국가 AI 전략, 호주의 다양한 프레임워크와 제안, 디지털 인도법, 뉴질랜드의 알고리즘 헌장 등 수많은 새로운 AI 규정이 이미 시행 중이거나 준비 중이라는 점이다.

기업은 이런 규정과 기타 새로운 규정을 어떻게 준수할지 계획해야 하는데, 사용 중인 소프트웨어가 블랙박스라면 이 작업은 무한정 어려워진다.

유엔과 EU의 응용 윤리 및 책임감 있는 AI 자문위원이자 AI 감사 회사 Eticas.AI의 설립자 겸 CEO인 젬마 갈돈 클라벨은 “CIO와 자문단은 의사 결정에 사용되는 정보를 진정으로 검증하거나 공개할 수 없기 때문에 생성형 AI에 대해 우려하는 것이 옳다. AI를 다른 형태의 데이터 기반 기술과는 다르게 생각해야 한다"라고 조언했다.

클라벨은 “AI와 관련해 정보 출처에 대한 투명성은 불가능할 뿐만 아니라 중요하지도 않다. 중요한 것은 들어오는 데이터뿐만 아니라 나오는 결과이다"라며, CIO는 다른 어느 곳보다 생성형 AI의 가시성 부족에 익숙해져야 한다고 강조했다.

법률회사 윌슨 엘서의 파트너 자나 파머는 바로 이런 투명성의 부재를 우려한다. 기업이 생성형 AI 소프트웨어 라이선스를 제공하는 AI 솔루션 업체로부터 포괄적이고 상세한 정보를 얻지 못하는 것이 큰 법적문제라는 것. 파머의 걱정은 모델 학습 방식에 대한 제한된 정보를 넘어서는 것이다.

파머는 “두뇌를 어디에 보관하는지 모르는 데 시스템을 가지고 놀고 싶은가?"라며, “새로운 규정을 보면, 기본적으로 AI를 배치하면 AI가 사용자에게 복종하지 않더라도 그 행동에 대한 책임은 사용자에게 있다고 말하고 있다”고 설명했다.

기업은 이미 생성형 AI 사용과 관련해 소송을 당하고 있다. 아웃도어 의류 유통업체 파타고니아는 최근 고객 소송을 당했는데, 생성형 AI가 고객 통화를 엿듣고, 통화 데이터를 수집 및 분석하고, 서드파티 3자 컨택센터 소프트웨어 업체의 서버에 데이터를 저장하고 있다는 사실을 공개하지 않았다는 혐의이다. 파타고니아가 생성형 AI 프로그램의 모든 기능을 알고 있었는지는 확실하지 않지만, 무지는 변명이 되지 않는다. 

AI와 관련된 새로운 규칙은 엄격한 책임이라는 법적 개념을 채택하고 있다. 파머는 “여러분이 기차 회사를 소유하고 있고 그 회사가 위험한 기계를 사용한다고 가정해 보자. 기차 회사는 기차를 안전하게 만들어야 한다. 그렇지 못하면 최선을 다했다는 것은 중요하지 않다. ‘모든 방법을 동원해 테스트했지만, 전에는 그런 적이 없었다’고 말하는 것은 규제 기관을 만족시키지 못한다"라고 설명했다. 또 CIO는 광범위하고 현실적인 실사를 수행해야 한다며, “그렇게 될 줄 몰랐다는 대답은 별 도움이 되지 않는다”라고 덧붙였다.
 

완전한 해결책이 될 수 없는 면책조항

많은 기업이 생성형 AI 툴 사용으로 인해 발생하는 비용이나 법적 문제에 대해 AI 솔루션 업체에 면책을 요청함으로써 계약상 책임을 회피하려는 시도를 해왔다. 하지만 기업 경영진이 기대하는 것만큼 큰 도움이 되지 않는 경우가 많다.

파머는 일반적으로 AI 솔루션 업체는 공인된 법원이나 규제 기관에서 과실이 있는 것으로 판명된 경우에만 모든 비용을 부담한다고 규정한다. 파머는 AI 솔루션 업체의 말을 “우리가 과실이 있는 것으로 밝혀진 경우에만 나중에 배상해 주겠다"라고 의역했다.

결국 기업은 생성형 AI 프로그램이 무엇을 하고 있는지, 어떤 데이터를 검토하고 있는지, 분석을 통해 무엇을 할 것인지 등을 정확히 알아야 한다. 하지만 여러 가지 이유로 경영진이 무엇을 알아야 하는지 모르는 경우가 많다.

파머는 “기업 내에서 아무도 어떤 데이터가 처리되고 있는지 모르는 것이 문제가 아니라 정보 관련 프랙티스를 이해하는 것이 '전체 비즈니스'의 문제인데 다양한 부서 또는 이해관계자들이 소통하지 않는다는 것이 문제이다"라며, “마케팅은 IT가 어떤 기술을 구현했는지, IT는 마케팅이 어떤 분석 솔루션 업체와 왜 계약했는지 등을 모를 수 있다. 이렇게 개인정보 보호법이 공개하도록 요구하는 정보를 알지 못하는 것은 적절한 대응이 아니다”라고 설명했다.

생성형 AI가 데이터에서 인사이트를 추론하려고 할 때 문제는 훨씬 더 까다로워진다.

파머는 “AI 시스템이 기존 데이터를 통해 추론할 수 있다면 그 정보를 투명하게 공개해야 하며, 그 기준은 일반적으로 합리성과 예측 가능성이다. 생성형 AI 배포 기업은 AI와 인터랙션하는 소비자에게 시스템이 어떤 데이터를 학습했고 어떤 데이터에 액세스할 수 있는지 투명하게 공개하고 시스템의 한계에 대해 알려야 한다"라고 지적했다.

UEGroup의 페르난데스는 자신의 경험을 예로 들며 AI의 추론이 틀릴 수 있다고 지적했다. 페르난데스는 “AI는 내게 스페인어로 된 자료를 제공했는데, 나는 스페인어를 한마디도 할 줄 모른다. 성만 포르투갈 성이지 모든 것이 미국인이랑 똑같다”고 말했다. 포르투갈의 식민지였던 과거 때문에 브라질과 인도의 일부 사람이 같은 성을 쓰는데, 이 때문에 페르난데스는 브라질과 인도 사람을 대상으로 한 광고도 받는다.

페르난데스는 “알고리즘 작성자가 인간의 모든 역사를 이해하고 정확한 확률을 할당하기에는 인간의 조건에는 너무 많은 뉘앙스와 맥락이 있다"라며, “AI는 여러 가지 이유로 틀릴 수 있다. 결국 프로그래머와 데이터의 편견이 반영된 불완전한 인공물일 뿐이다"라고 덧붙였다.

이런 위험성을 고려할 때 생성형 AI는 모든 상황에 적합한 도구는 아니다. 파머는 “사용례와 위험 평가에 따라 기업이 애초에 AI 시스템을 배포해야 하는지도 문제가 될 수 있다. 예를 들어 교육, 고용, 금융, 보험, 법률 등과 관련된 의사 결정에 생성형 AI 모델을 사용하는 경우 위험성이 높으며, 위험성 규정 준수에 필요한 사항이 AI의 이점을 능가할 수 있다”고 지적했다.

페르난데스도 동의한다. 오히려, 기술의 불투명한 특성을 고려할 때 오늘날 어떤 기업이 생성형 AI를 배포해야 하는지 의문을 제기한다. 페르난데스는 “예측할 수 없는 방식으로 작동하는 비행기를 조종하기 위해 소프트웨어를 배포하는 것이 합리적일까? 소프트웨어의 행동을 예측할 수 없는 자율주행 차량에 자녀나 손자를 혼자 태우겠는가”라고 반문했다. 또 “만약 대답이 '아니오'라면, 제정신인 CIO라면 기업 전체를 위험에 빠뜨릴 수 있는 소프트웨어를 왜 그렇게 하겠는가?”라고 강조했다.
 

생성형 AI 규정 준수 위험을 해결하기 위한 4가지 기술

위험도가 낮은 시나리오의 경우(또는 '그냥 거절'이 선택사항이 아닌 경우), 몇 가지 준비 작업을 수행하면 생성형 AI와 관련된 법적 위험으로부터 기업을 보호하는 데 도움이 될 것이다.

생성형 AI로부터 민감한 데이터 보호

IT 부서는 생성형 AI가 액세스할 수 있는 대상에 제한을 두는 데 주의를 기울여야 한다. 기술적으로 생성형 AI가 수행할 수 있는 작업에 제한을 설정하는 가드레일을 설치하거나 해당 자산을 독립적으로 보호하는 방식으로 이를 수행할 수 있다.

생성형 AI를 어린아이로 생각하는 것이 가장 좋다. 부모가 아이에게 “지하실에 내려가면 크게 다칠 수 있으니 가지 마”라고 말해야 할까? 아니면 지하실 문에 보안이 강화된 데드볼트를 몇 개 추가해야 할까?

데이터 보안 전문업체 노멀라이즈(Normalyze)의 CTO 라비 이탈은 마이크로소프트 코파일럿을 실험하고 있는 한 잠재 고객의 이야기를 전했다. 첫날 한 직원이 시스템에 자신의 이름이 포함된 모든 문서를 보여 달라고 요청했다. 코파일럿은 수십 개의 문서를 반환했는데, 그중에는 직원의 이름이 적힌 기밀 해고 명단도 있었다. 시스템은 이 직원에게 출력할 수 있는 데이터와 출력할 수 없는 데이터에 대한 맥락 없이 지시를 받았기 때문에 시키는 대로 했다.

이 문제는 IT 베테랑이라면 매우 익숙한 문제일 것이다. 1994년 무렵, 기업이 인트라넷에 웹을 적극적으로 사용하던 초창기에는 기자들이 '기밀'을 검색해 야후가 제공한 수많은 민감한 문서를 검토하는 것이 일반적인 일이었다. 당시에 구글은 아직 존재하지도 않았다.

그 시대의 정보 보안 전문가는 검색 엔진 스파이더를 차단하거나 민감한 문서를 이런 검색이 차단된 영역에 배치하는 방법을 빠르게 배웠던 것처럼, 오늘날의 CISO는 생성형 AI와 관련해 같은 작업을 수행해야 한다.

 

AI 솔루션 업체로부터 가능한 모든 것을 배우기

카스텐스, 앨런 앤 굴리(Carstens, Allen & Gourley)의 변호사 로버트 테일러는 AI 솔루션 업체가 대부분 모든 것을 공개하지는 않지만, 일부 CIO는 AI 솔루션 업체가 공개하는 모든 정보를 파악하기 위해 노력하지 않는다고 말한다. 테일러는 “AI 솔루션 업체의 문서, 서비스 약관, 사용 약관, 서비스 설명, 개인정보 보호정책을 살펴봐야 한다. 최종 사용자에게 공개해야 할 답변이 여기에 묻혀 있을 수 있다"라고 설명했다.

또 “솔루션 업체가 공개한 내용을 최종 사용자에게 공개하지 않는다면 문제가 발생할 가능성이 높다. 솔루션 업체가 이런 정보를 사전에 공개하지 않았다면, 고객이 업체 보안 평가에서 일상적으로 하는 것처럼 질문할 책임은 기업에 있다"라고 덧붙였다.

일부 기업은 자체적으로 생성형 AI 프로그램을 구축해 가시성 문제를 최소화하는 방법을 모색하기도 하지만, 이는 미지의 요소를 제거하지 않고 줄일 뿐이다. 아무리 정교한 엔터프라이즈 IT 운영이라 할지라도 다른 사람이 만든 요소를 일부는 활용하게 될 것이기 때문이다.

쓰리 아크 어드바이저리(Three Arc Advisory)의 사장 메건 안젤크는 “'자체 구축' 시나리오에서도 파이썬의 패키지를 사용하거나 AWS의 서비스를 사용한다. 거의 항상 서드파티 의존성이 존재한다"라고 지적했다.

 

사람을 계속 참여시키기

사람이 생성형 AI 워크플로우에 참여하면 운영 속도가 느려져 애초에 생성형 AI를 사용하는 이유였던 효율성이 떨어질 수 있지만, 테일러는 때로는 사람이 약간의 현장 확인을 하는 것이 효과적일 수 있다고 말한다.

테일러는 에어캐나다 고객에게 항공권을 즉시 구매하고 나중에 유족 크레딧을 받을 수 있다고 알려준 챗봇의 예를 들었는데, 에어캐나다의 정책이 아니었다. 하지만 캐나다 민사 재판소는 챗봇이 회사 웹사이트의 일부로 제공됐으므로 항공사가 고객에게 배상할 책임이 있다고 판결했다.

테일러는 “채팅이 진행되는 동안에는 챗봇의 사용 목적에 어긋나기 때문에 기술적으로 사람이 참여하는 것이 불가능할 수 있지만, 채팅이 끝난 직후에는 샘플링을 통해 사람을 참여시킬 수 있다"라며, “사람이 챗봇의 환각 여부를 확인해 환각이 발생한 것을 신속하게 감지해 영향을 받은 사용자에게 연락하고 솔루션을 조정하고 환각이 다시 발생하지 않도록 할 수 있다”고 설명했다.

 

당국의 규제에 대비하기

생성형 AI의 또 다른 규정 준수 고려 사항은 규제 기관과 대화할 때 CIO가 지금까지 설명해야 했던 것보다 훨씬 더 많은 기술적 세부 사항을 설명해야 한다는 것이다. 

안젤크는 “CIO는 전체 워크플로우 프로세스에 대해 이야기하는 등 상당히 많은 양의 정보를 공유할 준비가 되어 있어야 한다"라며, “모든 기본 정보를 나열하고, 실제로 어떤 일이 일어났으며 왜 그런 일이 일어났는지 자세히 설명한다. 완전한 데이터 계보를 보여주는 것이다. 생성형 AI가 인터넷 소스에서 데이터를 가져온 건가요, 아니면 만들어낸 건가요? 알고리즘 구성은 어떻게 되나요? 이 부분이 정말 어려운 부분이다”라고 말했다.

사고가 발생한 후 기업은 문제가 반복되지 않도록 신속하게 수정해야 한다. 안젤크는 “도구의 작동 방식이나 입력과 출력의 흐름 방식을 재설계하거나 조정해야 할 수도 있다. 이와 동시에 발견된 모니터링 지표의 부족한 부분을 수정해 향후 문제를 더욱 신속하게 파악할 수 있도록 해야 한다"라고 조언했다.

또한 사고의 영향을 계산할 수 있는 의미 있는 방법을 찾는 것도 중요하다. 안젤크는 “에어캐나다 챗봇의 경우처럼 고객에게 금전적인 영향을 미칠 수도 있고, 기타 규정 준수 관련 문제일 수도 있다. 예를 들어 최근 X의 챗봇 그록이 명예 훼손 발언을 하거나, 생성형 AI 도구가 모든 과제가 인간 학생이 아닌 AI에 의해 생성됐다고 잘못 대답해 수업 전체를 낙제시킨 텍사스 대학교 교수와 같은 사건이 있다”고 설명했다.

또 “고객, 솔루션 업체, 직원과 맺은 계약 및 정책뿐만 아니라 규제 관점에서 추가적인 규정 준수 의미를 이해해야 한다. 문제의 근본 원인에 대해 더 많이 알게 되면 영향을 다시 추정해야 할 수도 있다”고 덧붙였다.

editor@itworld.co.kr

원문보기:
https://www.itworld.co.kr/news/347715#csidxd3685c3592be0fe9404d00c048f1822