[EU] AI법과 GDPR에 따른 알고리즘 차별 문제

admin4월 30, 20256월 6, 202501 mins

2024년 8월 유럽연합의 인공지능(AI)법이 발효된 이후, 일반 데이터보호 규정(GDPR)과의 상호 작용은 미해결 문제로 남아 있다.

AI법은 개인 데이터 보호권을 포함한 개인의 기본적 권리와 자유를 존중하면서 인간 중심적이고 신뢰할 수 있으며 지속가능한 AI를 촉진하는 것을 목표로 한다다. AI법의 주요 목표 중 하나는 ‘고위험 AI 시스템’의 개발, 배포 및 사용에 있어 차별과 편견을 완화하는 것이다. 이를 달성하기 위해 이 법은 새로운 기술을 사용할 때 발생할 수 있는 차별을 식별하고 방지하기 위해 설계된 일련의 조건(예: 개인정보 보호 조치)에 따라 ‘특수 범주의 개인 데이터’를 처리할 수 있도록 허용하고 있다. 그러나 GDPR은 이러한 측면에서 더 제한적일 수 있으며, 이로 인해 발생하는 법적 불확실성은 입법 개혁이나 추가 지침을 통해 해결할 필요성이 있다.

AI 시스템과 알고리즘 차별(AI systems and algorithmic discrimination) : 몇 가지 시나리오

생성형 AI 시스템(Generative AI systems) : 챗봇과 같은 특정 생성형 AI 시스템은 언뜻 보기에는 위험하지 않아 보이지만, 증오 표현을 생성하는 경우와 같이 기본권과 자유를 위협할 수 있다. 생성형 AI는 고위험 시스템으로 분류되지는 않지만, 기본권을 침해하는 일부 생성형 AI 시스템은 AI법에 명시된 바와 같이 규제 기관이 주기적으로 업데이트할 수 있는 고위험 시스템 목록에 포함될 수 있다.
자율주행차(Autonomous cars) : 보험 계산이나 AI 머신 비전 시스템에서도 차별이 발생할 수 있다. 예를 들어, 자율주행차가 피부색이 밝은 보행자를 어두운 보행자보다 더 정확하게 감지하도록 개발된 경우가 그 한 예이다.
채용 및 고용(Job recruitment and employment) : 구직자를 선발하는 알고리즘에는 성별이나 건강 등의 편견이 포함될 수 있다.
신용 평가 및 금융(Credit scoring and banking) : AI 시스템은 은행 및 신용 부문에서 대출 또는 주택담보대출 승인 여부를 평가하는 지원 도구로 점점 더 많이 사용되고 있다. 이러한 시스템은 고객의 거주지나 민족성과 같은 요소에 따라 차별을 숨기거나 편견을 가리는 의사 결정 과정을 따를 수 있다.

알고리즘 차별과 특수 범주의 개인정보(special categories of personal data)

AI법은 위에 나열된 문제들을 해결하기 위한 것이다. AI 시스템의 편견 탐지 및 수정을 보장하기 위해, AI법 제10조(5)항은 기본권 존중을 위한 적절한 안전장치를 조건으로 “고위험 AI 시스템과 관련된 편견 모니터링, 탐지 및 수정을 보장하기 위해 엄격히 필요한 범위 내에서”(to the extent that … is strictly necessary for the purposes of ensuring bias monitoring, detection and correction in relation to the high-risk AI systems) 특수 범주의 개인정보 처리를 허용하고 있다.

특수 범주의 개인정보(special categories of personal data) 개념은 GDPR 제9조(인종 또는 민족적 기원, 정치적 견해, 종교적 또는 철학적 신념, 노동조합 가입, 유전 데이터, 생체 데이터, 건강 데이터, 성생활 또는 성적 지향)에 정의되어 있다.

일부 학자들은 고용 부문에서 사용되는 알고리즘이 인종을 이유로 차별하는지 여부를 탐지하기 위해서는 원칙적으로 관련 기관이 구직자의 인종을 알아야 한다고 지적했다.

AI법 제10조(5)항은 고위험 시스템에만 적용된다. 동 법은 ‘위험 기반 접근법’을 채택하여 AI 시스템을 개인의 기본권과 자유에 미치는 위험의 정도에 따라 분류한다. 시스템이 고위험 시스템에 해당하는지(AI법 제6조) 판단할 때에는 해당 시스템의 범위와 수행한 구체적인 작업에 중점을 두게 된다. 특수 범주의 개인정보를 처리하려면 GDPR 제9조에 명시된 특정한 근거(예: 정보주체의 명시적 동의)를 확보해야 한다. GDPR 제9조의 적용 범위에 속하는 AI법 제10조(5)항을 적용할 때도 이러한 근거를 준수해야 한다. 동 법은 AI법과 GDPR이 충돌하는 경우 GDPR이 우선함을 명확히 하고, GDPR의 적용에 영향을 미쳐서는 안 된다고 명시하고 있다.

일부에서는 AI법 제10조에 따른 개인정보 처리가 GDPR의 ‘실질적인 공익상의 사유'(substantial public interest ground)에 따라 허용될 수 있다고 주장한다. 실제로 GDPR 제9조(2)(g)항은 상당한 공익을 위해 필요한 경우에, 추구되는 목적에 비례하고, 데이터 보호 권리의 본질을 존중하며, 정보 주체의 기본권과 이익을 보호하기 위한 적절하고 구체적인 조치를 규정하고 있는 유럽연합 또는 회원국의 법률에 근거하여 특수 범주의 개인정보 처리를 허용하고 있다.

이러한 맥락에서 AI 법은 유럽연합 법률의 역할을 하면서, 차별 방지라는 ‘관련된 공익’이 될 수 있을 것이다.

*Source : https://www.europarl.europa.eu/