[공지] 미래융합연, 금융기관 대상 AI 윤리 교육 시행

미래융합정책연구소(KFPI) 강철하 연구소장은 5월 29일(금) LGCNS 마곡 사옥 사이언스파크에서 금융기관을 대상으로 ‘인공지능(AI) 윤리 원칙 – 인공지능의 윤리적 개발과 활용’을 주제로 강의를 진행했다.

이 날 강 소장은 AI 윤리에 대한 개념 정의와 특성, 사례연구, 1956년 다트머스 회의(Dartmouth Conference)에서 부터 2024년 UN 인류를 위한 AI 거버넌스에 이르기 까지 AI윤리에 관한 전 세계적 논의와 쟁점을 소개하였다.

이와 함께 AI 윤리에 관한 전 세계적 논의를 바탕으로 제정된 ‘유럽연합 인공지능법(EU AI Act, 2024)’과 우리나라 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(약칭, 인공지능기본법)’에 관한 비교 설명을 통해 AI의 윤리적 개발과 활용에 관한 바람직한 접근법과 현행 제도상의 한계를 발표하였다.

특히 금융기관 대상 교육이라는 특수성을 감안하여, AI(Agents) 환경을 고려한 개인정보ㆍ금융정보 보호방안(가명처리를 활용한 AI 학습방안 등), AI 블랙박스(설명의무 위반 리스크) 및 알고리즘 편향성(금융차별 금지의무 위반 리스크) 문제에 대한 금융소비자 보호방안, 금융기관 망분리 이슈 등 거래안정성 및 보안성 확보방안, (고)영향 AI에 대한 인적 감독방안(Human-in-the-loop), 의사결정기구ㆍ전담조직ㆍAI윤리 내규 마련 등 AI 거버넌스 구축을 통한 체계적 위험관리 방안 등을 제시하였다.

최근 AI 개발을 위한 무한경쟁 속에서 원칙 없는 AI 개발이 가져 올 위험성을 주장해 온 강 소장은 “2017년 아실로마 AI 원칙에서는 경쟁 억제, 재귀적 자기개선 AI에 대한 엄격 통제 등의 지침을 제시”했는데, 여기서 “재귀적 자기개선(Recursive Self-Improvement)이란 AI가 스스로 자신의 알고리즘·아키텍처·코드를 수정하여 더 높은 지능을 갖춘 버전의 자신을 만들어내고, 그 새로운 버전이 또다시 향상된 버전을 만드는 과정을 반복하는 것”이라고 설명했다.

그러면서 “이 경우 수학적으로 AI가 지수함수적(exponential) 성장으로 인해 인간이 개입하거나 이해할 수 있는 속도를 순식간에 초월할 위험(지능 폭발, Intelligence Explosion)”이 있다고 경고하고 있다.

특히 강 소장은 “재귀적 자기개선이 일정 임계점을 넘어서면 인간은 AI의 내부 논리를 파악 또는 수정하거나 멈출 수 없는 상황에 처할 수 있으며, 아실로마 원칙이 강조한 ‘의미 있는 인간의 통제(a meaningful human control)’는 바로 이 임계점 이전에 통제권을 유지해야 한다”는 의미라고 재차 강조하고 있다.

나아가 강 소장은 최근 국내외에서 만들어지고 있는 AI법이나 AI 윤리 원칙들이 국제규범, 헌법 및 하위법령과의 정합성이나 법철학적 가치 체계에 대한 고려 없이 지나치게 막연하고 포괄적으로 “좋은 말 위주로 짜깁기”하여 만들어지고 있어 실제 시민들의 행동준칙으로 기능하지 못하고 있음을 우려하고 있다.