SeltaSquare

1. 
2. 

2025 KFDC 춘계학술대회 리뷰 1 : 인공지능 AI Part

AI 시대, 두 가지 규제 법안의 등장

Figure 1 ”AI 규제의 딜레마”. Created by ChatGPT

인공지능(AI)은 이제 특정 산업 분야만을 위한 기술이 아닙니다. 우리 삶의 모든 영역과 더불어 국가 경쟁력까지 좌우하는 핵심 기반 기술로 확고히 자리 잡았습니다. 이러한 거대한 변화의 물결 속에서, AI 기술을 어떻게 효과적으로 규제하고 동시에 발전시킬 것인가는 전 세계적인 중요한 과제가 되고 있습니다. 국내에서는 ‘인공지능기본법’과 '디지털의료제품법'이라는 두 가지 법률이 AI 규제 논의의 핵심 축으로 떠오르고 있습니다.

Figure 2 AI 시대, 두 가지 규제 법안의 등장 (https://quickbirdmedical.com/en/ai-act-medizinprodukt-mdr/)

현재 인공지능기본법과 디지털의료제품법이라는 두 가지 법률이 동시에 존재함에 따라, 인공지능이 적용된 의료 제품에 대한 규제 체계에서 혼란이 발생할 여지가 있습니다. 특히, 인공지능기본법은 AI 전반에 걸친 사회적 영향력과 위험성을 기준으로 ‘고영향 인공지능’을 별도로 분류하고 관리할 필요성을 강조하고 있는 반면, 디지털의료제품법은 의료라는 특수한 분야를 고려하여 제품의 안전성과 유효성 확보에 초점을 맞추고 있습니다.

이에 따라 동일한 인공지능 기반 의료 제품이라 하더라도, 어느 법을 우선 적용하고 어떤 기준으로 위험도 또는 영향도를 평가할 것인가에 대한 규제 해석의 차이나 적용상의 혼선이 발생할 수 있습니다.

첫 단추는 명확한 요구사항 파악입니다.

Figure 3 EU AIA (Busch, F., Kather, J.N., Johner, C. et al. Navigating the European Union Artificial Intelligence Act for Healthcare. 

npj Digit. Med. 7, 210 (2024). https://doi.org/10.1038/s41746-024-01213-6)

Figure 4 MDR Classification Table (https://www.cognidox.com/medical-device-development-guide)

이러한 상황에 선제적으로 대응하기 위해 제품 개발 초기 단계부터 명확한 요구사항을 정의하고, 각 요구사항이 두 법규 중 어느 법규에 해당하는지 면밀히 분석하는 것이 필수적입니다. 특히 중요한 점은, 두 법규 간에 겹치는 요구사항이 발생할 때 단순히 중복을 피하는 것을 넘어, 명확한 우선순위 기준을 설정하고 그 근거에 따라 제품 관리를 진행해야 한다는 것입니다. 이를 통해 잠재적인 이중 규제나 분류 체계 충돌 가능성을 예측하고, 정확한 규제 준수 로드맵을 수립하며, 궁극적으로 제품의 안전성과 신뢰성을 확보하는 데 집중해야 합니다.

 

AI 거버넌스를 통한 체계적인 관리

AI 기반 디지털 의료제품의 건전한 발전을 위해서는 AI 거버넌스 체계를 구축하여 개발 단계별로 체계적인 제품 관리와 리스크 대응을 진행해야 합니다. 포괄적인 AI 거버넌스를 실현하기 위한 핵심 카테고리별 활동은 다음과 같습니다.

1. 데이터 관리: AI 모델의 핵심은 데이터에 있습니다. 데이터 사양 정의, 상세 문서화, 라벨링 가이드 제공, 그리고 품질 보고서 작성을 통해 데이터의 투명성과 정확성을 확보하여 모델 학습의 견고한 기반을 다집니다.
2. 데이터 프라이버시 및 윤리적 사용: 개인정보 보호 관련 법규를 철저히 준수하며, 인공지능 개발 및 활용 과정에서 사용자의 데이터를 윤리적으로 수집하고 관리해야 합니다. 이는 전 세계 AI 규제의 공통된 흐름이자 필수적인 요구사항입니다.
3. AI 관련 위험 평가: 잠재적 위험은 개발 초기부터 식별하고 관리해야 합니다. 데이터 보호법 준수 체크리스트를 활용한 위험 평가 프로토콜을 수립하고, 이를 AI 모델 위험 평가 보고서로 문서화함으로써 위험을 최소화합니다.
4. AI 모델 관리: 개발된 AI 모델은 관리됩니다. 사용 절차를 표준화하고, 모델의 핵심 정보를 담은 AI 모델 카드를 작성하며, 학습 로그를 통해 모든 과정을 기록하여 모델 생애 주기 전반의 투명성을 확보합니다.
5. AI 모델 검증: 모델의 품질과 신뢰성 검증은 필수입니다. 모델 품질 평가 절차와 프로토콜을 수립하여 정확성과 신뢰성을 확인하고, 설명 가능한 AI(XAI) 평가를 통해 모델의 의사 결정 과정을 이해하고 설명할 수 있도록 검증합니다.
6. 모델 유지보수: 배포된 모델의 지속적인 성능 유지를 위해 주기적인 모니터링과 업데이트가 이루어져야 합니다. 모델 모니터링 계획을 수립하여 성능과 상태를 지속적으로 추적하고, 모든 조정 및 업데이트 기록을 유지보수 로그에 남겨 변경 이력을 명확히 관리합니다.
7. 이중 규제 및 분류 충돌 대비: 인공지능기본법과 디지털의료제품법 간의 이중 규제 가능성과 고영향 인공지능 분류 체계 충돌 가능성을 충분히 인지하고, 이에 대한 법률 전문가의 자문과 내부 가이드라인을 마련하여 효과적으로 대응해야 합니다. 이는 기업의 리스크를 최소화하는 핵심 전략입니다.

따라서 제품 개발 초기 단계부터 명확한 요구사항을 식별하고, 각 법규에 따른 우선순위를 설정하며, AI 거버넌스 체계를 통해 데이터 관리, 위험 평가, 모델 통제, 검증 및 유지보수, 그리고 이중 규제 대응에 이르는 전 과정을 체계적으로 관리하는 것이 필수적입니다.

이러한 노력은 잠재적인 위험을 최소화하고, 규제 불확실성을 해소하며, 궁극적으로 혁신적인 AI 제품이 시장에 안전하게 안착할 수 있는 튼튼한 기반을 마련할 것입니다.