SeltaSquare

1. 
2. 

 

지난 4월 15일, 서울에서 개최된 ‘Oracle Life Sciences Safety Summit Asia’는 글로벌 제약·바이오 기업의 Safety 리더와 전문가들이 모여 약물감시(PV) 환경의 급격한 변화와 대응 전략을 심도 있게 논의했습니다. 본 콘텐츠는 해당 서밋에서 셀타스퀘어 신민경 대표가 발표한 [Reimagining Pharmacovigilance: Human-AI Interactive Intelligence]의 핵심 내용을 바탕으로 구성되었으며, '책임 있는 AI 도입'을 위한 글로벌 가이드라인을 구체적인 실무 전략과 함께 정리했습니다.

PV 패러다임의 전환: 왜 지금 ‘책임 있는 AI’가 필요한가

오늘날 약물감시(PV)는 규정된 기한 내 보고서를 제출하던 ‘속도전’을 넘어, 폭발적인 데이터 속에서 유의미한 안전성 신호를 포착하는 ‘지능전’으로 진화하고 있습니다. 급증하는 ICSR(개별사례 보고)과 실사용데이터(RWD)는 인력 투입 방식만으로는 감당할 수 없는 임계점에 도달했으며, 이는 단순한 인원 보충이 아닌 AI를 활용한 업무 구조의 전면적인 재설계를 요구하고 있습니다.

 

[Created by Gemini]

하지만 단순히 자동화를 도입하는 것만으로는 충분하지 않습니다. 많은 기업이 AI를 도입하고도 판단 근거를 알 수 없는 ‘블랙박스(Black Box)’ 현상에 부딪혀 결과물을 처음부터 다시 검토해야 하는 이중고를 겪고 있기 때문입니다. 의학적 타당성 검토가 필수인 PV 현장에서 불투명한 결과값이 새로운 리스크로 작용하게 되면서 AI를 통해 도출된 결과가 신뢰할 수 있는지, 그 과정이 얼마나 투명하게 관리되고 있는지가 기업의 핵심 경쟁력으로 자리 잡았습니다.

이러한 흐름 속에서 우리가 주목해야 할 이정표가 바로 2025년 발표된 CIOMS WG XIV 보고서입니다. 이 보고서는 규제 기관, 산업계, 학계 전문가들이 모여 PV 분야의 AI 활용에 대한 국제적 합의를 도출한 결과로, 단순히 이론을 아는 것을 넘어 '책임 있는 AI 도입'을 위한 국제적 표준을 제시하고 있습니다. 급변하는 기술 환경 속에서도 변치 않을 핵심 원칙을 실무에 즉시 적용하실 수 있도록, 셀타스퀘어의 전문적인 시각으로 재구성하여 전해드립니다.

CIOMS WG XIV의 AI 7대 원칙

(원문 링크: Artificial Intelligence in Pharmacovigilance - CIOMS)

 

원칙 1. Risk-based Approach (리스크 기반 접근)

모든 AI 시스템을 동일한 기준으로 관리하는 것은 리소스 낭비이므로, 시스템이 환자 안전에 미치는 영향력에 따라 관리 프로세스를 차등화해야 합니다. 예를 들어 단순 오탈자 교정과 최종 인과관계 평가는 리스크 수준이 다르기 때문에, 업무 중요도에 따른 리스크를 정확히 진단하여 한정된 리소스를 효율적으로 배치하는 것이 중요합니다. 또한, 예상치 못한 시스템 오류에도 업무가 중단되지 않도록 BCP(Business Continuity Plan, 업무 연속성 계획)를 수립하는 것 역시 리스크 관리의 필수 요소입니다.

이러한 리스크를 보다 객관적으로 평가하기 위해 CIOMS 보고서는 '모델 리스크 매트릭스'를 제안합니다. AI의 자율성과 그 결정이 미치는 영향력을 동시에 살펴볼 수 있도록 두 축을 기준으로 '고위험군'을 정의하고, 중요도가 높을수록 인간의 개입을 늘리는 등 효율적인 감독 체계 관리와 자원 배분을 가능하게 합니다. 이는 조직 내 AI 시스템의 현주소를 객관적으로 파악함으로써 관리의 우선순위를 정하는 것은 물론, 규제 기관에 시스템의 안전성과 통제력을 입증하는 근거 자료로 활용될 수 있습니다.

 

원칙 2. Human Oversight (인간의 감독)

AI가 전문가를 대체하는 것이 아니라, 전문가의 판단력을 강화하는 방향으로 설계되어야 한다는 '인간 중심의 AI 디자인(Human-centric AI design)'을 핵심으로 합니다. AI 시스템의 신뢰성과 책임성을 확보하기 위해 전문가가 직접 개입하는 지점을 설정하고 비판적으로 검증하는 프로세스가 시스템 설계 단계부터 포함되어 있어야 하며, 시스템이 내린 모든 결과에 대한 최종 의사결정과 그에 따른 책임은 반드시 인간에게 있어야 한다는 점을 거듭 강조하고 있습니다. 결과적으로 PV 전문가는 AI 시스템의 설계에 참여하고, 운영 과정을 감시하며, 기술과 도메인 지식을 잇는 가교 역할을 수행해야 함을 시사합니다.

 

원칙 3. Validity & Robustness (유효성 및 견고성)

AI가 실제 운영 환경에서 의도된 목적에 맞게 정확하고 일관되게 작동함을 입증하는 것으로, 이는 단순한 개발 단계의 성능을 넘어 다양한 예외 상황에서도 시스템이 무너지지 않도록 관리하는 것을 의미합니다. 감독의 방식은 크게 두 가지로 나뉩니다. 인간이 프로세스 중간에 개입하는 HITL(Human-in-the-loop) 방식과 AI가 내린 결과를 사후에 점검하는 HOTL(Human-on-the-loop)방식입니다. 업무의 리스크와 복잡도에 따라 적절한 방식을 선택하는 것이 중요하며, 주기적인 테스트와 모니터링을 통해 유효성을 끊임없이 확인하는 과정이 필수적입니다.

지금까지 살펴본 '리스크 기반 접근', '인간의 감독', 그리고 '유효성과 견고성'은 AI를 PV 현장에 안착시키기 위한 가장 기초적이면서도 강력한 토대라 할 수 있습니다. 이어지는 콘텐츠에서는 CIOMS 7대 원칙의 나머지 이야기를 통해 시스템 운영의 투명성과 사회적 책임에 대해 더욱 심도 있게 다루며 '지속 가능한 약물감시 시스템'을 완성하는 실무 로드맵을 전해드리겠습니다.