SeltaSquare

1. 
2. 

• 게시판 리스트 옵션
  • 검색

지난 콘텐츠에서 약물감시 AI 도입을 위한 기본 원칙을 살펴봤다면, 이번 파트 2에서는 그 가치들을 어떻게 실무 현장에 안착시킬 것인지 나머지 지침들을 통해 짚어보겠습니다. AI가 현장 전문가에게 신뢰받는 파트너가 되기 위해 필요한 투명성과 데이터 보안, 공정성, 그리고 이 모든 과정을 통제하는 거버넌스까지 실질적인 운영 체계를 완성하는 핵심 원칙들을 정리했습니다.

CIOMS WG XIV의 AI 7대 원칙

원칙 4. Transparency & Explainability (투명성 및 설명 가능성)

AI가 어떤 데이터를 학습했는지, 어떤 알고리즘을 사용하는지, 그리고 그 한계는 무엇인지를 이해관계자들에게 명확히 공개해야 신뢰를 얻을 수 있음을 의미하며 이를 구현하기 위한 핵심 기술로 설명 가능한 AI, 'XAI'를 소개하고 있습니다. XAI란 어떤 특정 단어, 문맥, 혹은 데이터 패턴을 보고 이러한 결과값을 냈는지 그 근거를 보여주는 기술로, AI의 판단 과정을 공개함으로써 안심하고 결과물을 수용할 수 있게 만드는 신뢰의 기반이 됩니다. 이를 통해 전문가가 AI의 오류를 빠르게 식별하게 해줄 뿐만 아니라, 빠르고 효과적인 의사결정을 할 수 있도록 돕습니다. 또한 규제 기관 실사 시, 논리적인 판단 근거를 제시할 수 있게 함으로써 시스템의 타당성을 입증하는 강력한 근거로 작용합니다. 다만 XAI가 제시하는 근거는 모델의 판단 과정을 설명할 뿐 항상 과학적 사실과 일치하는 것은 아니므로, 전문가는 환각 현상(Hallucination)을 염두에 두고 비판적으로 수용해야 합니다.

기술적 투명성과 더불어, AI 시스템의 실질적인 유용성을 증명하기 위해서는 약물감시 특성에 최적화된 다각적인 성능 평가 지표(KPI) 관리가 필수적입니다. 단순히 전체 데이터의 판정 결과가 맞았는지를 보는 정확도에만 의존하는 것이 아니라, AI가 골라낸 정보 중 실제 유효한 정보의 비율인 정밀도, 전체 유효 정보 중 놓치지 않고 탐지해낸 비율인 재현율 등 PV 특화 지표들을 정교하게 관리해야 합니다. 지표 설정 단계부터 현업 전문가가 참여하여 수치 너머의 임상적 의미를 해석하고, 이를 바탕으로 지속적인 품질 개선을 이루어가는 체계를 갖추는 것이 성공적인 AI 도입의 완성이라 할 수 있습니다.

원칙 5. Data Privacy (데이터 프라이버시)

환자의 민감 정보를 다루는 약물감시의 특성상, 기술 도입 초기부터 개인정보 보호 규정을 철저히 준수해야 합니다. 특히 대규모 언어 모델(LLM)과 같은 생성형 AI를 활용할 때는 데이터 유출이나 재식별 리스크가 높아지므로, 단순히 법적 규정을 지키는 수준을 넘어 데이터 전 과정에 걸친 고도의 보안 체계를 구축해야 합니다. 이는 AI 활용을 제한해야 한다는 의미가 아니라, 프라이버시 강화 기술(PETs)을 적용하거나 데이터 접근 권한에 제한을 두는 등 실질적인 관리 방안을 마련해야 함을 뜻합니다.  AI 모델이 학습 데이터 속에 포함된 특정 개인을 식별해내지 못하도록 비식별화 기술을 적용하거나, 데이터 보호 영향 평가(DPIA)를 통해 시스템이 프라이버시에 미칠 리스크를 선제적으로 분석하는 등의 적절한 안전장치를 마련했을 때 비로소 안전하고 신뢰할 수 있는 PV AI 환경을 구축할 수 있습니다.

원칙 6. Fairness & Equity (공정성과 형평성)

AI가 인종, 성별, 지역 등 특정 집단에 편향된 결과를 도출하지 않도록 시스템 전반의 균형을 설계하고 관리하는 것으로, 단순 기술적 오류 방지를 넘어 특정 계층에 대한 부정확한 안전성 평가나 소외로 이어지지 않도록 보장하는 것을 의미합니다. 이를 위해 AI 도입 단계부터 통계적 방법론을 활용해 잠재적 편향(Bias)을 사전에 식별하고, 데이터가 부족한 소수 집단에서도 동등한 수준의 성능이 유지되는지 지속적으로 모니터링해야 합니다. 특히 약물감시에서의 형평성은 해당 의약품에 실제로 노출되는 인구 집단을 AI가 얼마나 정확하게 반영하느냐에 달려있기 때문에 AI 도입 시 학습 및 성능 평가 데이터셋이 충분한 대표성을 갖추고 있는지 엄격히 검토해야 하며, 가능한 경우 다양한 하위 집단별로 성능을 개별 평가하는 과정이 필요합니다.

현재 ICSR(개별 사례 안전성 보고) 기반의 공정성 확보에는 자발적 보고 시스템의 구조적 한계라는 과제가 남아 있습니다. 국가별로 보고 빈도가 상이하고 실사용 데이터(RWD) 제공 수준도 차이가 있어 소외된 집단의 실제 약물 사용에 대한 이해가 제한될 수밖에 없기 때문입니다. 결국 공정성과 형평성을 관리한다는 것은 이러한 데이터 대표성 문제를 정면으로 마주하고, 통계적·실무적 조치를 통해 모든 환자에게 동등한 안전성 혜택이 돌아가도록 보장하는 체계적인 노력이라 할 수 있습니다.

원칙 7. Governance & Accountability(거버넌스 및 책임성)

마지막 원칙에서는 AI가 단순한 기술적 도구를 넘어, 기존의 약물감시 품질 관리 시스템(QMS) 내에서 체계적으로 운영되고 통제되어야 함을 강조합니다. 시스템 자체는 책임의 주체가 될 수 없으므로, 조직 내에서 AI를 관리하고 그 결과에 책임을 지는 주체와 R&R을 명확히 정의하는 것이 거버넌스의 핵심입니다. 이러한 체계는 기획부터 개발, 도입 전 검증, 운영 및 사후 관리에 이르는 AI 시스템의 전체 생애주기를 포괄해야 하며, 소프트웨어 벤더 및 서비스 제공자에 대한 적격성 평가(Qualification)까지 포함되어야 합니다. 특히 CIOMS가 제안하는 ‘Governane Framework Grid’를 활용하면, 단계별 리스크 수준에 따라 통제 범위를 설정하고 전 과정의 투명성을 확보하는 구조화된 가이드라인을 수립할 수 있습니다. 

감지를 넘어 예방으로, 셀타스퀘어가 주도하는 약물감시의 미래

지금까지 살펴본 CIOMS의 7대 원칙은 AI가 약물감시 영역에 성공적으로 안착하기 위해 지켜야 할 최소한의 약속이자, 실무적 가이드로 삼아야 할 이정표라 할 수 있습니다. 이러한 원칙들이 현장에 유기적으로 녹아들고 제대로 충족될 때, '사후 대응'이라는 오랜 관성에서 벗어나 약물감시의 패러다임 전환을 맞이할 수 있을 것입니다. 이미 발생한 부작용을 수집하는 '감지'를 넘어, AI의 예측 능력을 활용해 부작용 가능성을 미리 차단하는 '선제적 예방'의 미래가 우리 앞에 현실로 다가오는 것입니다.

이러한 혁신의 흐름 속에서 셀타스퀘어는 이미 실질적인 성과를 만들어내고 있습니다. 대표적으로 삼성서울병원과의 공동연구를 통해 조영제 부작용의 'Golden Standard Factor'를 규명하였으며, 이를 통해 환자 개개인의 특성에 맞춘 부작용 예측 가이드를 제공하고 있습니다. 이는 '감지'를 넘어선 '예방'이 현재 진행형의 기술임을 증명함과 동시에, 환자의 유전적 정보와 생활 패턴 등을 아우르는 맞춤형 안전 관리가 머지않았음을 보여주는 사례라고 할 수 있습니다.

이제 AI는 단순한 도구를 넘어 약물감시의 효율을 극대화할 강력한 파트너가 될 것입니다. 이 속에서 우리의 역할 또한 단순 데이터 분석가에 머무는 것이 아니라, AI 시스템을 전략적으로 리딩하고 가치 있는 결정을 내리는 전문가로 거듭나야 할 때입니다. 셀타스퀘어는 여러분이 이 변화를 주도하며 가장 안전한 약물감시 시스템을 구축할 수 있도록 든든한 조력자로서 항상 함께하겠습니다.