MIT 팀, AI 모델에게 아직 몰랐던 것을 가르치다
인공지능(AI)의 적용은 빠르게 성장하고 있으며, 헬스케어, 통신, 에너지와 같은 고위험 산업과 우리 일상생활에 점점 더 깊숙이 얽히고 있습니다. 하지만 큰 힘에는 큰 책임이 따릅니다. AI 시스템은 때때로 실수를 하거나 불확실한 답변을 내놓을 수 있으며, 이는 중대한 결과를 초래할 수 있습니다.
CSAIL 연구소의 다니엘라 루스(Daniela Rus) 교수가 공동 설립하고 이끄는 MIT의 Themis AI는 획기적인 해결책을 제시합니다. 이들의 기술은 AI 모델이 '자신이 모르는 것을 알도록' 돕습니다. 이는 AI 시스템이 예측에 대해 확신이 없을 때 스스로 이를 표시할 수 있음을 의미하며, 피해가 발생하기 전에 오류를 방지할 수 있게 합니다.
이것이 왜 그렇게 중요할까요?
고급 모델을 포함한 많은 AI 모델은 때때로 소위 '환각(hallucinations)'을 보일 수 있습니다. 즉, 잘못되었거나 근거 없는 답변을 제공하는 것입니다. 의료 진단이나 자율 주행과 같이 결정의 무게가 큰 분야에서는 이것이 치명적인 결과를 초래할 수 있습니다. Themis AI는 불확실성 정량화(uncertainty quantification)를 적용하는 플랫폼인 Capsa를 개발했습니다. 이는 AI 출력의 불확실성을 상세하고 신뢰할 수 있는 방식으로 측정하고 정량화합니다.
작동 방식은 무엇입니까?
모델에 불확실성 인지 능력을 부여함으로써, 모델은 출력에 위험 또는 신뢰도 레이블을 제공할 수 있습니다. 예를 들어, 자율 주행 자동차는 특정 상황에 대해 확신이 없음을 표시하고 그 결과 인간의 개입을 활성화할 수 있습니다. 이는 안전성을 높일 뿐만 아니라 AI 시스템에 대한 사용자의 신뢰도 향상시킵니다.
- PyTorch와 통합할 때 모델을 래핑하는 것은
capsa_torch.wrapper()출력이 예측과 위험 모두로 구성되는 경우:
NetCare와 고객에게 이 기술은 엄청난 진전을 의미합니다. 우리는 지능적일 뿐만 아니라 안전하고 환각 발생 가능성이 적어 예측 가능성이 더 높은 AI 애플리케이션을 제공할 수 있습니다. 이는 조직이 더 나은 정보에 입각한 결정을 내리고 비즈니스에 중요한 애플리케이션에 AI를 도입할 때 위험을 줄이는 데 도움이 됩니다.
결론
MIT는 팀 AI의 미래가 단순히 더 똑똑해지는 것에만 국한되지 않고, 무엇보다도 더 안전하고 공정하게 작동하는 데 달려 있음을 보여줍니다. 넷케어(NetCare)는 AI가 자체적인 한계에 대해 투명할 때 비로소 진정으로 가치 있어진다고 믿습니다. Capsa와 같은 고급 불확실성 정량화 도구를 사용하면 귀하도 그 비전을 실제로 구현할 수 있습니다.
