셀렉트스타는 AI 신뢰성을 단순히 성능이 높은 상태가 아니라 AI가 어떤 조건에서 어떻게 작동하고 언제 한계를 드러내는지를 설명할 수 있는 상태로 정의한다. 문제가 발생하지 않기를 기대하는 것이 아니라 문제가 발생할 수 있는 지점을 미리 알고 관리할 수 있어야 신뢰할 수 있다는 판단에서다.
셀렉트스타가 데이터 품질 관리와 평가 체계에 공을 들이는 이유도 여기에 있다. 이를 위해 회사는 데이터 처리·검증 전반의 관리 체계를 객관적으로 점검받기 위해 한국정보통신기술협회(TTA)의 DQ(Data Quality) 인증을 획득했다. 단순히 인증 하나를 추가한 것이 아니라 데이터 품질 기준과 검증 절차, 이력 관리 방식을 정형화했고, 이를 AI 평가 데이터와 신뢰성 검증 데이터에도 동일하게 적용했다.
이와 함께 모델 배포 전후 동일한 기준의 평가를 반복 수행하는 신뢰성 평가 솔루션 ‘다투모 이밸(Datumo Eval)’을 활용 중이다. 구체적으로 다투모 이밸은 평가 기준과 테스트 데이터, 평가 결과를 일관된 구조로 축적·관리해 특정 시점의 성능이 아니라 변화 과정까지 비교·추적할 수 있도록 설계됐다.
이를 통해 고객사 입장에서는 특정 수치보다 “어떤 기준으로, 어디까지 검증했는지”를 설명할 수 있는 근거를 남길 수 있고 모델 업데이트나 서비스 환경 변화 이후에도 동일한 잣대로 신뢰성 상태를 점검할 수 있다. 이런 구조는 내부 의사결정은 물론, 외부 감사나 고객 대응 과정에서도 실질적인 근거로도 활용할 수 있다는 설명이다.
셀렉트스타 관계자는 “AI 신뢰성은 단순히 정확도가 높은지를 넘어 AI가 실제 서비스 환경에서 예측 가능하고 일관되게 동작하는 상태를 의미한다”며 “즉, 모델이 언제 어떤 상황에서 어떤 한계를 보이는지 설명 가능하고 그 위험을 관리할 수 있는 상태를 신뢰성으로 보고 있다”고 밝혔다.
크라우드웍스는 AI 신뢰성을 하나의 기준으로 정의하기보다 성능과 안전성을 함께 관리해야 하는 문제로 본다.
성능 영역에서는 AI가 설계 목적에 맞게 일관되게 작동하는지를 점검한다. 정확도나 일관성 등을 평가하며 AI 워크플로우 각 단계의 역할에 맞춘 평가를 적용한다. 또 소형언어모델(SLM), 검색증강생성(RAG), 에이전트 등 기업용 AI 구조에 특화된 자체 평가 프레임워크를 통해 응답 정확도와 추론 품질, 맥락 이해력 등을 검증한다.
안전성 영역에서는 AI가 실제 서비스 환경에서 문제를 일으킬 가능성이 있는지를 확인한다. 이를 위해 편향성·유해성·개인정보 보호 등 운영 과정에서 발생할 수 있는 위험 요소를 점검한다. 또한 솔루션 기반 자동 평가만으로는 신뢰도가 떨어질 수 있다는 의견을 고려, 1차 평가 이후 도메인 전문가가 결과를 다시 검증·보완하는 방식을 적용하고 있다. 이는 수치만으로는 드러나지 않는 위험을 실제 서비스 관점에서 한 번 더 걸러내기 위한 조치다.
이런 방식은 실제 현장에서도 효과를 냈다. 한 증권사와 협업한 챗봇 프로젝트에서는 서비스 출시 전 엔드유저 관점의 레드티밍을 진행했고 그 과정에서 고객의 투자 성향과 무관하게 고위험 상품을 추천하는 시나리오가 발견됐다. 이에 가이드라인을 강화하고 특정 표현이 포함될 경우 즉시 필터링되도록 조치했다.
또한 정치적 질문에 대해 특정 정당의 정책을 비판하는 답변이 생성되는 문제를 확인해 중립적인 정보 제공이 가능하도록 가드레일을 수정, 서비스 출시 이전에 안전성을 확보했다.
크라우드웍스 관계자는 “안전성이 담보되지 않은 성능은 신뢰할 수 없다는 것은 업계의 흐름이다”며 “실제 제품 및 서비스 단계에서의 AI 신뢰성 확보를 위해 성능 평가와 안전성 평가를 분리한 이중 평가 체계를 운영하고 있다”고 밝혔다.
씽크포비엘은 AI 신뢰성을 단일 기술이나 도구의 문제가 아니라 설계·검증·운영 전 주기에 걸쳐 ‘증명 가능하게 만드는 기술 묶음’로 정의한다. 신뢰를 설명할 수 있고 책임질 수 있는 상태로 만들어야 한다는 관점이다.
이런 인식에 따라 씽크포비엘이 가장 먼저 짚는 지점은 사전 단계의 영향평가와 위험 식별이다. AI를 만들기 전에 “이 시스템이 어디까지 허용 가능한가”를 정의하지 않으면, 이후의 검증과 통제 역시 기준을 잃기 쉽다는 이유다. 회사는 영향평가와 위험 식별을 통해 신뢰성의 기준점을 먼저 설정하고 그 위에서 기술적 검증을 이어가는 방식을 택했다.
데이터와 모델 단계에서는 충실도 검증에 초점을 맞춘다. 씽크포비엘은 단순 정확도만으로는 설명되지 않는 편향이나 맥락 왜곡, 입력과 출력 간 불일치를 진단하기 위해 데이터 충실도와 맥락 기반 편향을 평가하는 기술을 적용해 왔다고 설명했다. 회사의 표현을 빌리자면 “성능 수치를 확인하는 테스트라기보다 ‘왜 이런 결과가 나올 수밖에 없었는지’를 추적 가능하게 만드는 검증”에 가깝다.
운영 단계에서는 지속적인 검증과 통제를 전제로 한다. AI는 배포로 끝나는 시스템이 아니라 환경과 데이터, 사용 방식이 바뀔수록 신뢰성이 흔들릴 수 있는 구조라는 인식 때문이다.
씽크포비엘 관계자는 “회사의 핵심 기술은 ‘진단으로 끝나는 컨설팅’이 아니라 진단, 처방(개선 설계), 적용(현장 시술), 재평가(모니터링·감사)까지 닫힌 고리로 실제 현장에 안착시키는 방식으로 적용하고 있다”며 “기획부터 운영까지의 전 싸이클에서 필요한 지식을 연구하고 정립했다”고 밝혔다.
이어 “예를 들면 영향평가, 위험관리, 데이터편향분석, 모델 견고성 평가, 중독 및 추출 공격에 대한 방어, 인간감독체계, 안전모드설계, 운영 과정의 재검증 및 평가, 모니터링 거버넌스 등이다”며 “이런 지식을 AI 신뢰성을 접하는 사람이 쉽게 이해할 수 있도록 AI 튜터 교육 플랫폼으로 구축해 교육 서비스를 진행하고 있다”고 덧붙였다.
출처 : 아이티데일리(http://www.itdaily.kr)