실패를 어떤 종류로 기록하나요?
사실 오류와 형식 오류, 누락, 실행 실패를 나누어 기록할 수 있습니다. 모두 같은 오류 건수로 합치면 어떤 작업에 취약한지 알기 어렵습니다.
적용 범위
같은 입력과 같은 판정 기준을 사용하되 제품이 제공하는 기능 차이를 기록합니다. 아래 비교 방식은 업무 선택을 돕는 실험 제안이며 보편적인 성능 순위를 만들기 위한 기준이 아닙니다.
확인할 항목
- 비교 입력을 동일하게 유지
- 최초 결과와 수정 결과 분리
- 실패 사례도 기록
공식 참고 자료
아래 자료는 이 주제의 개념과 검토 기준을 확인하는 공식 참고 문서입니다. 작업 순서와 비교 방법은 편집팀의 제안이며, 제품의 성능을 직접 시험했다는 뜻은 아닙니다.
- NIST AI RMF 측정과 관리확인일 2026-10-20
- NIST AI 위험관리 프레임워크확인일 2026-10-20
관련 질문
어려운 예제만 넣어도 되나요?
어려운 사례는 필요하지만 실제 작업의 분포도 반영하는 것이 좋습니다. 일반 작업과 예외 작업의 비중을 명시해 결과를 해석하세요.
어려운 예제만 넣어도 되나요 자세히 보기 ↗필수 정보가 없는 입력도 시험하나요?
정보가 부족할 때 질문을 되묻거나 미확인으로 남기는지 확인하세요. 없는 사실을 채워 완성해 보이는 출력은 업무에서 위험할 수 있습니다.
필수 정보가 없는 입력도 시험하나요 자세히 보기 ↗서로 모순되는 자료는 어떻게 시험하나요?
날짜나 수치가 다른 문서를 함께 제공하고 충돌을 표시하는지 보세요. 모델이 어느 자료를 선택했는지 설명 없이 한 값을 확정하지 않는지 확인하세요.
서로 모순되는 자료는 어떻게 시험하나요 자세히 보기 ↗