[AWS] Responsible AI란? 쉽게 정리

 

 

Responsible AI

AI 시스템이 안전하고 신뢰할 수 있으며 윤리적으로 작동하도록 보장하는 원칙과 지침들이다.

 

Responsible AI 핵심 요소

핵심 요소	설명
공정성 (Fairness)	AI가 특정 집단에 편향되지 않도록 해야 한다. (예: 나이, 성별, 인종, 지역 등)
설명 가능성 (Explainability)	AI가 왜 그런 결정을 내렸는지 사용자가 이해할 수 있어야 한다.
강건성 (Robustness)	AI가 오류나 실패에 잘 견디고 안정적으로 작동해야 함
프라이버시 및 보안 (Privacy & Security)	사용자 데이터는 보호되고, 안전하게 처리되어야 한다.
거버넌스 (Governance)	규제나 업계 기준을 따르고, 리스크를 관리해야 함
투명성 (Transparency)	AI 시스템이 어떻게 작동하는지 명확히 공개되어야 한다.
책임성 (Accountability)	AI의 결정에 대해 책임질 수 있어야 하고, 문제가 생기면 수정해야 한다.

 

https://aws.amazon.com/ai/responsible-ai/

책임 있는 AI - 책임 있는 AI 구축 - AWS

 

🔍 공정성 문제의 원인: 편향과 분산

- 클래스 불균형(Class Imbalance)

• 학습 데이터에 특정 그룹의 데이터가 많거나 적을 경우 발생
• 예: 남성 67.6%, 여성 32.4% → 남성에 대한 예측 정확도 ↑, 여성은 오류 ↑

- 과적합(Overfitting)

• 훈련 데이터에 너무 특화되어서 일반적인 상황에서 잘 작동하지 않음

- 과소적합(Underfitting)

• 훈련 데이터가 충분하지 않아 모델이 어떤 그룹을 잘 이해하지 못함

 

🧾 책임 있는 데이터셋(Responsible Datasets)의 특징

1. 포괄성(Inclusivity) – 다양한 사람과 관점을 반영
2. 다양성(Diversity) – 여러 특성과 변수 포함
3. 균형(Balance) – 데이터가 한쪽으로 치우치지 않음
4. 개인정보 보호(Privacy Protection) – 법과 정책에 따라 보호
5. 동의와 투명성(Consent & Transparency) – 명확한 동의 받고 사용
6. 정기 감사(Regular Audits) – 정기적으로 편향 여부 확인

---

🤔 문제

한 회사가 AI 기반 이력서 자동 심사 시스템을 만들었습니다. 회사는 대규모 데이터셋을 사용해 이 모델을 훈련시켰습니다.
하지만 이 데이터셋에는 모든 인구 집단(demographics)을 대표하지 않는 이력서들이 포함되어 있었습니다. 이 시나리오는 책임 있는 AI(Responsible AI)의 어떤 핵심 요소를 보여주고 있나요?

1. 공정성 (Fairness)
2. 설명 가능성 (Explainability)
3. 프라이버시 및 보안 (Privacy and security)
4. 투명성 (Transparency)

정답

정답. 1번

Fairness: AI 시스템이 모든 사용자나 집단에게 편향되지 않게 동작해야 한다는 원칙.

특정 인종, 성별, 나이 등의 집단이 훈련 데이터에서 과소 대표되었다면, AI가 그 집단을 부당하게 평가할 가능성이 있음.

 

 

2번. Explainability (설명 가능성):
모델이 어떻게 결정을 내리는지 설명할 수 있는지에 관한 문제

3번. Privacy and security (프라이버시와 보안):
개인 데이터의 보안 또는 개인정보 보호와 관련된 문제

4번. Transparency (투명성):
AI 시스템이 어떻게 작동하는지, 누가 책임이 있는지 등의 정보를 명확히 공개하는 것