Model, System, Dataset Card

AI 투명성(transparency)은 세 가지 문서 형식으로 구조화됩니다. 모델 카드(Model Card, Mitchell 등 2019)는 모델을 위한 영양성분표(nutrition label)에 해당합니다. 훈련 데이터, 정량적 세분 분석(quantitative disaggregated analysis), 윤리적 고려사항(ethical considerations), 주의점(caveat)을 담습니다. 그러나 Hugging Face 모델 카드 가운데 윤리적 고려사항을 문서화한 비율은 0.3%에 불과합니다(Oreamuno 등, 2023). 데이터셋을 위한 데이터시트(Datasheets for Datasets, Gebru 등 2018, CACM)는 동기(motivation), 구성(composition), 수집 과정(collection process), 라벨링(labeling), 배포(distribution), 유지보수(maintenance)를 다루며, 전자 부품 데이터시트에 비유됩니다. 데이터 카드(Data Cards, Pushkarna 등, Google 2022)는 다양한 독자를 위한 경계 객체(boundary object)로서 망원경(telescopic), 잠망경(periscopic), 현미경(microscopic) 수준의 계층적 세부 정보를 제공합니다. 2024-2025년의 주요 발전으로는 LLM을 활용한 자동 생성(CardGen, Liu 등 2024), Hugging Face에서 모델 카드 세부 수준과 최대 29%의 다운로드 증가 사이의 상관관계(Liang 등 2024), 검증 가능한 증명(verifiable attestation, Laminator, Duddu 등 2024), 탄소와 물 사용량에 관한 지속가능성(sustainability) 보고 항목 추가(Jouneaux 등 2025년 7월), EU/ISO 규제 카드의 등장 등이 있습니다. 시스템 카드(System Card, Sidhpurwala 2024; Meta 시스템 수준 투명성; "Blueprints of Trust" arXiv:2509.20394)는 보안 역량, 프롬프트 인젝션(prompt injection) 보호, 데이터 유출 탐지(data-exfiltration detection), 인간 가치와의 정렬(alignment)을 포함해 종단 간(end-to-end) AI 시스템 전반을 문서화합니다.

유형: Build 언어: Python (표준 라이브러리, 모델 카드 + 데이터시트 + 시스템 카드 생성기) 선수 지식: Phase 18 · 18 (안전 프레임워크), Phase 18 · 24 (규제) 소요 시간: 약 60분

학습 목표

• Mitchell 등(2019)의 원형 모델 카드와 Gebru 등(2018)의 데이터시트를 설명할 수 있습니다.
• 데이터 카드의 망원경(telescopic)/잠망경(periscopic)/현미경(microscopic) 계층 구조를 설명할 수 있습니다.
• 시스템 카드와 그 종단 간(end-to-end) 적용 범위를 설명할 수 있습니다.
• 2024-2025년의 발전 세 가지인 자동 생성(automated generation), 검증 가능한 증명(verifiable attestation), 지속가능성 보고(sustainability reporting)를 제시할 수 있습니다.

문제

규제 프레임워크(24강)와 연구소 안전 정책(18강)은 모두 문서화를 요구합니다. 문서 형식은 모델 특화 문서(model cards)에서 데이터셋 특화 문서(datasheets)를 거쳐 시스템 특화 문서(system cards)로 발전해 왔습니다. 각 형식은 서로 다른 투명성 범위를 다룹니다. 2024-2025년의 자동화와 검증 가능한 증명 연구는 오랫동안 이어져 온 채택(adoption) 문제를 정면으로 다룹니다.

개념

모델 카드(Model Cards, Mitchell 등 2019)

섹션은 다음과 같이 구성됩니다.

• 모델 세부 정보(Model details).
• 의도된 사용(Intended use).
• 요인(Factors): 평가와 관련된 인구통계 또는 환경 요인.
• 지표(Metrics).
• 평가 데이터(Evaluation data).
• 훈련 데이터(Training data).
• 정량 분석(Quantitative analysis): 요인별 세분 분석.
• 윤리적 고려사항(Ethical considerations).
• 주의점과 권장사항(Caveats and recommendations).

채택 문제도 있습니다. Oreamuno 등(2023)이 Hugging Face 모델 카드를 감사한 결과, 윤리적 고려사항을 문서화한 비율은 0.3%에 불과했습니다.

데이터셋을 위한 데이터시트(Datasheets for Datasets, Gebru 등 2018)

전자 부품의 데이터시트에 비유됩니다. 섹션은 다음과 같이 구성됩니다.

• 동기(Motivation): 데이터셋을 왜 만들었는가.
• 구성(Composition): 무엇이 담겨 있는가.
• 수집 과정(Collection process): 어떻게 모았는가.
• 라벨링(Labeling): 해당하는 경우.
• 사용(Uses): 의도된 사용, 금지된 사용, 위험.
• 배포(Distribution).
• 유지보수(Maintenance).

CACM 2021에 게재되었습니다. 데이터시트는 상류(upstream) 문서이며, 모델 카드의 신뢰성은 데이터시트가 얼마나 정확한지에 달려 있습니다.

데이터 카드(Data Cards, Pushkarna 등, Google 2022)

모듈형 계층 구조로 세부 정보를 제공합니다. 세 가지 확대 수준(zoom level)이 있습니다.

• 망원경(Telescopic). 비전문가를 위한 고수준 요약.
• 잠망경(Periscopic). ML 실무자(ML practitioner)를 위한 중간 수준 개요.
• 현미경(Microscopic). 감사자(auditor)를 위한 상세한 피처(feature) 수준 문서.

경계 객체 프레이밍(boundary-object framing)이란, 서로 다른 독자가 같은 문서에서 각자에게 필요한 서로 다른 정보를 뽑아낸다는 관점입니다.

시스템 카드(System Cards)

대상 범위는 모델 + 안전 스택(safety stack) + 배포 맥락을 모두 포함하는 종단 간 AI 시스템입니다. 일반적인 섹션은 다음과 같이 구성됩니다.

• 보안 역량(Security capabilities).
• 프롬프트 인젝션 보호(Prompt-injection protection).
• 데이터 유출 탐지(Data-exfiltration detection).
• 명시된 인간 가치와의 정렬(Alignment with stated human values).
• 사고 대응(Incident response).

Sidhpurwala 2024와 Meta의 시스템 수준 투명성 작업이 있습니다. "Blueprints of Trust"(arXiv:2509.20394)는 시스템 카드를 모델 카드에 대응하는 배포 계층(deployment-layer) 문서로 형식화합니다.

2024-2025년의 발전

• CardGen(Liu 등 2024). LLM을 활용한 모델 카드 자동 생성입니다. 표준화된 Mitchell 2019 필드에서 많은 사람이 직접 작성한 카드보다 더 높은 객관성(objectivity)을 보고합니다.
• 다운로드 상관관계(Liang 등 2024). 상세한 모델 카드일수록 Hugging Face에서 최대 29% 더 높은 다운로드율과 상관관계를 보입니다. 채택 압력(adoption pressure)이 이제는 규정 준수뿐 아니라 시장에서도 발생한다는 의미입니다.
• Laminator(Duddu 등 2024). 하드웨어 신뢰 실행 환경(Trusted Execution Environment; TEE) 또는 암호학적 서명(cryptographic signature)을 통한 검증 가능한 증명입니다. 모델 카드에 단순한 주장(claim)만이 아니라 그 주장에 대한 증명(proof)을 함께 담을 수 있게 합니다.
• 지속가능성(Jouneaux 등 2025년 7월). 탄소, 물, 컴퓨팅 에너지 발자국(compute-energy footprint)을 위한 항목이 추가됩니다. 관련 ISO 표준도 등장하고 있습니다.
• 규제 카드. EU AI Act(24강)의 GPAI Code of Practice 투명성 장(Transparency chapter)은 모델 카드를 규정 준수 산출물로 요구합니다.

Phase 18에서의 위치

24-25강은 규제와 CVE 계층을 다룹니다. 26강은 문서화 계층입니다. 27강은 데이터시트의 상류에 해당하는 훈련 데이터 거버넌스(training-data governance)를 다루고, 28강은 카드에 인용되는 평가를 생산하는 연구 생태계를 다룹니다.

사용해보기

code/main.py는 장난감(toy) 수준의 배포에 대해 최소한의 모델 카드, 데이터시트, 시스템 카드를 생성합니다. 각 문서는 표준 섹션 구조를 따릅니다. 출력 형식을 살펴보고 세 문서의 적용 범위를 서로 비교해 볼 수 있습니다.

산출물 만들기

이 레슨은 outputs/skill-card-audit.md를 산출합니다. 모델 카드, 데이터시트, 시스템 카드가 주어지면, 이 스킬(skill)은 섹션의 충실도(section coverage), 수치적 세분 분석(numerical disaggregation), 검증 가능한 증명의 존재 여부를 감사(audit)합니다.

연습문제

1. code/main.py를 실행합니다. 생성된 카드를 살펴보고, 빈약한 섹션(자리표시자(placeholder)뿐인 섹션)을 식별한 다음 어떤 증거(evidence)가 그 섹션을 강화할 수 있는지 명시합니다.

2. 두 인구통계 집단(demographic group)에 대한 정량적 세분 분석을 모델 카드에 추가합니다(20강).

3. 0.3% 채택률에 관한 Oreamuno 등(2023)을 읽습니다. 윤리적 고려사항 채택률을 높일 수 있는 모델 카드 명세(specification)의 구조적 변경 한 가지를 제안합니다.

4. Laminator(Duddu 등 2024)는 검증 가능한 증명을 위해 TEE를 사용합니다. 평가 결과에 대한 암호학적 증명을 담는 모델 카드 필드(field)를 설계하고 검증자(verifier)의 역할을 설명합니다.

5. 과거 진행했던 프로젝트 하나 또는 가상의 배포 시나리오에 대해 시스템 카드(System Card, Model Card가 아님)를 작성합니다. 제3자 감사자(third-party auditor)에게 가장 가치 있는 섹션이 무엇인지 식별합니다.

핵심 용어

더 읽을거리

• Mitchell et al. — Model Cards for Model Reporting (arXiv:1810.03993, FAT* 2019) — 표준 모델 카드
• Gebru et al. — Datasheets for Datasets (CACM 2021, arXiv:1803.09010) — 데이터시트 논문
• Pushkarna et al. — Data Cards (Google 2022) — 계층형 데이터 문서
• Sidhpurwala et al. — Blueprints of Trust (arXiv:2509.20394) — 시스템 카드 형식화