GenAI-HITL 기반 ‘독서와 작문’ 연계 서술형 평가 과제 개발 및 타당성 검토
박고운
한국교원대학교
국어교육학연구 60권 4호 129-174 (2025)
초록
본 연구는 생성형 인공지능(Generative AI)-인간 전문가 협력(HITL) 방식으로 2022 개정 국어과 ‘독서와 작문’ 성취기준에 부합하는 서술형 평가과제를 개발하고, 전문가 준거 기반 평정을 통해 교육적 타당성에 관한 예비적 타당화 근거를 제시하였다. 컨텍스트 엔지니어링과 사고연쇄(Chain of Thought)를 통합한 3단계 프로토콜을 설계하여 지문-문항-루브릭-해설이 연계된 과제를 생성하였다. 생성 결과물은 전국 13개 시도 현직 국어교사 18인이 3개 영역 12개 항목으로 평가하였다. 정량 분석 결과, 전체 평균은 4.32점으로 나타났으며 성취기준 부합도와 구조적 체계성에서 높은 평정을 받았다. 평가 도구의 내적 일관성과 평정자 간 합치도 역시 양호한 수준으로확인되었다. 반면 학습자 수준 적합성은 상대적으로 낮아, AI가 형식화 가능한 교육과정 요소는 구현하되 학습자 발달 단계 및 학급 맥락과 같은 비형식적 요소 반영에는 한계가 있음을 시사하였다. 본 연구는 AI 생성 과제가 교사가 조정 가능한 초안으로 기능할 수 있음을 확인하였으며, 형식적 타당성과 실질적 타당성의 균형이 인간-AI 협력을 통해 강화될 가능성을 제시한다.
키워드
자동 문항 생성생성형 AI인간-AI 협력서술형 평가독서와 작문2022 개정 교육과정
