국어과 서술형 평가 문항 개발 및 채점 방법 사례 연구
이영진
한국교원대학교
국어교육학연구 45호 413-449 (2012)
초록
이 연구는 국어과 서술형 평가 도입과 관련하여 학교 현장에서 교사들이어떻게 문항을 개발하고 채점을 하는지 사례를 통해 소개하였다. 평가에서 타당도와 신뢰도를 어떻게 확보하고 있으며 서술형 평가에 관한 교사들의 견해가 무엇인지를 살펴봄으로써 필요성 및 개선 방안에 관해 고찰하였다. 국어과 서술형 평가와 관련하여 평가 유형 및 평가 문항의 특성, 국어과서술형 평가의 문항 개발 및 채점 방법의 절차를 살펴보았다. 연구 대상은 경기 부천여고 자연계 4개 반 140명으로 2011년 11월 15일 실시한 2학기 독서 과목 지필평가를 통해 학교 현장에서의 3학년 독서과4명의 국어과 교사들이 실제로 국어과 서술형 문항 개발과 채점 과정의 절차를 사례에 주목하였다. 국어과 서술형 평가의 타당도 및 문항 변별도, 신뢰도를 파악하였다. 타당도와 관련하여 내용 타당도에서는 대체로 일반적인 문항 개발 절차에 따라 서술형 평가를 개발하면서 교과협의를 통한 문항 검토 및 수정・보완의과정을 수행함으로써 확보하고 있다고 판단할 수 있다. 문항 변별도와 관련하여 선택형 및 서술형 문항의 정오답표를 분석하였다. 그 결과 선택형에 비하여 서술형 문항에서는 난이도를 조절하지 못한 문항은 발견되지 않아 문항의 변별력을 갖추고 있음을 확인할 수 있었다. 이와 함께 선택형 및 서술형 평가 결과 간의 상관분석 및 평가 결과를바탕으로 하여 상・하위 집단의 서술형 및 선택형 평가 결과의 차이를 분석하였다. 상관분석 결과는 .561로 상관이 있는 것으로 나타났다. 이는 선택형 및 서술형 문항이 공통적인 평가 요소를 공유한다는 점에서 상관이 나타난다고 할 수 있지만, 한편으로 각각의 문항 유형들이 지필평가의 틀 안에서독립적인 역할을 수행하고 있음을 파악할 수 있었다. 이에 대한 근거로서 선택형 및 서술형 문항의 평가 결과가 상・하위 집단 간에 각각 유의한 차이를보이고 있는 것을 제시할 수 있다. 이를 통해 평가의 구인타당도를 확보하고있다고 할 수 있다. 평가의 신뢰도와 관련하여 교사들은 각자 출제한 문항에 대해 기본 답안 및 인정 답안을 작성하고 문항별로 1차 채점을 수행하였으며, 2차 채점을통해 학생들의 다양한 답안 반응에 대해 정답 여부를 확인하는 협의 과정,최종적으로 완료된 채점 결과를 학생들에게 설명하여 확인하는 절차를 통해평가의 신뢰도를 확보하고 있다고 할 수 있다. 국어과 서술형 평가에 관한 교사들의 견해를 파악하기 위해 교과협의회과정에서 면담을 실시하였다. 학교 현장에서는 평가의 타당성 및 필요성에대해 공감하고 있지만 평가를 시행하는 단계에서 어려움을 겪는 것이 사실이다. 문항 개발 및 채점 방법에 대한 체계적인 이론화와 평가 업무 부담을경감하는 방법에 대한 연구가 지속적으로 이루어질 필요가 있다.
키워드
국어과 서술형 평가문항 개발채점 방법타당도문항 변별도신뢰도
