본 연구는 전수 대상 시행 이후의 국어과 국가수준 학업성취도 평가 검사지의 신뢰도와 타당도를 검토하고, 그 결과에 따라 검사지의 신뢰도와 타당도를 떨어뜨리는 문항의 특징을 분석하여 문항 개선점을 제시하는 것을 목적으로 한다. 이를 위하여 2008-2010년의 초, 중, 고 9개 국어과 검사 결과를 이용하여 신뢰도 계수 산출, 문항 제거 시 신뢰도, 문항 변별도, 요인분석을 통한 요인적재량을 검토하였다. 신뢰도 분석 결과, 9개 검사지의 신뢰도가 모두 높은 것으로 나타났다. 그리고 6개 검사지 중 8개 문항이 검사지의 신뢰도를 다소 떨어뜨리는 문항인 것으로 나타났다. 그리고 구인 타당도 분석 결과, 14개의 문항이 국어능력을 측정하는 것과는 거리가 있는 것으로 나타났다. 이렇게 검사지의 신뢰도를 떨어뜨리는 문항과 국어능력 측정 기능이 낮은 문항은, 공통적으로 해당 검사지의 문항들 중에서 변별도가 상대적으로 낮은 문항이라는 점을 발견하였다. 그리고 이러한 문항들은 모두 학습자가 정답을 확정하는 데 장애가 되는 요소가 있다는 특징을 추출하였다. 또한 정답 확정에 장애를 주는 원인을 네 가지 유형으로 분류할 수 있었다. 첫째, 문항에서 불충분한 정보가 제공되어서 학생들이 진위 여부를 확정하기 어려운 경우였다. 둘째, 불명확한 진술이나 혼동을 일으키는 내용이 포함되어서 학생들이 진위 여부를 확정하기 어려운 경우였다. 셋째, 학습자 수준을 상회하는 어려운 요소 때문에 학생들이 정답을 확정하기 어려운 경우였다. 넷째, 언어 양식(음성 언어)의 처리 방식에 적합지 않은 내용으로 구성되어서, 학생들이 정답을 확정하는 데 무리가 따른 문항들이었다.