이 논문은 한국어 능력 시험(TOPIK：Test of Proficiency in Korean)의 평가 문항이 한국어 학습자의 숙달도를 평가함에 있어서 어느 정도의 내용타당도를 지니는가를 분석하였다. 이 논문에서는 의사소통 상황에서 한국어가 실제 사용되는 것을 통하여 한국어 사용 능력을 평가한다는 측면에서 한국어 능력 시험의 전체 평가 영역 중 ‘어휘문법’ 영역을 제외하고 ‘쓰기’, ‘듣기’, ‘읽기’ 세 영역에 대한 내용타당도를 살펴보았다. 또 문항의 내용타당도를 분석하기 위한 범주를 한국어 능력 시험의 요강에 제시되어 있는 평가 기준을 준거로, 기능, 맥락, 내용, 텍스트 형태 등으로 설정하였다.그 결과, 이들 네 범주에 대하여 평가 기준에 제시되었던 것이 각 영역별로 평가 문항에 제대로 반영되지 않았음을 확인할 수 있었다. 따라서 한국어 능력 시험의 평가 문항이 이 평가를 주관하는 기관에서 측정하고자 제시하였던 평가 기준에 대하여 대표성을 띤다고 보기 어렵다.이같이 한국어 능력 시험의 평가 문항이 내용타당도가 높지 않은 원인으로 다음 두 가지 를 생각할 수 있다. 첫째, 평가 문항을 작성할 때 출제자가 평가 기준을 충분히 고려하지 않았다는 것이다. 둘째, 한국어 능력 시험의 평가 기준에 설정된 내용이 타당하지 않을 수 있다는 것이다. 어떤 평가 도구가 신뢰도 실용도, 난이도 등에 문제가 없다 하더라도 내용타당도가 낮다면 그 평가 도구는 재고되어야 한다. 한국어 능력 평가가 공인된 평가도구로서 내용타당도를 높이기 위해서는 위 두 가능성 모두를 열어두고 이들 문제점을 개선할 수 있는 연구가 필요하다.