이 연구는 쓰기 평가에서 나타나는 평가자 효과를 평가자의 엄격성과 평가 준거 해석의 측면에서 분석하고, 성별과 담당 학교급에 따른 차이를 탐색하는 데 목적이 있다. 이를 위해 평가 대상 글, 평가 준거 및 평가자의 측정 특성을 확인하고, 성별과 담당 학교급에 따른 채점 결과를 비교한 후 그 차이에 대한 후속 면담을 실시하였다. 연구 결과, 성별에 따른 평가자 효과는 나타나지 않았으나 담당 학교급에 따라서는 일부 평가 준거에서 유의한 차이가 나타났다. 후속 면담 참여자들의 진술에서는 양적 분석에서 확인된 학교급별 차이를 설명할 수 있는 평가 준거 해석과 적용 방식의 차이가 나타났다. 이러한 결과는 쓰기 평가의 평가자 효과가 평가자의 엄격성뿐 아니라 평가 준거 해석에서도 나타날 수 있음을 보여주며, 평가자 훈련에서는 평가 준거의 해석과 적용에 대한 일관성을 함께 점검할 필요가 있음을 시사한다.