한국어 이론 용어 해설 – 한국어평가론

한국어 교육자를 위한 용어 해설집

언어 숙달도

언어 숙달도는 학습자가 특정 언어를 얼마나 능숙하게 사용할 수 있는지를 나타내는 전체적인 실력 수준이다. 문법, 어휘, 듣기, 말하기, 읽기, 쓰기 등 모든 언어 영역을 종합해서 판단하는 능력이다. 보통 초급, 중급, 고급과 같은 단계로 나누어서 표현하며, 실제 상황에서 언어를 얼마나 효과적으로 사용할 수 있는지에 중점을 둔다. 언어 숙달도가 높을수록 원어민과 비슷한 수준으로 자연스럽게 의사소통할 수 있다.

서열화, 등급화

서열화와 등급화는 학습자들의 시험 결과를 순서대로 배치하는 두 가지 방법이다. 서열화는 점수 순서대로 1등, 2등, 3등처럼 상대적인 순위를 매기는 방식이고, 등급화는 절대적인 기준에 따라 A, B, C등급이나 1급, 2급, 3급으로 분류하는 방식이다. 서열화는 경쟁을 통한 선발이 목적일 때 사용하고, 등급화는 학습자의 절대적인 능력 수준을 확인할 때 사용한다. 두 방식 모두 학습자의 실력을 체계적으로 분류하는 데 도움이 된다. 예를 들면 대학 입학시험에서는 서열화를 통해 상위권 학생을 선발하고, TOPIK에서는 등급화를 통해 1급부터 6급까지 한국어 실력을 분류한다.

다지 선다형 평가

다지 선다형 평가는 하나의 문제에 여러 개의 선택지를 제시하고 그중에서 정답을 고르는 객관식 평가 방법이다. 보통 4개나 5개의 선택지를 제공하며, 학습자는 이 중에서 가장 적절한 답을 하나만 선택해야 한다. 채점이 빠르고 정확하며 많은 문항을 한 번에 평가할 수 있어서 대규모 시험에서 자주 사용한다. 하지만 학습자의 실제 언어 사용 능력보다는 문제 해결 기술을 측정할 가능성이 있다는 한계도 있다.

사전 검사, 사후 검사

사전 검사와 사후 검사는 교육 효과를 확인하기 위해 수업 전후에 실시하는 평가이다. 사전 검사는 수업이나 프로그램을 시작하기 전에 학습자의 초기 실력을 측정하는 것이고, 사후 검사는 교육이 끝난 후에 학습자의 향상된 실력을 측정하는 것이다. 두 검사 결과를 비교하면 교육 프로그램이 얼마나 효과적이었는지 객관적으로 판단할 수 있다. 보통 같은 내용이나 비슷한 난이도의 시험을 사용해서 공정한 비교가 가능하도록 한다. 예를 들면 3개월 한국어 과정을 시작하기 전에 사전 검사로 TOPIK을 보고, 과정을 마친 후에 사후 검사로 다시 TOPIK을 봐서 실력 향상을 확인한다.

채점자 내 신뢰도, 채점자 간 신뢰도

채점자 내 신뢰도와 채점자 간 신뢰도는 채점의 일관성을 측정하는 두 가지 방법이다. 채점자 내 신뢰도는 같은 채점자가 같은 답안을 다른 시간에 채점했을 때 비슷한 점수를 주는 정도를 말한다. 채점자 간 신뢰도는 서로 다른 채점자들이 같은 답안을 채점했을 때 얼마나 비슷한 점수를 주는지를 나타낸다. 두 신뢰도가 모두 높아야 채점 결과를 신뢰할 수 있고 시험의 공정성이 보장된다.

환류 효과

환류 효과는 평가 결과가 학습자와 교사에게 다시 돌아가서 교육에 영향을 주는 현상을 말한다. 시험이나 평가를 본 후에 그 결과를 통해 학습자는 자신의 부족한 부분을 알게 되고, 교사는 수업 방법을 개선하게 된다. 이처럼 평가가 단순히 점수를 매기는 것에서 끝나지 않고 학습과 교육을 더 좋게 만드는 역할을 하는 것이다. 환류 효과가 제대로 작동하면 평가-학습-교육이 선순환 구조를 만들어낸다. 예를 들면 학생들이 말하기 시험에서 낮은 점수를 받자 선생님은 발음 연습 시간을 늘리는 환류 효과를 보였다.

질적 분석, 양적 분석

질적 분석과 양적 분석은 시험 결과를 해석하는 두 가지 다른 방법이다. 양적 분석은 점수, 정답률, 평균 등 숫자와 통계를 사용해서 객관적으로 분석하는 방식이고, 질적 분석은 숫자로 나타낼 수 없는 내용과 특성을 자세히 관찰하고 설명하는 방식이다. 양적 분석은 빠르고 정확한 비교가 가능하지만, 질적 분석은 더 깊이 있는 이해를 제공한다. 좋은 시험 분석을 위해서는 두 방법을 모두 사용하는 것이 효과적이다. 예를 들면 듣기 시험에서 3번 문제의 정답률이 20%로 낮게 나온 것은 양적 분석이고, 왜 학습자들이 틀렸는지 답안 내용을 살펴보는 것은 질적 분석이다.

예비 시험

예비 시험은 정식 시험을 실시하기 전에 문제의 질과 적절성을 확인하기 위해 미리 보는 시험이다. 작은 규모의 학습자 집단을 대상으로 시험 문제를 테스트해서 문제점을 찾아내고 수정한다. 문항 난이도, 시험 시간, 지시문의 명확성 등을 점검할 수 있는 중요한 과정이다. 예비 시험 결과를 바탕으로 부적절한 문제를 제거하거나 수정해서 더 좋은 시험을 만들 수 있다. 예를 들면 새로 개발한 한국어 시험을 정식으로 실시하기 전에 50명의 학습자에게 예비 시험을 보게 해서 문제점을 확인한다.

기계 채점

기계 채점은 컴퓨터나 채점기를 사용해서 자동으로 시험 답안을 채점하는 방식이다. 객관식 문제처럼 정답이 명확한 경우에 주로 사용되며, 사람이 직접 채점하는 것보다 빠르고 정확하다. 채점자의 주관적 판단이 들어가지 않아서 공정하고 일관된 결과를 얻을 수 있다. 하지만 주관식이나 서술형 문제처럼 복잡한 답안은 기계 채점으로 평가하기 어렵다. 예를 들면 TOPIK의 듣기와 읽기 영역은 OMR 카드로 답을 표시하기 때문에 기계 채점이 가능하다.

구인

구인은 시험에서 측정하려고 하는 특정한 언어 능력이나 특성을 말한다. 하나의 시험 안에서도 여러 개의 구인을 동시에 측정할 수 있으며, 각 구인마다 평가 방법이 다를 수 있다. 듣기 능력, 읽기 능력, 말하기 능력처럼 큰 범위의 구인도 있고, 문법 지식이나 어휘 지식처럼 세부적인 구인도 있다. 시험을 설계할 때는 어떤 구인을 측정할 것인지 명확하게 정해야 좋은 시험을 만들 수 있다. 예를 들면 한국어 말하기 시험에서는 발음, 유창성, 정확성이라는 여러 구인을 함께 평가한다.

선택지, 오답지

선택지는 객관식 문제에서 학습자가 선택할 수 있는 모든 답안을 말하고, 오답지는 그중에서 정답이 아닌 잘못된 답안들을 가리킨다. 보통 객관식 문제는 하나의 정답과 여러 개의 오답지로 구성된다. 오답지는 학습자들이 자주 하는 실수나 오해를 반영해서 만들어야 문항의 질이 높아진다. 너무 명백히 틀린 오답지보다는 정답과 비슷해 보이지만 틀린 오답지가 더 좋은 문제를 만든다. 예를 들면 ‘어제 친구를 _.’라는 문제에서 선택지는 ‘① 만났어요 ② 만나요 ③ 만날 거예요 ④ 만나고 싶어요’이고, 이 중 ②③④가 오답지이다.

폐쇄형 문항, 개방형 문항

폐쇄형 문항과 개방형 문항은 답안의 형태에 따른 문항 분류이다. 폐쇄형 문항은 객관식처럼 정해진 선택지 중에서 답을 고르거나 짧은 단답으로 답하는 문항이다. 개방형 문항은 학습자가 자유롭게 길게 답을 쓰거나 말할 수 있는 문항으로 작문이나 말하기 시험이 대표적이다. 폐쇄형 문항은 채점이 쉽고 객관적이지만, 개방형 문항은 학습자의 실제 언어 사용 능력을 더 잘 측정할 수 있다. 예를 들면 ‘다음 중 맞는 문법은?’은 폐쇄형 문항이고, ‘자신의 취미에 대해 200자로 써 보세요’는 개방형 문항이다.

담화 능력

담화 능력은 상황에 맞게 말하거나 글을 쓸 수 있는 종합적인 언어 능력을 말한다. 단순히 문법이나 어휘를 아는 것이 아니라 누구와 언제 어디서 대화하는지에 따라 적절한 표현을 선택할 수 있는 실력이다. 격식적인 상황에서는 존댓말을, 친한 사람과는 반말을 사용하는 것처럼 맥락을 고려해서 언어를 사용하는 능력이다. 예를 들면 교수님께 과제 연장을 요청할 때와 친구에게 같은 부탁을 할 때 완전히 다른 말투를 사용하는 것이 담화 능력이다.

담화 상황

담화 상황은 대화나 글쓰기가 일어나는 구체적인 환경과 조건을 말한다. 누가 누구와 언제 어디서 무엇을 목적으로 대화하는지가 모두 담화 상황에 포함된다. 이런 상황 정보는 어떤 언어 표현을 사용해야 하는지 결정하는 중요한 기준이 된다. 같은 내용이라도 담화 상황에 따라 말하는 방식이 완전히 달라질 수 있다. 예를 들면 병원에서 의사와 대화할 때와 카페에서 친구와 대화할 때는 담화 상황이 다르기 때문에 언어 사용 방식도 달라진다.

담화 구성

담화 구성은 말이나 글의 내용을 논리적이고 체계적으로 조직하는 방법을 말한다. 시작 부분에서 주제를 소개하고, 중간 부분에서 자세한 내용을 설명하고, 마지막 부분에서 결론을 내리는 것처럼 전체적인 구조를 만드는 능력이다. 좋은 담화 구성을 하면 듣는 사람이나 읽는 사람이 내용을 쉽게 이해할 수 있다. 각 부분이 자연스럽게 연결되어서 전체가 하나의 완성된 이야기가 되어야 한다. 예를 들면 자기소개를 할 때 이름-출신-취미-목표 순서로 말하는 것이 담화 구성의 한 방법이다.

등급 체계

등급 체계는 학습자의 언어 능력을 여러 단계로 나누어서 분류하는 기준이다. 보통 초급, 중급, 고급으로 크게 나누고 각 단계를 다시 세분화해서 1급부터 6급까지 구분하는 경우가 많다. 각 등급마다 학습자가 할 수 있어야 하는 언어 활동과 알아야 하는 내용이 명확하게 정해져 있다. 이런 체계가 있으면 학습자는 자신의 현재 수준을 파악하고 다음 목표를 설정할 수 있다. 예를 들면 TOPIK에서는 1급부터 6급까지의 등급 체계를 사용해서 한국어 실력을 평가한다.

문항 유형

문항 유형은 시험 문제의 형태와 답하는 방식에 따른 분류를 말한다. 객관식 문제처럼 여러 선택지 중에서 정답을 고르는 유형과 주관식 문제처럼 직접 답을 쓰는 유형으로 나눌 수 있다. 각각의 문항 유형마다 측정할 수 있는 언어 능력이 다르고 채점 방법도 달라진다. 시험을 만들 때는 평가 목적에 맞는 적절한 문항 유형을 선택하는 것이 중요하다. 예를 들면 듣기 능력을 평가할 때는 음성을 들려주고 답을 선택하는 문항 유형을 사용한다.

채점 타당도

채점 타당도는 시험 점수가 학습자의 실제 언어 능력을 정확하게 반영하는 정도를 말한다. 같은 실력을 가진 학습자가 비슷한 점수를 받고, 실력이 다른 학습자들은 그에 맞는 다른 점수를 받아야 채점 타당도가 높다고 할 수 있다. 채점자가 여러 명일 때는 모든 채점자가 같은 기준으로 점수를 주어야 하고, 같은 채점자라도 시간이 지나도 일관된 점수를 주어야 한다. 채점 타당도가 낮으면 시험 결과를 신뢰할 수 없게 된다. 예를 들면 말하기 시험에서 채점자마다 다른 기준으로 점수를 주면 채점 타당도가 떨어진다.

숙달도 평가

숙달도 평가는 학습자가 언어를 얼마나 잘 사용할 수 있는지 전체적인 능력을 측정하는 평가이다. 이 평가는 특정 수업 내용이나 교재와 상관없이 학습자의 실제 언어 실력이 어느 정도인지 알아보는 것이 목적이다. 보통 초급, 중급, 고급과 같은 등급으로 나누어서 학습자의 언어 수준을 판단한다. 한국어능력시험(TOPIK)처럼 공식적인 자격증을 주는 시험들이 대표적인 숙달도 평가의 예이다.

한국어 표준 교육과정 (2020.11.27.)

한국어표준교육과정은 외국인이 한국어를 배울 때 사용하는 공식적인 교육 기준이다. 이 과정은 한국어 학습자가 어떤 내용을 어떤 순서로 배워야 하는지 체계적으로 정리해 놓은 것이다. 초급부터 고급까지 각 단계별로 배워야 할 문법, 어휘, 표현 등을 명확하게 제시한다. 2020년 11월 27일에 문화체육관광부가 고시 제2020-54호로 발표했다.

응집성

응집성은 문장들이 서로 논리적으로 연결되어 하나의 완성된 글을 만드는 특성을 말한다. 각각의 문장이 따로 떨어져 있는 것이 아니라 앞뒤 문장과 자연스럽게 이어져서 전체 내용이 매끄럽게 흘러가는 것이다. 접속사, 대명사, 반복되는 단어 등을 통해 문장들 사이의 관계를 명확하게 보여준다. 응집성이 높은 글일수록 읽는 사람이 내용을 쉽게 이해할 수 있다. 예를 들면 “오늘 비가 왔다. 그래서 우산을 가져갔다.”는 ‘그래서’라는 접속사로 두 문장의 응집성을 보여준다.

(내용의) 긴밀성

긴밀성은 작문에서 모든 내용이 주제와 밀접하게 관련되어 있는 특성을 말한다. 글의 각 부분이 중심 주제에서 벗어나지 않고 서로 단단하게 연결되어 있어야 한다는 뜻이다. 긴밀성이 높은 글은 불필요한 내용이 없고 모든 문장이 글의 목적을 달성하는 데 도움이 된다. 반대로 긴밀성이 부족하면 주제와 상관없는 이야기가 들어가서 읽는 사람이 혼란스러워한다. 예를 들면 ‘환경 보호’에 대한 글에서 갑자기 ‘어제 먹은 음식’ 이야기를 하면 내용의 긴밀성이 떨어진다.

문항 난이도

문항 난이도는 시험 문제가 얼마나 어려운지를 나타내는 정도를 말한다. 같은 시험에서도 문제마다 쉬운 것과 어려운 것이 있는데, 이를 수치로 표현한 것이 문항 난이도이다. 보통 많은 학습자가 맞힐 수 있는 문제는 쉬운 문제이고, 소수의 학습자만 맞힐 수 있는 문제는 어려운 문제로 분류한다. 좋은 시험을 만들기 위해서는 쉬운 문제부터 어려운 문제까지 적절하게 섞어서 구성해야 한다.

환류 효과

환류 효과는 평가 결과가 학습자와 교사에게 다시 돌아가서 교육에 영향을 주는 현상을 말한다. 시험이나 평가를 본 후에 그 결과를 통해 학습자는 자신의 부족한 부분을 알게 되고, 교사는 수업 방법을 개선하게 된다. 이처럼 평가가 단순히 점수를 매기는 것에서 끝나지 않고 학습과 교육을 더 좋게 만드는 역할을 하는 것이다. 환류 효과가 제대로 작동하면 평가-학습-교육이 선순환 구조를 만들어낸다.

댓글 남기기