ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • 난이도와 변별도
    의의 2009. 1. 28. 14:27

    1. 문항변별도(item discrimination)

    가. 문항변별도의 의미

    (1) 문항변별도란 ‘그 문항이 무엇을 측정하고 있느냐, 그 문항이 측정해야 할 것을 측정 하고 있느냐, 그 문항이 학생의 능력을 변별하는 힘이 있느냐’를 묻는 것으로, 문항타 당도(item validity)와 동의어이다.

    예) 어떤 검사의 총점에 따라 피검사자를 상위집단과 하위집단으로 나누었을 때, 어떤 문항의 정답률이 상위집단이 하위집단보다 월등히 높았다면 그 문항은 문항변별력이 높은 것이다. 또 만약에 어떤 문항의 정답률이 상․하집단간에 전혀 차이가 없었다면 그 문항은 문항변별력이 전혀 없는 것이다. 그리고 만약에 어떤 문항의 정답률이 하 위집단이 하위집단보다 월등히 높았다면 그 문항은 어딘가 심하게 잘못된 것이다. 문항추측을 많이 할수록 변별력은 떨어지며 극단적으로 문항이 어렵거나 문항이 쉬 운 경우도 문항변별력은 떨어진다.

    (2) 절대기준평가에 있어서는 개인차를 변별하는 데 목적이 있는 것이 아니라, 교육목표 의 달성도를 측정하는 데 목적이 있으므로 그 문항이 주어진 교육목표를 타당하게 측 정해 두기만 한다면 문항변별도에는 크게 신경쓸 필요가 없다. 상대평가에 있어서 문 항변별도는 문항의 양호도를 판단하는 기본적인 준거가 되므로 문항변별도 지수가 최 저 .20이어야 하고, .30 이상이면 만족스러운 수준이라고 보고 있다.

    나. 문항변별도의 특징

    (1) 검사의 총점이라는 내적 준거에 의해 문항타당도를 고려한다.

    (2) 변별도 지수(rt)는 +부호를 가지면서 그 값이 크게 나와야 바람직하다. rt가 양수(+)이 면 정적 변별력을 갖고, rt가 0에 가까우면 변별력이 거의 없다는 것을 의미한다 (+.30~+.70까지가 가장 바람직한 분포이다). rt가 음수(-)인 경우는 하위집단이 상위 집단보다 더 높은 점수를 얻은 경우로써 이는 어딘가 심하게 잘못되어 있음을 의미한 다.

    (3) 변별도 지수는 상관계수와 마찬가지로 -1.00~+1.00에 분포된다.

    (4) 상대평가(규준지향평가)와 절대평가(목표지향평가) 모두에 유용하게 쓰인다.

    (5) 학습의 실패자와 서공자의 변별이 잘 되는 교육목표가 어느 것인지를 확인하는 데 중 요한 정보를 제공한다.

    다. 문항변별도 계산

    (1) rt=(2(RH-RL)/N RH:상위집단의 정답자수, RL:하위집단의 정답자수, N:전체 반응자수

    예) [문항1]


    오답

    정답


    상위집단

    90

    60

    150

    하위집단

    50

    100

    150


    160

    140

    300=N

    rt = (2(60-100)/300)=-40/150=-0.27

    ∴ 이 문항은 변별도가 좋지 못한 문항이라고 판정된다.

    [문항2]


    오답

    정답


    상위집단

    40

    110

    150

    하위집단

    120

    30

    150


    160

    140

    300=N

    rt = (2(110-30)/300)/300=80/150=0.53

    ∴ 이 문항은 변별도가 좋은 문항이라고 판정된다.

    (2) 부분 점수를 부여하는 경우(논문형과 같은 서답형의 경우)

    rt = (SH-SL)/NH(Xmax-Xmin)

    SH : 상위집단의 피검자들이 얻은 점수의 총계

    SL : 하위집단의 피검자들이 얻은 점수의 총계

    NH :상위집단의 피검자 수

    Xmax : 그 문항에서 받을 수 있는 최고점수

    Xmin : 그 문항에서 받을 수 있는 최하점수

    2. 문항곤란도(item difficulty)

    가. 문항곤란도의 의미

    (1) 문항곤란도란 어떤 문항의 어려움의 정도를 나타내는 지수(보통P로 나타냄)으로서, 한 문항에 있어서의 전체 반응자수에 대한 정답자의 비율을 백분율로 나타낸 수치이 다.

    (2) 문항곤란도가 일반적으로 평균 50% 정도일 때 검사는 개인차를 변별하는 데 최대의 기능을 발휘한다. 따라서 개인차의 변별을 목적으로 하는 상대평가의 경우에는 문항 곤란도가 20%~80%인 문항을 안배하여 문항곤란도의 평균치가 50% 정도가 되도록 하는 것이 좋다. 반면에 절대기준평가에서의 문항곤란도는 교육목표 달성도에 관한 정보를 준다는 이외에 다른 어떤의미도 갖지 않는다. 그러므로 절대기준평가에서는 평가후에 문항곤란도를 계산해 보는 경우를 예상할 수 있다.

    나. 문항곤란도의 특징

    (1) P는 0~100%에 이르기까지 변산되어 있다. P는 표준편차와 평균에 의해 결정된다.

    (2) P의 값은 20<P<80이 적절하다(상대평가에서).

    ※ 상대평가에서는 P=100이거나 P=0일 때 문항이 어딘가 잘못되어 있다고 보는 반면, 절대평가에서는 P=100이면 교수-학습이 성공한 증거로 보고, P=0이면 목표달성을 위해 교수-학습과정을 개선해야 할 증거로 본다.

    (3) 한 문항에서 정답을 한 사람의 수가 많을수록 P값이 커진다. P가 크면 클수록 더 쉬 운 문항이다.

    (4) P는 문항정답률과 유사한 개념이다.

    다. 문항곤란도

    (1) P=(R/N)*100

    (2) 미달항이 많을 경우

    P=(R/(N-NR))*100

    (3)추측요인이 강하게 작용했을 경우

    P=(((R-(W/n-1))/(N-NR))*100

    R: 해당문항에 대한 정답자수, N:전체 반응자수, NR:해당문항의 미달항자수,

    W: 해당문항의 오답자수, n: 해당문항의 답자수

    예) 60명의 학급학생 중 1번 문항에 45명이 정답을 했다면, 이 문항의 곤란도 지수는?

    (풀이) (45/60)*100=75 (답) 75%

    예) 4지 선다형의 경우

    ① 40 ① 10

    ② 150 ※(정답) ② 15

    ③ 20 ③ 30 ※(정답)

    ④ 60 ④ 5

    NR 30 N=60

    N=300

    P=((150-(120/(4-1)))/(300-30))*100 P=((30-(30/(4-1)))/(60-0)*100

    =((150-40)/270)*100≒41(%) =((30-10)/60)*100≒33.3(%)

    예)배합형의 경우

    답지 전체

    1

    2

    3

    a

    10

    ※75

    40

    b

    ※80

    15

    5

    c

    10

    10

    ※55

    100

    100

    100

    전체 1의 P=((80-(20/(3-1)))/(100-0))*100=(70/100)*100=70(%)

    전체 2의 P=((75-(25/(3-1)))/(100-0))*100=((75-12.5)/100)*100=62.5(%)

    전체 3의 P=((55-(45/(3-1)))/(100-0))*100=((55-22.5)/100)*100=32.5(%)

    (4)부분점수를 부여하는 경우(논문형과 같은 서답형 검사에서)

    P=(SH+SL-NXmin)/N(Xmax-Xmin)*100

    SH : 상위집단의 피검자들이 얻은 점수의 총계

    SL : 하위집단의 피검자들이 얻은 점수의 총계

    Xmax : 그 문항에서 받을 수 있는 최고점수

    Xmin : 그 문항에서 받을 수 있는 최하점수

    N :상․하집단을 합한 피검사자의 수

    라. 문항변별도와 문항곤란도의 관계

    (1) 문항변별도 지수는 문항곤란도에 크게 영향을 받는다는 단점을 지닌다. 즉 문항곤란 도가 50%일 때는 rt=1.00이 될 가능성이 있지만, 문항곤란도가 50%에서 멀어질수록 값은 .80밖에 안 된다.

    (2) 문항곤란도가 서로 다른 문항들의 문항변별도 지수를 비교할 때는 각 문항의 문항곤 란도의 수준에 따른 최대값의 차이를 고려해야 한다. 문항곤란도와 문항변별도간의 관계는 다음과 같다.

    문항곤란도(%)

    rt의 최대값

    rt의 최소값

    문항곤란도(%)

    rt의 최대값

    rt의 최소값

    0

    10

    20

    30

    40

    50

    .00

    .20

    .40

    .60

    .80

    1.00

    .00

    -.20

    -.40

    -.60

    -.80

    -1.00

    60

    70

    80

    90

    100

    .80

    .60

    .40

    .20

    .00

    -.80

    -.60

    -.40

    -.20

    -.00

    [문항곤란도와 문항변별도의 관계에 관한 예]

    ※ 문항곤란도와 문항변별도는 분석 단위가 문항이다. 즉 한 문항이 얼마나 어려운가 쉬운가, 혹은 한 문항이 얼마나 학생의 능력을 변별하는 데 예민한가 하는 것을 분석하고 있다.


    댓글 0

Designed by Tistory.