Проблема конструювання тестів успішності студентів

Реферат

План

Вступ

1. Аналіз проблеми

2. Класифікація тестів, їх функції

3. Особливості розробки тестів

Висновки

Література

тест успішність контроль знання

Вступ

"Тести" і "тестова перевірка знань" – ці слова стали особливо актуальними у педагогіці вищої школи і практиці роботи навчальних закладів в умовах Болонської угоди. Але чи не спрощуємо і не примітивізуємо ми цей метод контролю учбової і навчальної діяльності? Навіть звичні для нас форми, методи і засоби контролю останнім часом піддавалися грунтовній ревізії, незважаючи на те, що їх доцільність вже доведена століттями, а неспроможність не доведена зовсім. То чи варто так охоче відмовлятися від власних же здобутків на користь суперечливої і багатоликої зарубіжної практики тестового контролю і оцінювання? Чи готові ми до такої реформації?

Щоб дати відповіді на ці запитання і розв’язати актуальну для сучасної педагогіки проблему технології доцільного тестування у навчальному процесі необхідно сформувати надійне дидактико-психологічне підгрунтя. Розробка окремих питань вказаної методики контрольно-оцінної діяльності А.М.Аванесовим, Л.Ф.Бурлачуком та С.М.Морозовим, А.А.Киверялгом та окремі не завжди високопрофесійні публікації у періодичних виданнях не дозволяють створити ні методологічне, ні методичне забезпечення проблеми тестування у навчальному процесі вищої школи.

Метою роботи є спроба узагальнити наявні розробки з досліджуваної проблеми і з позицій системного підходу виявити особливості конструювання тестів успішності студентів педагогічного вузу в умовах кредитно-модульної системи та Болонської угоди.

1. Аналіз проблеми

Не заперечуючи самої можливості впровадження у вітчизняній вищій педагогічній школі зазначеного новаторського підходу щодо засвоєння окремих навчальних предметів у курсі теоретичної підготовки майбутнього фахівця та маючи відповідний досвід роботи в умовах Болонської угоди та кредитно-модульної системи зазначимо:

1) названий метод контролю може бути ефективним за умови детального технологічного відпрацювання його механізму;

2) абсолютизація тестової методики контролю в умовах педагогічного вузу неприпустима через специфіку професійної діяльності, до якої готують спеціаліста;

3) якщо говорити про рівень професійної підготовки як якість особистості, тільки результатів її тестової перевірки недостатньо.

Отже більш важливою, на нашу думку, на даному етапі є розробка дидактико-психологічних основ тестування з метою збереження притаманних вітчизняній педагогіці вищої школи демократизації, гуманізації, комплексності та об’єктивності всіх ланок навчального процесу.

Метод тестів має психологічну першооснову. "Тест (від англ. test – проба, випробування, перевірка) – стандартизоване, часто обмежене у часі випробування, призначене для встановлення кількісних (і якісних ) індивідуально-психологічних відмінностей", - так визначає сутність тесту Л.Ф.Бурлачук та С.М.Морозов, автори "Словника-довідника з психологічної діагностики" (2, с.139). Стандартизація тесту – це процедура одержання показників по тесту для репрезентативних груп досліджуваних, чим досягається співставність одержаних результатів у різних досліджуваних.

К.К.Платонов зазначає, що "...тест будується за принципом психологічного моделювання і подальшого психологічного аналізу, що дає можливість одержати цінні дані для вивчення особистості та її потенційних можливостей" ,а ..."використання тестів у зарубіжній психології набуло форми тестування" (6, с.152). Оскільки у вітчизняній психології, отже і у інших галузях вітчизняної науки, тестування довгий час вважалося неприйнятним методом вивчення особистості, теорія проблеми не розроблялася. Тому сьогодні склалася ситуація, коли ми робимо спробу, по-перше, використовувати тестування без належної теоретичної та практичної розробки технології цього процесу; по-друге, використовувати цей метод у соціології та педагогіці без врахування специфіки цих наук. Виникає необхідність узагальнення універсальних за своїм характером розробок щодо застосування тестування та виявлення теоретичних основ конструювання і впровадження тестових методик у галузі педагогіки в цілому та педагогіки вищої школи зокрема.

У психології частковим аналогом тестів, які використовуються у навчальному процесі, є тести досягнень. Як зазначає англійський психолог Пол Клайн, професор університету м.Ексетера (Шотландія), один з провідних спеціалістів у галузі психодіагностики, тести досягнень (attainment test) – це "...тести, спрямовані на оцінку досягнутого рівня розвитку умінь, навичок та знань" (4, с.15). На відміну від тестів інтелекту, тести досягнень "...відображають не стільки вплив накопиченого досвіду, загальних здібностей на поведінку та розв’язання тих чи інших задач, скільки вимірюють вплив спеціальних програм навчання, професійної та іншої підготовки на ефективність навчання того чи іншого комплексу знань, формування різних спеціальних умінь" (2 , с. 142).

Отже тести досягнень дозволяють реалізувати діагностику успіхів індивіда після завершення навчання. Це перша особливість тестів досягнень (отже – і тестів успішності). Другою особливістю цих видів тестів є їх спрямованість на вимірювання досягнень досліджуваних у певній галузі на момент контролю, у той час як тести загальних здібностей дозволяють передбачати у певній мірі і прогноз подальшої діяльності, здійснити передбачення майбутнього розвитку.

2. Класифікація тестів, їх функції

Тести досягнень прийнято поділяти на широкоорієнтовані (метою вивчення у даному випадку є оцінка навичок з огляду на основні, розраховані на тривалий час, цілі навчання, наприклад, для виміру впливу навчання на логічне мислення, на прийоми розв’язання широкого кола завдань) та методики з конкретних навчальних предметів і на дослідження засвоєння конкретних тем, частин навчальної програми, комплексів дій тощо (тобто тести успішності).

У педагогіці, як стверджує А.А.Киверялг (5), використовуються тести успішності – серія стандартизованих коротко і точно сформульованих завдань, згідно яких учень (студент) повинен дати короткі і точні відповіді, вказавши їх серед запропонованих можливих варіантів відповідей. Оцінюється якість тестування за порядковою або інтегральною шкалою вимірювання, специфічною для даного тесту. Психологи доводять, що тестова форма прийнятна далеко не всіма школярами. Тестові завдання викликають психологічні труднощі у всіх учнів (студентів), за винятком тих, які мають теоретичний тип мислення, легко засвоюють спосіб дії, вміють оперативно здійснювати операцію переносу засвоєного у нову ситуацію. Разом з тим навіть серед цих учнів (студентів) психологічний дискомфорт виникає у тих, хто має високий рівень креативності, оскільки рамки тестування стримують їх творчість.

Тестам успішності притаманні всі типові переваги і недоліки програмованого контролю. До недоліків належать такі: причиною неправильної відповіді може бути не тільки незнання, але й нерозуміння завдання; не завжди за тестами, які подані у альтернативній формі, можна з’ясувати, як знайдено правильний варіант, або чому обрано саме цей варіант; шляхом тестової перевірки неможливо з’ясувати ідейні переконання і особистісну оцінку явищ; масове застосування тестів у навчальному процесі призводить до механічного засвоєння навчального матеріалу тощо.

У навчальному процесі тести успішності виконують такі функції (5) :

- дидактичну (визначають рівень сформованості знань, умінь і навичок у межах одного навчального предмета);

- вивчення особистості (дають можливість диференціювати учнів(студентів) за рівнем знання предмета, щоб врахувати це у подальшій роботі);

- прогностичну (чи володіють учні (студенти) знаннями, необхідними для подальшого вивчення предмета);

- вимірювання і порівняння (вираження результатів тестування у цифрах дає точну інформацію про рейтинг учнів (студентів) та динаміку засвоєння ними навчального матеріалу);

- зворотного зв’язку (дає інформацію про успішність самим учням і вчителеві);

- навчальну (результати тестування обов’язково аналізуються);

- координуючу (результати тестування дозволяють вносити поточні корективи у навчальний процес і з’ясовувати посильність матеріалу, що вивчається) .

Як метод контролю тести успішності мають переваги у порівнянні із звичайною оцінкою-балом, оскільки вони орієнтовані на вимір засвоєння ключових понять, тем і елементів навчальної програми, а не конкретної сукупності знань, як це відбувається під час оцінювання оцінкою-балом. Тести успішності завдяки стандартизованій формі оцінки дозволяють співвіднести рівень досягнень особистості з предмету в цілому, з окремих суттєвих його елементів із аналогічними показниками у класі або у будь-якій іншій виборці досліджуваних. Результат тестування має більш об’єктивний характер, ніж традиційна шкільна оцінка.

3. Особливості розробки тестів

Розробка тестів, які базуються на навчальних програмах, мають ряд особливостей.

1) Важливим є добір тестових завдань, пов’язаних із планованою для тесту змістовою валідністю.

2) Тести успішності мають обмежену галузь застосування, яка, як правило, розповсюджується на окремі стадії навчання (навчальний рік, етапи навчальної програми). Умовою розробки і стандартизації таких тестів є опора на стандартні програми навчання.

Як зазначають Л.Ф.Бурлачук і С.М.Морозов, більшість тестів досягнень і тестів успішності є тестам швидкості, а основним показником продуктивності роботи досліджуваного є час, за який він правильно виконав якнайбільше завдань(2). Отже як правило, тест включає велику кількість однорідних завдань. Обсяг матеріалу визначається таким чином, щоб за відведений час (постійний для досліджуваних) ні один з них не встиг виконати правильно всі завдання. Тоді показником продуктивності буде кількість правильно виконаних завдань. Для таких тестів існує і певна процедура визначення надійності, внутрішньої узгодженості та дискриминативності завдань.

Показник труднощів дуже важливий у тестах успішності: якщо дібрані дуже складні завдання, то валідність і надійність тесту різко знижується, підвищується вірогідність випадкової оцінки. Дуже прості завдання призведуть до одноманітності результатів (більшість справляється зі всім набором завдань тесту, а незначна варіативність ускладнює оцінювання, викликає негативне ставлення до тесту. Трудність завдань, як правило, повинна бути не дуже високою і приблизно однаковою. Показником труднощів є відсоток осіб з виборки, які виконали і не виконали завдання. Вважається, якщо тільки 20% досліджуваних виконали завдання, то його можна оцінити як складне для даної виборки, якщо 80 % - як просте. Цей показник (індекс труднощів) є відносним, оскільки залежить від особливостей самої виборки (вікові, професійні, соціокультурні відмінності тощо). Розраховується він за формулою:

U= 100 ( 1 - ---- ),

де U- індекс труднощів у відсотках, N – кількість досліджуваних, які правильно розв’язали задачу, N – загальна кількість досліджуваних. Для завдань із пропонованими варіантами відповідей, коли є можливість вгадування, пропонується інша формула:

N - ----

m - 1

U= 100 ( 1 - ----------- ),

де – N кількість досліджуваних, які не розв’язали задачу, а m - кількість варіантів відповідей ( 2, с.152; 4).

У тестах успішності основним принципом розміщення завдань є зростання їх складності. Разом з тим, рекомендується добирати гомогенні тести, тобто сконструйовані на одній або аналогічній змістовій та логічній основі. Тому, як правило, тести успішності розробляються на матеріалі навчальних програм і використовуються для контролю за формуванням відповідних знань, умінь та навичок.

Встановлення змістової та структурної відповідності завдання тесту реальній задачі тестування передбачає такі етапи роботи:

1) змістовий аналіз критеріальної задачі, опис її можливих форм і особливостей;

2) систематизація знань, умінь і навичок, які забезпечують виконання критеріальної задачі;

3) зразки тестових завдань і опис стратегії їх конструювання.

Для тестів успішності актуальною є проблема форми і змісту. Якщо для створення тестів інтелекту важливим є винайдення такої форми завдання, яка б допомогла легко сформулювати шукану залежність, то у тестах успішності краще використовувати завдання у форму аналогій, виключення зайвого та виявлення послідовності. Форму завдань обумовлює вид матеріалу, його природа. Якщо йдеться про дітей шкільного віку, то важливим є той факт, що вони повинні знати з різних навчальних предметів, тобто цілі кожного з них. На такій основі визначається релевантність завдань стосовно конкретних цілей. Американський психолог Bloom з цією метою ставить перед вчителями завдання: слід говорити про цілі навчання даного навчального предмета у поведінкових, отже легко тестованих термінах. Детальний опис таких процедур для вчителів запропонували Thorndike і Hagen (1977). Стосовно створення тестів успішності для вищої школи у зв’язку із вищезгаданим виникають проблеми, що потребують оперативного розв’язання:

1) чітке визначення переліку умінь (компетенцій) з кожної навчальної дисципліни для спеціаліста з даного фаху;

2) тестуватися повинні такі терміни, які пов’язані із професійною поведінкою (поведінкові), а не із змістом, отже орієнтація у структуруванні дисципліни за вимогами кредитно-модульної системи повинна бути спрямована не на змістові, а на діяльнісні аспекти професійної підготовки.

Найбільш доцільним типом завдань для тестів успішності вважається завдання з кількома варіантами вибору. Таке завдання складається з двох частин:

1) основна частина, яка містить твердження або запитання;

2) варіантів вибору або певної кількості можливих відповідей ( з дістракторів та недістрактора), з яких обирається правильна відповідь (недістрактор).

Дістрактори (distractors) – варіант відповіді, наближений до правильного (зазвичай таких варіантів чотири або п’ять). Досліджуваний під час тестування повинен обрати єдино правильну відповідь, яка не є дістрактором.

Пол Клайн та Служба тестування у системі освіти США пропонують ряд правил, які допоможуть сформулювати ефективні завдання з варіантами вибору (4):

1) простота: завдання повинно бути сформульовано настільки просто і точно, щоб неможливо було зрозуміти його неоднозначно, або на розуміння цього завдання міг вплинути словниковий запас досліджуваних чи їх здібності;

2) всі дістрактори повинні бути такими, щоб кожен з них міг привернути увагу досліджуваного (повинні бути "схожими" на правильну відповідь, наближеними до неї). У доборі дістракторів може допомогти складання списку неповних відповідей і подальше використання неправильних відповідей, записаних самими досліджуваними. Разом з тим слід переконатися, чи не заплутують дістрактори тих досліджуваних, знання яких не є дуже міцними;

3) тільки один варіант зі всього набору є недістрактором (правильною відповіддю). Іноді різні точки зору на дану проблему можуть заплутати досліджуваних;

4) відповідь на одне запитання не може бути ключем до відповідей на інші запитання (не варто використовувати дістрактори одного завдання у переліку до інших завдань);

5) уникати тестування тривіальних питань через їх простоту.

Рекомендується також:

6) уникати заперечень у основній частині, оскільки: а) це призводить до суперечності під час читання завдання; б) негативні знання у більшості випадків не настільки важливі, як позитивні.

7) місце правильної відповіді серед дістракторів повинно визначатися випадковістю, щоб попередити вгадування.

З огляду на можливість угадування завдання із варіантами відповідей, де дістрактори приблизно рівноцінні, зводять величину цього негативного чинника до вірогідності 1/5 у порівнянні із альтернативними завданнями, де цей показник становить 50%.

Тести з варіантами відповідей мають ряд переваг у порівнянні із іншими видами тестів.

Кожне завдання може бути високонадійним, оскільки можлива тільки одна правильна відповідь і відсутні фактори, що знижують надійність через суб’єктивність відповіді та суб’єктивність оцінки осіб, що проводять тестування.

Для даного виду завдань легко обчислювати показники, чому сприяє стандартизація відповідей та можливість комп’ютерної обробки даних.

Оскільки тести з варіантами вибору оцінюються точними показниками, є можливість одержати точну оцінку змістовності. Це важливо для визначення відповідності тесту тій групі досліджуваних і тій меті, задля досягнення якої він був створений.

Дуже обмеженим, як вважають спеціалісти по конструюванню тестів, повинно бути використання тестів з альтернативними завданнями чи дістракторами. Вони містять певне завдання, яке досліджуваний повинен оцінити як істинне або хибне ("так" чи "ні"). Виконання таких тестів передбачає використання "лише одного фрагмента знань" (4, с.73).

Складності, які виникають із альтернативними завданнями, такі:

1) вірогідність правильного вгадування недістрактора становить 50%;

2) дуже складно сформулювати твердження, на яке можна дати однозначну відповідь "так" чи "ні";

3) точність формулювання твердження виключає використання слів "всі", "кожен",, "завжди" і "ніколи", оскільки вже вони містять суперечність; разом з тим такі слова, як" іноді" і "часто" досліджуваний сприймає дуже суб’єктивно, що також не робить даний тест надійним;

4) те, що є незаперечно істинним або хибним у твердженні сприймається як тривіальне.

Вказана форма тестів далеко не завжди є ефективною. Доцільніше буває замінити її еквівалентними за своєю ефективністю завданнями із варіантами вибору. Найбільш ефективними альтернативні завдання є у випадку, коли пред’являється інформація, певні дані або дається питання про них, щоб протестувати, як вони розуміються, наскільки досліджуваний вміє аналізувати сприйняте. У такому випадку до твердження додається серія альтернативних завдань.

Завдання на відновлення відповідності – це третя категорія завдань, у яких досліджуваному пропонується встановити відповідність між елементами двох списків, наприклад між прізвищами педагогів і назвами педагогічних творів. Найбільше такі завдання доцільні для виявлення фактичної інформації. Вони більш компактні за формою. Разом з тим, такого роду завдання повинні враховувати ряд вимог. Кількість елементів другого списку (наприклад, назви педагогічних творів) повинна бути більшою чи включати елементи, яким немає відповідних. Це зменшує вірогідність ситуації вгадування.

Як наголошує автор керівництва по конструюванню тестів Пол Клайн (4), для тестів досягнень, а у педагогіці – тестів успішності найбільш придатні завдання названих трьох типів. Для прийняття рішення щодо використання того чи іншого виду тестів слід враховувати певні чинники:

- різноманітність видів завдань (завдання одного типу формують у досліджуваного хибну навичку відповідати на завдання лише даного типу);

- значна концентрація уваги під час виконання завдань одного типу , монотонність діяльності викликають у досліджуваного втому;

- для більшості ситуацій придатним є вид завдань із вибором варіанту відповідей; для одержання детальної фактичної інформації, пов’язаної із змістом навчального матеріалу, доцільними є завдання на встановлення відповідності та альтернативні завдання.

- для тестування розуміння матеріалу, представленого у запитанні, більш доцільними є альтернативні завдання; доцільною є розробка завдань різних типів, але їх співвідношення повинно бути оптимальним;

- часові обмеження процедури тестування такі: для дорослих (студентів-другокурсників і старших) – не більше, ніж 1,5 години, для студентів-першокурсників (учнів) цей час визначається шляхом узгодження із психологом і є значно меншим.

Критеріями вибору типу завдань повинні бути (4): зрозумілість (обирається та форма, яка найбільш зрозуміла досліджуваному); уникнення ситуації випадкового вгадування (завдання повинно скорочувати вірогідність вгадування настільки, наскільки це можливо); компактність та точність (обирається та форма, у якій завдання формулюється настільки коротко і чітко, наскільки це є можливим); співвідношення між завданнями (форма завдання не повинна розкривати відповіді на інші завдання або містити їх у собі); якщо завдання однаково ефективні, то обирати слід той тип, який найменше представлений у тестовій батареї. Щоб визначитися із тривалістю тестування у останньому випадку слід дати завдання тестованим відзначати, яке завдання тесту вони виконували у певний момент тестування.

Висновки

Тестування як метод контролю і оцінювання успішності студентів педагогічних вузів може бути ефективним лише за умови належного його теоретичного і методичного обгрунтування. Сьогодні у педагогіці не існує надійної теоретичної бази для грамотного конструювання тестів успішності. Разом з тим здобутки переважно зарубіжної психодіагностичної теорії і практики, окремі розробки вітчизняних психологів дають можливість розробити загальнопедагогічну теорію і технологію застосування тестів успішності у навчальному процесі та у підготовці фахівця із вищою педагогічною освітою. Важливим є і шлях порівняння ефективності тестового контролю із іншими методами контрольно-оцінної діяльності. Отже лише оптимальне поєднання форм контролю, а не абсолютизація певного методу є доцільною у визначенні рівня професійної готовності випускника вищого навчального закладу.

Література

1. Аванесов А.А. Тесты в социологическом исследовании. – М.: Наука, 1989. – 237 с.

2. Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психологической диагностике. – К.: Наукова думка, 1989. – 200 с.

3. Вихрущ В.О. Методологія та методика наукового дослідження. – Тернопіль: Тайп, 2005. – 224 с.

4. Клайн П. Справочное руководство по конструированию тестов. Введение в психометрическое проектирование. – К.: ПАН ЛТД, 1994. - 283 с.

5. Кыверялг А.А. Методы исследования в профессиональной педагогике. – Таллинн, Валгус, 1980. – 334 с.

6. Платонов К.К. Краткий словарь системы психологических понятий. – М.: Высшая школа, 1981. – 175 с.