Оценка уровня компетенций студента на основе модели Раша
Аннотация
В статье рассматриваются методические основы диагностики социально-личностных компетенций студентов на базе однопараметрической дихотомической модели Раша, возможность использования которой обосновывается. Результаты получены на основе анкетирования с помощью теста-опросника Л.П. Калининского. Рассчитаны личностные параметры участников анкетирования, определяющие наличие компетенций.
Ключевые слова: модель Раша, компетенция, уровень компетенции, латентная переменная, тест-опросник, характеристики студента
В соответствии с требованиями ФГОС при оценке качества подготовки студентов высших учебных заведений в настоящее время используется компетентностный подход. Чем точнее оценены компетенции, тем объективнее определяются профессиональные качества выпускника и его готовность к профессиональной деятельности. На готовность специалиста к эффективному выполнению работы существенное влияние оказывают социально – личностные компетенции. Необходимый уровень владения ими обеспечивается за счёт формирования в процессе обучения личностных качеств студента.
Компетенция студента является скрытым (латентным) параметром, поэтому весьма заманчивым представляется использовать для её измерения методы теории латентных переменных (Item Response Theory) [1,2]. Применение их обеспечивает проведение объективного количественного сопоставления оцениваемого параметра – компетенции выпускника с некоторым эталоном, принятым в качестве единицы измерения.
Целью данной работы является разработка методических основ диагностики социально-личностных компетенций студентов в процессе обучения на основе однопараметрической модели Раша, которая широко используется для измерения латентных переменных [1, 2].
Диагностика проводилась на основе результатов анкетирования студентов с помощью опросника Калининского «Профиль личности», направленного на выявление организаторских и коммуникативных способностей. Опросник включает в себя 150 индикаторов и шкалу проверки достоверности ответов, которая представлена индикаторами с 151 по 160. 150 индикаторов разбиты на десять октантов, с помощью которых по результатам анкетирования оцениваются 10 компетенций каждого из его участников: целеустремлённость, деловитость, лидерство, уверенность в себе, требовательность, настойчивость, уступчивость, зависимость, комфорность, отзывчивость. Для интерпретации степени выраженности каждой из компетенций используется 4 зоны: номинальная (0-4 балла) – качество отсутствует; потенциальная (5-8 баллов) – качество есть, но развито слабо; перспективная (9-12 баллов) – качество развито оптимально; суперзона (13-15 баллов) – чрезмерная выраженность качества, являющаяся признаком трудности социальной адаптации.
Анкетирование проводилось со студентами 1-3 курсов ЮРГУЭС и РГСУ. Общий объём выборки составил 179 человек.
Данные анкетирования по самооценке студентов были сгруппированы в один общий файл и в 10 файлов по октантам, обработка которых проводилась с помощью программного комплекса RILP-1M [3, 4]. В процессе обработки рассчитывались и представлялись в одной логарифмической шкале (шкале логитов) оценки приемлемости индикаторов βj* и оценки θi* уровня выраженности соответствующей компетенции в участнике анкетирования, строились гистограммы распределения величин θi* и βj*, рассчитывались характеристические кривые индикаторов и информационная функция опросника. На основе анализа полученных данных оценивались возможности использования индикаторов и опросника для исследования ОК исследуемого контингента студентов. Строились личностные профили участников анкетирования с использованием шкалы логитов.
Анализ результатов анкетирования начинался с исследования ответов студентов на индикаторы шкалы достоверности. Это позволило выявить 4 участников, результаты которых согласно принятой для опросника Калининского методики обработки и интерпретации результатов нельзя считать правдивыми. Из дальнейшей обработки они были исключены. На первом этапе исследования оценивались качество индикаторов опросника Калининского, его характеристики, соответствие опросника понятию «тест» и его пригодность для исследования психологических качеств студентов. Обработка общего файла показала, что значения оценок приемлемости индикаторов изменяется в пределах от минус 3,728 логит до 3,064 логит, а выраженность интегрального латентного параметра для блока социально – личностных компетенций находится в диапазоне от минус 2,251 логит до 1,555 логит (рисунок 1).
Рисунок 1 – Гистограммы латентных переменных θi* и βj* (нижняя часть)
Поскольку диапазон изменения индикаторной переменной существенно перекрывает интервал варьирования латентной переменой анкетируемых, набор индикаторов опросника Калининского пригоден для целей измерения последней.
Обработка файлов для каждого из десяти октантов и корреляционный анализ полученных результатов по октантам показал, что средние значения коэффициентов интеркорреляции большинства индикаторов изменяются от 0,1 до 0,2. Это свидетельствует о приемлемых системообразующих свойствах индикаторов. Точечно-бисериальный коэффициент корреляции большинства индикаторов всех октантов находится в интервале от 0,2 до 0,6. Это позволяет сделать вывод об удовлетворительной корреляции индикаторов с индивидуальными баллами всех участников анкетирования, то есть, о их удовлетворительной валидности [5]. В целом данные корреляционного анализа свидетельствуют о том, что опросник Калининского можно классифицировать как своеобразный диагностический тест, представленный системой индикаторов различной приемлемости и пригодный для измерения социально-личностных компетенций студентов. Тест имеет достаточно высокую надёжность (коэффициент α Кронбаха равен 0,911) и хорошо дифференцирует участников анкетирования [5] (коэффициент дифференциации равен 0,91).
Оценка соответствия полученных для индикаторов характеристических кривых модели Раша показывает, что в целом его можно считать удовлетворительным. Не адекватными модели измерения оказалось 18 % индикаторов. Большая часть из них (по 5) приходится на октанты № 2 «Деловитость», № 3 «Лидерство» и № 8 «Зависимость». По 3 неадекватных индикатора относятся к октантам № 5 «Требовательность» и № 6 «Настойчивость». Как показывает анализ характеристических кривых этих индикаторов в большинстве случаев неадекватность можно объяснить слишком низким (индикатор i96) или слишком высоким (индикаторы i134, i146 и др.) значением их дифференцирующей способности. К несколько неожиданным результатам исследования можно отнести аномальный характер изменения характеристической кривой для индикатора i61 «Властный»: с ростом уровня выраженности компетенции θi* студента вероятность правильного ответа на этот индикатор уменьшается. Причиной аномальности может явиться недостаточный объём выборки [6] и недопонимание содержания индикаторов студентами, результатом чего явилось искажение данной ими информации.
На втором этапе исследований по значениям латентного параметра θi для каждого из 10 октантов были построены личностные профили участников анкетирования. В качестве примера на рисунке 1 представлен личностный профиль участника анкетирования под № 167. Качества «Целеустремлённость», «Деловитость», «Настойчивость» развиты у него оптимально, поскольку находятся в перспективной зоне. «Лидерство», «Уверенность в себе», «Требовательность» развиты недостаточно. Чрезмерно выраженными (находятся в суперзоне) оказались качества «Зависимость», «Конформизм» и «Отзывчивость».
Рисунок 2 – Личностный профиль участника анкетирования
Высокие значения этих качеств являются признаком дезадаптивного поведения, которое выражается в пассивной подчиняемости, излишней мягкости и жертвенности.
Таким образом, опросник Калининского можно считать тестом, пригодным для измерения определяющих ОК личностных параметров студентов, на основе использования однопараметрической модели Раша [7]. Это позволяет применять для обработки результатов анкетирования современные программные средства и наряду с получением точных значений параметров компетенций существенно снизить затраты труда и времени на обработку и анализ данных.
Литература
- Wright, B.S., Masters, G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206pp.
- Нейман Ю.М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. – М.: Прометей; 2000. – 169 с.: ил.
- Елисеев И.Н., Елисеев И.И., Фисунов А.В. Программный комплекс RILP-1. // Программные продукты и системы. – 2009. – № 2. – С. 178-181.
- Елисеев И.Н. Теоретические основы алгоритма расчёта латентных переменных программным комплексом RILP-1M // Программные продукты и системы. – 2011.– №2. – С. 67-71.
- Елисеев И.Н. Методология оценки уровня компетенций студента // Информатика и образование. – 2012. – №4. – С.80-85.
- Елисеев И.Н. Диагностика индивидуальных свойств личности в студенческой среде на основе модели Раша. // Стандарты и мониторинг в образовании. – 2009. – № 3. – С.35-38.
- Елисеев И.Н., Ларина Т.Н., Литвиненко Л.Ю. Диагностика коммуникативных компетенций студентов на основе политомической модели Раша.//«Современное образование: содержание, технологии, качество» Материалы XVII международной научно-методической конференции. – Санкт-Петербург.: СПбГЭТУ (ЛЭТИ ), 2011. – С. 7-9.