В условиях перехода на компетентностную парадигму обучения важно умение формировать количественную оценку уровня компетенций [1], основанной не только на формализованных подходах и шкалах, но и на семантике компетенций с возможностью агрегирования уровневых компетенций.
В статье предлагается метод квалиметрии компетенций выпускника, основанный на интегративном подходе [2], включающем декомпозицию компетенций до уровня предметных, определение показателей качества для каждой из них с учетом семантики (проведение экспертных методов оценки), с дальнейшим переводом их в порядковую шкалу и формирование интегративного показателя.
На наш взгляд, использование данного подхода позволит оценить уровень сформированности компетенций выпускника в динамике по годам обучения, определить вклад предметно-специализированных компетенций, учесть возможные различия в классификациях компетенций, обусловленных использованием разных понятийных (семантических) систем для их описания.
Специфика квалиметрии компетенций заключается в том, что показатели ее оценки имеют различные типы, характеризуются высокой вариативностью под влиянием латентных факторов, сложностью корреляционных связей, обусловленных необходимостью учета субъективных факторов. Поэтому при разработке методов квалиметрии примем ряд допущений.
1.Показатели эффективности компетенций описываются в порядковой шкале. Это позволяет провести качественную оценку методом экспертных оценок. В порядковой шкале возможны линейные преобразования, что позволяет в дальнейшем провести нормировку полученных результатов.
2.При оценке показателей предполагаем, что эксперты обсуждают критерии и их оценки друг с другом, мнения экспертов согласованы.
3.Количество экспертов остается фиксированным.
4.Состав и количество членов экспертной группы определяются нормативными документами.
5.С целью получения обобщенной оценки будем использовать весовые коэффициенты для частных критериев.
6.Для получения обобщенного результата будем использовать метод медианы рангов.
Для получения интегративной оценки предлагается провести качественную декомпозицию компетенций по предметно-специализированным компетенциям с описанием их в виде семантических критериев Кi (где i=1,N – номер дисциплины в учебном плане). Для каждого из критериев Кiформируются количественные показатели Пj (при этом для каждого частного критерия может быть несколько количественных показателей).
Тогда система квалиметрических критериев может быть представлена в виде матрицы:
Выражение (1) представляет собой матричную форму свертки показателей предметных компетенций на обобщенный частный критерий, представленный в виде вектора.
Особенность матрицы состоит в переменном количестве показателей, поэтому при определении суммарной оценки будем нормализовать каждый критерий, что допустимо в соответствии с исходными допущениями.
Нормализация критериев позволяет провести количественную оценку показателей уровня компетенций в соответствии с критериями интегративности в условиях вариативности количества показателей.
В выражении (1) необходимо учитывать корреляционные связи между показателями как в пределах частного критерия. Поэтому, в общем случае, для каждого частного критерия (предметной компетенции) можно записать следующее выражение:
, (2)
где - нормированное значение i-того показателя, - функция, учитывающая корреляционные связи между показателями, - коэффициент корреляции между показателями в заданном критерии, - коэффициент корреляции, учитывающий влияние показателей друг на друга.
Формирование интегративного критерия предлагается формировать методом интеграции частных критериев также с учетом корреляционных взаимосвязей между ними.
Тогда обобщенный (интегративный) критерий оценки качества усвоения компетенций может быть рассчитан по формуле
, (3)
где - нормированное значение критерия, - коэффициент корреляции между частными критериями, - функция, учитывающая корреляционные связи между частными критериями и весовые коэффициенты каждого из них.
Конкретизируем выражения (2) и (3). В общем случае для выражения (1) можно построить матрицы корреляционных связей (4)
. (4)
Особенности формирования компетенций позволяют выдвинуть предположение о неявно выраженной зависимости множества выбранных показателей и множества выбранных критериев. Поэтому выражение (2) может быть представлено в следующем виде
. (5)
Несколько сложнее дело обстоит с вычислением обобщенного критерия .
Определение значения результирующего критерия предполагается осуществлять на основе анализа иерархий, являющегося одним из признанных экспертных методов принятия решений. Выбор данного метода обусловлен возможностью учета степени согласованности мнений экспертов коэффициентом конкордации. Использование метода анализа иерархий позволяет осуществить ранжировку частных критериев по номинативной шкале и определить в номинативной шкале степень взаимного влияния частных критериев.
С учетом выбранного метода значение обобщенного критерия оценки определяется следующим выражением:
, (6)
где - коэффициент взаимного влияния, - коэффициент значимости частного критерия.
Рассмотрим вариант нормализации показателей эффективности и раскроем вид функций F(·) и F1(·). Пусть Nij- максимальное количество баллов, набранное по i-тому показателю для j-того критерия, Мi– количество показателей оценки в i-том критерии, L- количество критериев. Примем максимальное количество баллов по одному критерию и суммарное количество баллов равным 100. С учетом того, что каждый показатель в системе критериев ( имеет максимальное значение, равное N, формула нормализации для i-того критерия () будет иметь вид:
. (7)
А формула для нормализации суммарного критерия () при условии, что количество частных критериев рано L имеет вид:
. (8)
Уровни интегративности компетенций определяются как отображение множества значений суммарного критерия из номинативной шкалы в интервальную шкалу.
Определим показатели обобщенного мнения экспертов, позволяющие проводить расчет коэффициентов , с учетом того, что индивидуальные оценки приведены к интервальной шкале.
К этим показателям в соответствии с методом анализа иерархий относятся:
1. Коэффициент конкордации, определяющий согласованность группы индивидуальных ранжировок, вычисляемый с помощью выражения
, (9)
где - сумма рангов, полученных данным объектом во всех ранжировках; - средняя сумма рангов, полученная одним объектом; - число экспертов; - число ранжируемых объектов.
Для определенных выше уровней интегративности выражение (9) преобразуется к виду:
. (10)
Очевидно, при действия экспертов в большей степени согласованы, чем несогласованны, поэтому в дальнейшее полагаем, что, если , можно определить значение обобщенного критерия.
2. Медиана рангов, определяющая наибольшую сумму рангов. Для определения медианы рангов будем использовать гистограмму распределения значений суммарного критерия.
3. Коэффициент взаимного влияния будем определять на основе решения задачи о лидере, в соответствии с которой он определяется по формуле:
, (11)
где - элемент матрицы размерности L×L, представляющий собой строгое предпочтение i-того критерия по отношению к j-тому. При этом =1, если, по мнению экспертов, имеется корреляционная связь между i-тым и j-тым критериями и равно 0 при отсутствии таковой.
Использование интегративного показателя (8) позволит, на наш взгляд, сформировать интегративный критерий степени усвоения компетенций. При этом наиболее важными этапами его формирования являются декомпозиция компетенций на предметные (например, на основе проектирования учебного плана методом модульного форматирования) и формирование системы показателей для каждой из них (например, на основе принципов совокупной балльной оценки).
Литература.
Субетто Александр Иванович. Онтология и эпистемология компетентностного подхода, классификация и квалиметрия компетенций. СПб. –М.: Исследоват. центр проблем кач-ва под-ки спец-ов, 2006 – 72с.
Редько Л.Л., Шумакова А.В., Веселова В.Г. Проектирование интегративного образовательного пространства педагогического вуза: монография. – Ставрополь: Изд-во СГПИ, 2010.
Библиографическая ссылка
Красильников В.В., Тоискин В.С., Шумакова А.В. КВАЛИМЕТРИЯ КОМПЕТЕНЦИЙ: ИНТЕГРАТИВНЫЙ ПОДХОД // Научный электронный архив.
URL: http://econf.rae.ru/article/6878 (дата обращения: 23.12.2024).
Прочитать публикацию в формате PDF
=
, (1)
, (2)
- нормированное значение i-того показателя, 
- функция, учитывающая корреляционные связи между показателями, 
- коэффициент корреляции между показателями в заданном критерии, 
- коэффициент корреляции, учитывающий влияние показателей друг на друга.
, (3)
- нормированное значение критерия, 
- коэффициент корреляции между частными критериями, 
- функция, учитывающая корреляционные связи между частными критериями и весовые коэффициенты каждого из них.
. (4)
. (5)
.
, (6)
- коэффициент взаимного влияния, 
- коэффициент значимости частного критерия.
имеет максимальное значение, равное N, формула нормализации для i-того критерия (
) будет иметь вид:
. (7)
) при условии, что количество частных критериев рано L имеет вид:
. (8)
из номинативной шкалы в интервальную шкалу. 
, (9)
- сумма рангов, полученных данным объектом во всех ранжировках; 
- средняя сумма рангов, полученная одним объектом; 
- число экспертов; 
- число ранжируемых объектов.
. (10)
действия экспертов в большей степени согласованы, чем несогласованны, поэтому в дальнейшее полагаем, что, если 
, (11)
- элемент матрицы размерности L×L, представляющий собой строгое предпочтение i-того критерия по отношению к j-тому. При этом 