Оценка эффективности внедрения методической системы формирования профессиональной коммуникативной компетенции курсантов вузов ФСИН России
Aннотация
Ключевые слова: компетенция, профессиональная коммуникативная компетенция, методика оценки, уровень сформированности компетенции, сотрудник уголовно-исполнительной системы
- гипотеза об отсутствии различий (так называемая нулевая гипотеза Н0);
- гипотеза о статистической значимости различий (так называемая альтернативная гипотеза Н1).
Для оценки эффективности внедрения педагогических инноваций чаще используется критерий Пирсона (критерий «Хи-квадарат» (χ2)). Это связано с тем, что, во-первых, он позволяет сравнивать распределения частот вне зависимости от того, является ли распределение нормальным или нет. Во-вторых, его можно использовать как при больших, так и при относительно небольших объемах выборок. В-третьих, его применение целесообразно в случае работы с порядковыми шкалами, которые наиболее распространены в педагогике и психологии (Кашицын, Еремин, 2012: 30-31).
Использование критерия χ2 позволяет ответить на вопрос: с одинаковой ли частотой встречаются разные значения измеряемой величины для исследуемого признака в эмпирическом и теоретическом распределениях или в нескольких эмпирических распределениях?
Проведя диагностику, мы распределим полученные результаты по уровням (достаточный, продвинутый, элементарный), а далее вычислим распределение числа испытуемых по этим уровням.
При работе с ЭГ и КГ проведем замеры как до осуществления целенаправленного педагогического воздействия в ЭГ (специально разработанной методической системы формирования профессиональной коммуникативной компетенции курсантов вузов ФСИН России), так и после.
И если до внедрения методической системы распределение курсантов по уровням будет более или менее одинаковым (т.е. статистических различий в выборках не будет выявлено), а после проведения эксперимента распределение испытуемых станет различным, т.е. появятся статистические различия, следует признать доказанность влияния изучаемого воздействия на образовательный процесс в ЭГ. Если же статистические различия после педагогического воздействия не выявятся, то сделать вывод о влиянии проведенного воздействия на изучаемый признак нельзя.
Сравним распределения по уровням в ЭГ и КГ.
Для этого реализуем следующий алгоритм:
- Сформулируем статистические гипотезы.
Нулевая гипотеза (Н0): распределения по уровням сформированности профессиональной коммуникативной компетенции курсантов вузов ФСИН России в обеих группах значимо не отличаются от случайных.
Альтернативная гипотеза (Н1): распределения по уровням сформированности профессиональной коммуникативной компетенции курсантов вузов ФСИН России в ЭГ и КГ значимо отличаются от случайных.
- Подсчитаем число степеней свободы i=(R–1)·(C–1), где C – количество столбцов в таблице, R – количество строк. В нашем случае – только два столбца (т.к. имеем дело в двумя группами курсантов (КГ и ЭГ): C=2) и три строки (продвинутый, достаточный и элементарный уровни: R=3). Так как для случая сравнения двух групп C=2, то формула для числа степеней свободы дает значение i =R–1=2.
- Подсчитаем объем выборки в КГ (N) и ЭГ (M). N = n1 + n2+ n3. M = m1 + m2+ m3. В нашем случае: N=73 и M=72.
- Вычислим эмпирическое значение критерия с помощью следующей расчетной формулы:
- Для наглядности представим условные обозначения в таблице:
- Сравним полученное эмпирическое значение с критическим. Из этой таблицы для i=2 и уровня значимости 0,05 критическое значение составляет 5,99, а для уровня значимости 0,01 оно равно 9,21.
- Хотя объем выборки (значения M и N) может быть и не очень большим, рекомендуется брать значения M≥30, N≥30, так как при меньших значениях критерий дает значительную погрешность. Соответственно, погрешность уменьшается при увеличении объема выборки.
- Значение параметра для каждой ячейки таблицы должно быть не меньше 5. При меньших значениях погрешность также возрастает, а при частотах, близких к нулю, изменение значения параметра всего на одну единицу дает значительное изменение значения рассчитываемого критерия.
- Число градаций R должно быть не менее 3-х.
- личностно-мотивационному (наличие мотивов, ценностных ориентаций, установок и потребностей будущего сотрудника УИС в профессиональной коммуникативной компетенции);
- когнитивному (сформированность профессиональных коммуникативных знаний, согласно ФГОС ВО и квалификационных требований, предъявляемых к сотрудникам УИС);
- деятельностно-рефлексивному (владение практическими умениями и способностью к осуществлению эффективной профессиональной коммуникации, самооценке личностных качеств).
Кроме того, уровень сформированности профессиональной коммуникативной компетенции курсантов на констатирующем этапе был определен с помощью специально разработанных КИМов (Никитина. 2017: 134-138) (результаты представлены в табл. 3). Смотреть приложение 2.
Так, в начале первого курса до реализации педагогического эксперимента (в начале изучения дисциплины «Русский язык и культура речи») для оценки уровня сформированности когнитивного критерия базовой коммуникативной компетенции курсантов был проведен входной контроль в форме теста. Для оценки личностно-мотивационного критерия курсантам было предложено написать эссе «Каким я вижу свое профессиональное будущее?». Данная тематика была предложена курсантам КГ и ЭГ, обучающимся как по направлению подготовки «Юриспруденция», так и «Зоотехния». Для оценки деятельностно-рефлексивного критерия базовой коммуникативной компетенции курсантам ЭГ и КГ было дано задание: подготовить публичное выступление на тему «Я – курсант вуза ФСИН». Результаты представлены в табл. 3.
В начале второго курса до реализации второго периода формирования профессиональной коммуникативной компетенции в рамках педагогического эксперимента для оценки уровня сформированности профессионально-ориентированной коммуникативной компетенции курсантам было дано следующее задание: Вы – курсант 2 курса, несете службу способом патрулирования и заметили, как курсант 1 курса пытался покинуть территорию института без разрешения (через забор). Составить рапорт о случившемся и акт по применению физической силы. Результаты представлены в табл. 3.
В начале третьего курса до реализации третьего периода формирования профессиональной коммуникативной компетенции в рамках педагогического эксперимента до начала изучения специальных дисциплин курсантам всех профилей подготовки для оценки уровня сформированности профессионально-специализированной коммуникативной компетенции было дано следующее задание: в рамках ролевой игры «Сотрудник отдела охраны (конвоирования) / отдела безопасности (режима) / кинологического отделения (группы)» (в зависимости от профиля подготовки), которая была организована в начале изучения специальных дисциплин, необходимо составить план-конспект проведения инструктивного занятия. Результаты представлены в табл. 3.
Достоверность совпадений или различий статистических характеристик ЭГ и КГ до педагогического эксперимента проверена с помощью критерия Хи-квадрат (табл.4).
Полученные данные отразим на диаграмме (рис. 3):
Из табл. 4 и рис. 3, видно, что характеристики сравниваемых выборок ниже уровня значимости 0,05 (χ2эмпир< χ2крит), что свидетельствует о том, что статистических различий в выборках не выявлено (распределение курсантов по уровням было одинаковым).
Для самооценки уровня сформированности профессиональной коммуникативной компетенции курсантов после педагогического эксперимента, также использовалась авторская методика измерения уровня сформированности профессиональной коммуникативной компетенции курсантов вузов ФСИН России. Полученные результаты представлены в табл. 1.
Кроме того, уровень сформированности профессиональной коммуникативной компетенции курсантов на контрольном этапе определялся по результатам выполнения КИМов (Никитина, 2017: 134-138).
Так, на первом этапе исследования для оценки когнитивного критерия проводился компетентностно-ориентированный тест, который включал в себя следующие задания:
1) позволяющие курсантам продемонстрировать свою коммуникативную грамотность (владение всеми видами речевой деятельности; способность воспринимать чужую речь (устную, письменную) и самостоятельно выражать свои мысли в устной и письменной форме);
2) предполагающие включение курсанта в различные коммуникативные ситуации, приближенные к профессиональной деятельности.
Данные задания относятся к разному уровню сложности и включают в себя задания с выбором верных ответов (одного или нескольких), задания на установление соответствия, на установление правильной последовательности, на ранжирование, открытые задания (на дополнение и задания на подстановку).
Для оценки уровня сформированности деятельностно-рефлексивного критерия базовых коммуникативных компетенций курсантам была предложена ролевая игра «Судебное заседание». Для этого курсантам во время самостоятельной подготовки было необходимо подготовить обвинительную / защитную речь (в зависимости от роли); определиться с темой для дискуссии, выбрать оппонента, собрать и систематизировать материал. Темой для обсуждения может быть, как абстрактное понятие, так и конкретное «преступление». Один курсант выступает в роли защитника, другой – обвинителя. Доклад представляет собой судебную речь обвинительного или защитного характера, которая должна учитывать характерные особенности данного вида высказывания.
После выступления каждой пары в процессе ролевой игры организуется последующее подробное коллективное обсуждение с анализом речевых ошибок.
На втором этапе исследования изучался уровень сформированности профессионально-ориентированных коммуникативных компетенций курсантов. Для оценки личностно-мотивационного критерия профессиональной коммуникативной компетенции курсантам было предложено написать эссе «Нужны ли элементарная орфографическая и пунктуационная грамотность и культура речи в моей профессиональной деятельности?».
Для оценки уровня сформированности деятельностно-рефлексивного критерия профессионально-ориентированной коммуникативной компетенции курсантам была предложена разработка проекта «Экскурсия по подразделению исправительного учреждения». Для этого во время прохождения учебной практики курсантам было предложено провести экскурсию по подразделению исправительного учреждения, в котором они проходят практику: отдел охраны / управление по конвоированию / отдел безопасности (режима), кинологическое отделение). В качестве экскурсантов могут выступать курсанты, прибывшие в данное исправительное учреждение с ознакомительной целью в рамках изучения профильной учебной дисциплины.
В ходе экскурсии курсантом должны быть освещены следующие вопросы: структура отдела, выполняемые задачи, функциональные обязанности сотрудников, штатная структура и т.д. Для проведения экскурсии курсанту необходимо составить план и подготовить подробный конспект.
Для оценки уровня сформированности когнитивного критерия профессионально-ориентированной и профессионально-специализированной коммуникативной компетенции курсантам было предложено выполнение компетентностно-ориентированного теста, который включал в себя следующие задания:
позволяющие курсантам продемонстрировать знание основ современной речевой коммуникации, основных критериев хорошей речи, особенностей, видов и стилей общения; владение приемами поведения в конфликтных ситуациях, основами мастерства публичного выступления, аргументации, анализа и самоанализа в процессе групповой рефлексии, деловым общением;
2) предполагающие включение курсанта в различные коммуникативные ситуации, приближенные к профессиональной деятельности.
Данные задания предполагали разный уровень сложности и включали в себя закрытые (одиночного и множественного выбора, соотнесения вариантов, определения последовательности) и открытые вопросы.
На третьем этапе исследования изучался уровень сформированности профессионально-специализированных коммуникативных компетенций курсантов.
Для оценки уровня сформированности деятельностно-рефлексивного критерия профессионально-специализированной коммуникативной компетенции курсантам была предложена ролевая игра «Сотрудник отдела охраны (конвоирования) / отдела безопасности (режима) / кинологического отделения (группы)» (в зависимости от профиля подготовки), которая была организована в ходе изучения специальных дисциплин. Остановимся подробнее на описании ролей и их функций.
Профиль подготовки «Организация охраны и конвоирования в УИС»
При изучении дисциплины «Организация охраны» в рамках ролевой игры курсанты по очереди проигрывают следующие роли:
Начальник караула, которому необходимо выполнить следующие действия: поставить задачу караульным перед заступлением на пост; оценить сотрудников караула по результатам несения службы.
Инспектора отдела охраны, которому необходимо выполнить следующие действия: подготовить и оформить планирующую и отчетную служебную документацию отдела охраны; оформить решение начальника учреждения по организации охраны на квартал, заместителя начальника учреждения по охране на месяц и на сутки; провести инструктаж и инструктивное занятие с личным составом перед заступлением на службу; организовать и провести занятие с личным составом отдела в системе служебно-боевой подготовки; проверить службу караула; организовать и провести воспитательные мероприятия с сотрудниками отдела охраны; провести служебное и оперативное совещание, учебно-методические сборы.
При изучении дисциплины «Организация конвоирования» курсанты, участвуя в ролевых играх, выполняют обязанности:
Начальника караула отделения по конвоированию отдела по конвоированию, которому необходимо выполнить следующие действия: поставить задачи караульным перед заступлением на посты в составе караула по конвоированию; оценить сотрудников караула по результатам несения службы.
Инспектор отдела организации службы конвоирования управления по конвоированию, которому необходимо выполнить следующие действия: подготовить и оформить планирующую и отчетную служебную документацию отдела по конвоированию; подготовить суточный приказ по конвоированию; провести инструктаж и инструктивное занятие с личным составом; организовать и провести занятие с личным составом отдела в системе служебно-боевой подготовки; проверить служебную деятельность караула по конвоированию; организовать и провести мероприятие по воспитательной работе с личным составом отдела; провести служебное и оперативное совещание, учебно-методические сборы.
Профиль подготовки «Организация режима в УИС»
При изучении специальных дисциплин «Правовое регулирование и организация режима», «Правовое регулирование и организация надзора» в рамках ролевой игры курсанты по очереди проигрывают следующие роли:
Дежурный помощник начальника колонии / дежурный помощник начальника следственного изолятора / дежурный помощник начальника тюрьмы, которым необходимо выполнить следующие действия: поставить задачи личному составу перед заступлением на службу; осуществить объектовый надзор; осуществить руководство действиями при происшествиях; провести инструктаж и инструктивное занятие с личным составом; организовать и провести мероприятие по воспитательной работе с личным составом отдела.
Инспектор отдела безопасности (режима), которому необходимо выполнить следующие действия: организовать службу дежурной (дневной) смены; подготовить и оформить служебную документацию дежурной смены; осуществить делопроизводство отдела безопасности (отдела режима) с учетом режима секретности на основании требований нормативных документов; составить план работы отдела безопасности (режима) исправительного учреждения (следственного изолятора); подготовить и оформить планирующую и отчетную служебную документацию отдела безопасности (режима); спланировать деятельность по обеспечению надзора; осуществить руководство личным составом отдела безопасности (режима); организовать выполнение личным составом отдела безопасности (режима) поставленных задач; провести инструктаж и инструктивное занятие с личным составом; организовать и провести занятие в системе служебно-боевой подготовки с инспекторами, младшими инспекторами отдела безопасности (режима); организовать и провести мероприятие по воспитательной работе с личным составом отдела; провести служебное и оперативное совещание, учебно-методические сборы.
Профиль подготовки «Кинология»
При изучении дисциплины «Организация кинологической деятельности ФСИН России», в рамках ролевой игры курсанты по очереди проигрывают роль начальника кинологического отделения отдела охраны, которому необходимо выполнить следующие действия: подготовить и оформить планирующую и отчетную документацию кинологического подразделения отдела охраны; организовать руководство личным составом кинологического подразделения; провести занятие со специалистами-кинологами в системе служебно-боевой и специальной подготовки; организовать и провести мероприятие по воспитательной работе с личным составом кинологического подразделения; провести служебное и оперативное совещание, учебно-методические сборы.
Кроме того, для оценки уровня сформированности деятельностно-рефлексивного критерия (письменной) профессионально-специализированной коммуникативной компетенции (в зависимости от профиля подготовки) курсантами предоставляются следующие документы, оформленные во время преддипломной практики: планы-конспекты проведения занятий по служебной подготовке; планы проведения инструктивных занятий; планы подведения итогов несения службы; копии служебных документов, подготовленных и оформленных курсантами во время прохождения практики.
Для оценки уровня сформированности (устной) профессионально-специализированной коммуникативной компетенции (в зависимости от профиля подготовки) на одно из занятий по служебной подготовке, на одно из инструктивных занятий и одно из подведений итогов несения службы, которые проводит курсант-практикант во время преддипломной практики, приглашается преподаватель-филолог (либо занятие записывается на видео и сдается на кафедру гуманитарных и социально-экономических дисциплин института).
Достоверность совпадений или различий статистических характеристик ЭГ и КГ после педагогического эксперимента проверена с помощью критерия Хи-квадрат (см. табл. 5).
Полученные данные отразим на диаграмме (рис. 4):
Из табл. 4 и рис. 4, видно, что характеристики сравниваемых выборок превосходят критическое значение критерия Пирсона (χ2эмпир> χ2крит), что свидетельствует о наличии статистических различий и доказывает влияние изучаемого воздействия на образовательный процесс в ЭГ.
Анализ данных, полученных по результатам самооценки и в ходе выполнения курсантами КИМов, подтвердил, что применение разработанной методической системы обеспечивает объективное и достоверное оценивание уровня сформированности профессиональной коммуникативной компетенции курсантов вузов ФСИН России.
До внедрения методической системы формирования профессиональной коммуникативной компетенции распределение курсантов КГ и ЭГ по уровням было одинаковым (т.е. статистических различий в выборках не было выявлено), а после проведения педагогического эксперимента распределение испытуемых стало различным, т.е. появились статистические различия, следует признать доказанность влияния изучаемого воздействия на образовательный процесс в ЭГ курсантов.
Сравним полученное эмпирическое значение с критическим, которое приведено в таблице критических точек распределения Пирсона (хи-квадрат). Из этой таблицы для i=2 и уровня значимости 0,05 критическое значение составляет 5,99, а для уровня значимости 0,01 оно равно 9,21.
В нашем случае и для того, и для другого уровня значимости χ2эмп> χ2крит, поэтому можно сделать вывод о наличии статистических различий в выборках, т.е. нулевая гипотеза отклоняется, а альтернативная принимается (с вероятностью 99%). Коэффициент корреляции Пирсона соответствует коэффициенту надежности.
Для обеспечения полного доказательства валидности произведем конвергентную валидизацию (Гессман, Шеронов, 2013: 20-31). Для измерения уровня сформированности профессиональной коммуникативной компетенции курсантов мы использовали несколько методик. Сравнив полученные результаты, мы можем говорить о конструктной валидности, так как экспериментальные данные, полученные от разных методик, имеют высокую корреляцию.
Заключение. Результаты, полученные в ходе реализации методики измерения уровня профессиональной коммуникативной компетенции курсантов вузов ФСИН России, в сравнении с результатами, полученными в ходе использования контрольно-измерительных материалов, дают полный охват исследуемой проблемы, позволяют целостно оценить уровень сформированности данной компетенции у курсантов и доказывают действенность внедрения модели формирования профессиональной коммуникативной компетенции курсантов вузов ФСИН России (Никитина, 2018: 134-138).
Список литературы
Гессманн Х.В., Шеронов Е.А. Валидность психологического теста // Современная зарубежная психология. 2013. № 4. С. 20–31.
Гиренок Г.А. Формирование коммуникативной компетенции будущих сотрудников УИС в высшей профессиональной школе: Дисс. … канд. пед. наук. Самара, 2013. 198 с.
Кашицын А.С., Еремин С.В. Методы статистической обработки результатов педагогического эксперимента. Шуя: ФГБОУ ВПО «ШГПУ», 2012. 43 с.
Климова О.В. Формирование профессиональной коммуникативной компетенции у студентов юридических специальностей в процессе изучения психолого-педагогических дисциплин: Дисс. … канд. пед. наук. Челябинск, 2009. 166 с.
Кукарцева Т.А.Формирование профессионально-коммуникативной компетентности будущих специалистов военно-экономического профиля в иноязычном образовательном процессе: Дисс. … канд. пед. наук. Ульяновск, 2011. 206 с.
Никитина Т.В. Модель формирования профессиональной коммуникативной компетенции курсантов вузов Федеральной службы исполнения наказаний России // Вестник Омского государственного педагогического университета. Гуманитарные исследования. 2018. № 1 (18). С. 134–138.
Никитина Т.В. Профессиональная коммуникативная компетенция курсантов вузов ФСИН России: структура и содержательное наполнение // Гуманитарно-педагогическое образование. 2018. Т. 4. № 1. С. 111–117.
Никитина Т.В. Формирование профессиональной коммуникативной компетенции курсантов вузов ФСИН России // Гуманитарные науки (г. Ялта). – 2017. № 3 (39). С. 134-138.
Полонский В.М. Научный результат: структура и способы описания // Научный результат. Педагогика и психология образования. 2016. Т. 2. № 4. С. 23–28.
Тюменева Н.П. Формирование коммуникативных способностей курсантов и слушателей вузов ФСИН России при изучении русского языка и культуры речи: Дисс. … канд. пед. наук. Рязань, 2007. 184 с.
Biryukova M.V. Development of communicative and technological competencies of students within programs of short-term mobility // Research result: Pedagogy and psychology of education. 2017. Vol. 3. № 3. Р. 3–9.
Brumfit Ch. Communicative Methodology in language teaching. Cambridge: Cambridge University Press, 1984. 154 p.
Littlewood W. Communicative Language Teaching. Cambridge: Cambridge University Press, 1994. 90 p.
Ryan S.B. Overcoming Common Problems Related to Communicative Methodology. The Internet TESL Journal. 2001. Vol. VII. № 11. URL: http://iteslj.org/Techniques/Ryan-Communicative.html (дата обращения: 15.09.2018).
Villiers S. Sharing Our Understanding of the “Communicative Method” // Иностранные языки в школе. 2000. № 3. С. 21–23.
Watson J.R. Language and Culture Training: Separate Paths? // Military Review. English Edition: Fort Leavenworth, KS: Combined Arms Center, 2010. №2. P.56–61.