16+
DOI: 10.18413/2313-8971-2023-9-3-0-7

Нейролингвистическое обоснование и апробация методики развития рецептивных навыков с помощью аудиокниги

Aннотация

Введение. Использование полимодального текста в обучении иностранным языкам является предметом дискуссий. Выводы исследований, объектом которых является полимодальный текст, неоднозначны. С точки зрения нейролингвистики, использование аудиовизуальной информации представляется важным в обучении. Цель работы – определение влияния полимодального текста на рецептивные навыки учащихся средней школы с помощью педагогического эксперимента. Материалы и методы. В качестве полимодального средства была выбрана аудиокнига в комплекте с текстом. Уровень сформированности рецептивных навыков измерялся с помощью диагностического онлайн-теста по английскому языку еSELT 2. Помимо общенаучных методов, были использованы такие эмпирические методы, как наблюдение, педагогическое тестирование и педагогический эксперимент. Выборка. В эксперименте участвовали ученики 6-х классов «Академической гимназии» №56 (12 девочек и 8 мальчиков) в возрасте 11-12 лет. Процедура. В ходе эксперимента учащиеся экспериментальной группы проходили пробное обучение, в котором они одновременно читали и слушали книги. Были проведены три замера уровня сформированности навыков аудирования и чтения учащихся для определения эффективности применения аудиокниг. Результаты исследования и их обсуждение. Результаты педагогического эксперимента показывают, что книги с аудиосопровождением эффективны в развитии навыков аудирования, однако не оказывают существенного влияния на развитие навыков чтения.  Статистическая значимость разницы результатов в контрольной и экспериментальной группах подтверждается с помощью метода t-критерия Стьюдента. Заключение. Таким образом, учет нейрофизиологических данных, а также результаты эксперимента позволяют сделать вывод об эффективности применения аудиокниг в комплекте с текстом для развития аудитивных навыков учащихся средней школы.


Введение (Introduction). Аудиокнига обладает значительным лингводидактическим потенциалом, в комплекте с текстом представляя полимодальный текст, который активизирует аудиальный и визуальный каналы восприятия учащихся. Наличие нескольких способов передачи информации, модусов или модальностей непосредственно связано с термином «мультимодальность» или «полимодальность» (multimodality), который был введен в начале столетия. Полимодальный текст определяется как «совокупность текстовых и внетекстовых источников информации, способных воздействовать на различные модальности восприятия» (Родина, 2014: 203). Применительно к педагогике полимодальное обучение рассматривается как совокупность методик, опирающихся на знания и умелое использование особенностей восприятия и обработки информации разными сенсорными каналами и разными полушариями мозга (Пичугина, Кайбалиев, 2019: 22). Однако в настоящее время публикуются противоречивые результаты об использовании полимодального текста в обучении иностранным языкам (Kartal, Simsek, 2017; Nakashima et al., 2018; Tragant Mestres et al., 2019; Tusmagambet, 2020).
Важность полимодального восприятия в обучении подтверждается рядом исследований, посвященных его нейронным механизмам. В настоящее время существуют открытые базы данных для их изучения (Shoffelen et al., 2019; Berezutskaya et al., 2022).
Эксперименты показывают, что существует иерархия функциональных уровней восприятия, выстроенных от периферии к центру. Модально-специфичные признаки (визуальные, слуховые и тактильные) организуются в ассоциативной коре головного мозга и далее комбинируются на более общем полимодальном уровне. Так, например, при слуховом восприятии слова «дерево» появляется активность в другой части мозга, отвечающей за визуальное восприятие (Schnelle, 2010).
Интеграция визуальной и аудиальной информации происходит в верхней височной борозде (далее СТС (STS - superior temporal sulcus)). Пространственная организация СТС соответствует потокам обработки, которые предположительно синтезируют представление речи от сенсорных сигналов, доставляющих информацию из визуальной и аудиальной модальностей. Так, СТС располагается между зрительной ассоциативной корой в задней латеральной височной части и слуховой ассоциативной корой в верхней височной извилине (Venezia et al., 2017).
Кроме того, недавние исследования доказали, что интеграция аудиовизуальной информации является ключевой частью нейронной схемы чтения. Во время обучения чтению задние части слуховой ассоциативной коры (височная плоскость и верхняя височная кора) адаптируются к автоматической обработке недавно изученных ассоциаций между буквами и звуками речи. Это объясняет вывод, к которому пришли И.И. Карипидис и др., – наличие дислексии связано с нарушением аудиовизуальной интеграции букв и звуков (Karipidis et al., 2018).
Необходимо учитывать, что интеграция аудиовизуальных стимулов возможна, если они предъявляются в узком временно́м окне, известным как окно временно́й привязки (TBW – Temporal Binding Window). Способность объединять аудиовизуальную информацию во времени, например, помогает младенцам соотносить звуки и объекты и таким образом устанавливать кроссмодальные ассоциации, распознавать изменения ритма, различать просодические характеристики и эмоции, а также усваивать язык. При этом, по мнению Хань-Ю Жу и др., расширенное окно временно́й привязки свидетельствует о нарушениях развития нервной системы (Zhou et al., 2020).
Однако выводы об использовании полимодального текста при обучении иностранному (английскому) языку в педагогических экспериментах неоднозначны.
Например, Э. Трагант Местрес и др. пришли к заключению, что уровень понимания в чтении и аудировании детей, обучение которых строилось на полимодальном тексте, сходен с уровнем детей в контрольной группе (КГ), которые обучались традиционно. Однако экспериментальные группы показали более высокое знание лексики, а также предпочли аудиокниги традиционным печатным изданиям (Tragant Mestres et al., 2019).
В другом эксперименте К. Накашима и др. сравнивали группы студентов, которые читали и слушали тексты, с группами, в которых или слушали, или читали. В итоге, студенты, которые работали с полимодальным текстом, показали более высокий уровень понимания, однако это разница была статистически незначительной по сравнению с результатами группы, в которой только читали (Nakashima et al., 2018).
Согласно другим исследованиям, результаты которых представлены ниже, активизация двух сенсорных каналов в зависимости от фокуса эксперимента положительно влияет на разные показатели, такие как скорость чтения, уровень понимания при чтении или аудировании, мотивация.
Б. Тусмагамбет утверждает, что одновременное прослушивание и чтение значительно повысило скорость чтения в экспериментальной группе (ЭГ), при этом их уровень понимания в чтении и мотивация увеличились, как и в КГ (Tusmagambet, 2020). Г. Картал и Х. Симсек также используя полимодальный текст в пробном обучении, акцентировали внимание на изменении уровня навыков аудирования. Они выявили повышение уровня сформированности аудитивных навыков в ЭГ с помощью количественного анализа, а также повышения уровня мотивации студентов с помощью опроса. Кроме того, студенты отметили улучшение произношения и понимания благодаря одновременному прослушиванию и чтению (Kartal and Simsek, 2017).
В последние несколько лет проводятся исследования восприятия полимодального текста с помощью технологии регистрации движений глаз.
Так, К. Конклин и др. сравнивали восприятие носителей английского языка и изучающих английский язык текста с аудиосопровождением и без него. Анализ движения глаз показал, что чтение на родном языке быстрее без аудиосопровождения, в то время как чтение на иностранном языке быстрее при одновременном прослушивании текста. Также авторы отметили, что соответствие фиксаций (в тексте) и аудиотекста более характерно для чтецов с небольшим словарным запасом. Это может быть объяснено тем, что аудио помогает разделить, различить или установить связь между словом и значением (Conklin et al., 2020).
А. Пеллисер-Санчез и др. изучали зависимость уровня понимания от времени просмотра текста или изображений с аудиосопровождением и без него. Результаты исследования показали, что наличие звука позволило учащимся дольше просматривать изображения. Помимо этого, длительное восприятие текста связано с более низким уровнем понимания, в то время как длительное восприятие изображений коррелирует с более высоким уровнем понимания (Pellicer-Sánchez et al., 2020). Следовательно, интеграция вербальной информации с изображениями более благоприятна в полимодальной среде. К аналогичным выводам пришли Р. Серрано и А. Пеллисер-Санчез в другом исследовании со сходными характеристиками, но в режиме онлайн обучения (Serrano and Pellicer-Sánchez, 2019).
Противоречивые выводы изложенных выше трудов, заключающиеся, с одной стороны, в положительном влиянии и, с другой, в отсутствии влияния полимодального текста на уровень понимания, послужили основанием для проведения педагогического эксперимента.
Цель исследования – определение влияния полимодального текста на рецептивные навыки учащихся средней школы с помощью педагогического эксперимента.
В исследовании выдвигается гипотеза о том, что использование полимодального текста в качестве средства обучения иностранному языку положительно влияет на развитие рецептивных навыков учащихся.
Методология и методы исследования. Теоретическую базу работы составляют исследования полимодальности зарубежных авторов, таких как Дж. Беземер и К. Джуитт (Bezemer, Jewitt, 2018), Г. Кресс (Kress, 2010), Т. ван Леyвен (Van Leeuwen, 2015), Е. Адами (Adami, 2016) а также отечественных авторов, таких как Е.Д. Некрасова (Некрасова, 2014), Т.Н. Бандурка (Бандурка, 2013), Г.А. Пичугина и А.Г. Кайбалиев (Пичугина, Кайбалиев, 2019). Также были изучены работы по использованию аудиокниг при обучении иностранному языку следующих авторов – А.Ч.Ш. Чанг (Chang, 2011), Х.-А. Кордон-Гарсиа (Cordón-García, 2018), Б. Вудалл (Woodall, 2010).
Описание выборки. Участники эксперимента – 20 учеников (12 девочек и 8 мальчиков) 6-х классов в возрасте 11-12 лет «Академической гимназии №56» г. Санкт-Петербург. Все участники являются носителями русского языка.
Материалы и методы (Methodology and methods). В качестве материалов была использована коллекция Graded readers серий Dominoes и Oxford Bookworms от издательства Oxford University Press. Коллекция включает 25 произведений художественной и научно-популярной литературы уровня A2-B1. Доступ к книгам активировался с помощью кода на платформе Oxford Learner's Bookshelf. Учащиеся контрольной группы использовали учебное пособие «Сборник текстов для домашнего чтения» (Зимина, Криволесова и др., 2021). Данный сборник содержит адаптированные лингвострановедческие тексты. Каждый текст сопровождается словарем и упражнениями, направленными как на развитие языковых, так и речевых навыков и умений. Измерения уровня сформированности рецептивных навыков были осуществлены с помощью диагностического онлайн-теста по английскому языку еSELT 2 (Standardized English Language Tests). Он предназначен для учащихся уровня (A1+) в возрасте 11-12 лет. Тест включает три раздела – аудирование, чтение, лексика и грамматика и предназначен для учащихся уровня (A1+).
Для решения поставленных задач использовались общенаучные методы, такие как анализ, синтез, систематизация и классификация полученных данных. Кроме того, проведено сравнение отечественной и зарубежной научной литературы в областях лингводидактики. Были использованы эмпирические методы: наблюдение, педагогическое тестирование и педагогический эксперимент, необходимые для диагностики, подтверждения проблемы и проверки метода ее решения.
Этапы исследования. На начальном этапе участники эксперимента были разделены на экспериментальную и контрольную группы (по 10 человек в каждой). Далее было проведено входное тестирование в обеих группах для определения сформированности навыков аудирования и чтения. Основной этап включал использование аудиокниги в комплекте с электронным вариантом текста произведения в качестве полимодального текста в экспериментальной группе и только традиционного учебного пособия в контрольной группе в рамках курса «Домашнее чтение». Пробное обучение длилось в течение 12 недель (одной четверти) и включало один урок «Домашнего чтения» в неделю. В этот период не входят входное и итоговое тестирование. Через шесть недель после начала пробного обучения было проведено промежуточное тестирование. В завершение курса учащиеся создали проект по прочитанной книге. Последним этапом стало итоговое тестирование аудирования и чтения в обеих группах для определения эффективности разработанной методики.
Процедура исследования. В первой половине пробного обучения учащиеся ЭГ одновременно читали и слушали аудиокниги во внеаудиторное время в дополнение к традиционному учебному пособию. Доступ к аудиокнигам был предоставлен в приложении на телефоне, планшете или сайте на компьютере. Ученики выбирали одну книгу из предложенных самостоятельно, основываясь на своих предпочтениях. Учащиеся КГ использовали только традиционное учебное пособие. Текущий контроль чтения и аудирования ЭГ осуществлялся с помощью выполнения заданий, представленных после каждой главы произведения, а также дополнительных заданий в аудиторное время. В конце первой половины обучения учащиеся представили презентацию прочитанной книги. Презентация включала информацию о названии, авторе и жанре книги; основной проблеме произведения и ее актуальности; героях произведения и их характеристиках; главных преимуществах и недостатках книги; впечатлениях и рекомендациях другим читателям. Во второй половине эксперимента участники ЭГ читали и слушали одну совместно выбранную аудиокнигу на занятиях, выполняя задания на понимание, а также творческие задания в аудиторное время.
Научные результаты и дискуссия (Research Results and Discussion). Далее представлены результаты педагогического эксперимента, направленного на определение влияния аудиокниги в комплекте с текстом на рецептивные навыки школьников. В табл. 1 представлены результаты входного и итогового тестирований контрольной и экспериментальной групп по аудированию. Стоит отметить, что на начальном этапе уровень сформированности аудитивных навыков в ЭГ ниже, чем в КГ. Медиана отличается на 7,5%, истинное среднее на 4,5%. Тем не менее, пробное полимодальное обучение в ЭГ заметно повлияло на их навыки аудирования, так как значение медианы по сравнению со входным увеличилось на 30%, истинного среднего – на 21,5%. В то же время в КГ значение медианы увеличилось на 7,5%, истинного среднего – на 12%.

 В следующей таблице представлены результаты входного и итогового тестирований обеих групп по чтению (табл. 2). Что касается уровня сформированности навыков чтения, на начальном этапе он выше в ЭГ: медиана выше, чем в КГ на 12,5%, истинное среднее выше на 8,3%. В итоговом тестировании в ЭГ медиана увеличилась на 16,8%, истинное среднее на 17,6%, в то время как в КГ медиана выросла на 16,3%, истинное среднее на 13,3%. Эти данные говорят о том, что применение полимодального текста незначительно повлияло на уровень понимания учащихся в чтении.

Статистическая значимость разницы результатов в каждой группе подтверждается с помощью метода t-критерия Стьюдента. Критическое значение t-критерия Стьюдента с уровнем значимости α=0,05 для группы из 10 человек равно 2,2.
Полученные величины t-критерия Стьюдента для КГ равны 1,7 в тестировании по аудированию и 2,2 – по чтению. Следовательно, разницу в результатах аудирования нельзя считать статистически значимой.  Величины t-критерия Стьюдента для ЭГ равны 2,9 и 3,3 в тестировании аудирования и чтения, соответственно. Обе величины выше критической отметки, что подтверждает повышение уровня сформированности рецептивных навыков для этой группы.
Итоговое тестирование показало общее повышение уровня сформированности рецептивных навыков в обеих группах. Анализ результатов позволяет сделать вывод о том, что применение аудиокниг в учебном процессе значительно повлияло на развитие навыков аудирования. Это может быть объяснено тем, что учащиеся ЭГ воспринимали устную речь в бо́льших объемах и с бо́льшим интересом, благодаря звуковым эффектам и выразительному чтению актеров. Кроме того, учащиеся ЭГ могли быть более мотивированными в работе с аудиокнигами из-за использования приложения на телефоне, планшете или сайта на компьютере. Эти выводы согласуются с результатами исследований Г. Картала и Х. Симсека (Kartal, Simsek, 2017) и М.М.К. Мохамеда (Mohamed, 2018). В КГ рост аудитивных гораздо ниже по сравнению с результатами ЭГ.
Однако применение полимодального текста несущественно отразилось на навыках чтения в ЭГ, так как уровень их сформированности сравним с уровнем КГ. Вероятно, задействование аудиального канала незначительно влияет на процесс понимания при дальнейшем чтении про себя.
Важным вкладом эксперимента является изучение влияния полимодального текста на оба вида рецептивных навыков у русскоязычных обучающихся. Практическое значение работы отражается в обосновании применения аудиовизуальной информации в учебном процессе с позиции нейрофизиологии, а также в подтверждении положительного влияния аудиокниги на аудитивные навыки.
Заключение (Conclusions). Таким образом, аудиокнига в качестве полимодального текста позволяет задействовать несколько сенсорных каналов. Согласно нейрофизиологическим данным, интеграция аудиальной и визуальной информации необходима для успешного обучения чтению. Модально-специфичная информация интегрируется в полимодальную в определенном отеле мозга.
Исследования с применением полимодального текста представляют различные, иногда противоречивые выводы. Так, среди положительных результатов отмечают способствование усвоению лексики, повышение уровня понимания и скорости чтения, развитие аудитивных навыков и возможность просмотра иллюстраций, что коррелирует с более высоким уровнем понимания. Тем не менее, некоторые авторы отмечают, что использование полимодального текста незначительно влияет на уровень понимания учащихся, а также замедляет чтение на родном языке.
Эти данные стали основанием для проведения педагогического эксперимента. Цель эксперимента заключалась в определении влияния аудиокниги в комплекте с текстом на навыки чтения и аудирования учащихся среднего звена. В ходе пробного обучения учащиеся экспериментальной группы читали и слушали книгу с аудисопровождением, выполняя задания на проверку понимания фрагмента произведения. Проведенные тестирования показали повышение уровня сформированности рецептивных навыков в обеих группах. Уровень навыков чтения изменился сравнительно одинаково (на 17,6% в ЭГ и 13,3% в КГ). Однако рост аудитивных навыков в экспериментальной группе оказался значительно выше (на 21,5% в ЭГ и 12% в КГ). Статистическая значимость разницы результатов в каждой группе подтверждается с помощью метода t-критерия Стьюдента. Следовательно, использование аудиокниги в комплекте с текстом особенно эффективно для развития аудитивных навыков учащихся средней школы.

Список литературы

Бандурка Т.Н. Осознание собственного полимодального восприятия у студента как путь развития его субъектности и понимания им своих духовно-нравственных истоков // Экспериментальная психология. 2013. Т.6. №4. С. 59-66.
Некрасова Е.Д. К вопросу о восприятии полимодальных текстов // Вестник Томского государственного университета. 2014. № 378.
С. 45-48.
Пичугина Г.А., Кайбалиев А. Г. Полимодальное обучение как средство повышения эффективности учебного процесса // Научен вектор на Балканите. 2019. Т. 3. № 2(4). C. 22-24.
Родина М.Ю. К вопросу о создании комплекса упражнений для обучения иностранных студентов чтению и пониманию художественных текстов // Карповские научные чтения: сб. науч. ст. 2014. №8: Часть 1. С. 203-207.
Сборник текстов для домашнего чтения: учебное пособие / Зимина З.В., Криволесова М.В., Хорева М.М., Куликова И.М, Кутепова Н.З., Лаевская Е.Д., Малиновская А.В., Маталина Н.С., Таликина Е.Д., Назарова И.Г., Рыкова О.М., Райтер Е.А., Сулимова А.В. Санкт-Петербург: ГБОУ «Академическая гимназия №56», 2021. 38 с.
A 204-subject multimodal neuroimaging dataset to study language processing / Shoffelen J.M., Oostenveld R., Lam N.H., Uddén J., Hultén A., Hagoort P. // Scientific data. 2019. Vol. 6 (1). P. 1-13. doi.org/10.1038/s41597-019-0020-y.
Adami E. Introducing Multimodality // The Oxford handbook of language and society. 2016. P. 451-473.
Auditory, visual and audiovisual speech processing streams in superior temporal sulcus / Venezia J.H., Vaden Jr. K.I., Rong F., Maddox D., Saberi K., Hickok G. // Frontiers in Human Neuroscience. 2017. Vol. 11 (174). P. 1-17. doi.org/10.3389/fnhum.2017.00174.
Bezemer J., Jewitt C. Multimodality: A guide for linguists // Research methods in linguistics. 2018. Vol. 28. P. 1-3. doi.org/10.5040/9781350043466.ch-012.
Chang A.C.S. The Effect of Reading While Listening to Audiobooks: Listening Fluency and Vocabulary // Asian Journal of English Language Teaching. 2011. Vol. 21. P. 43-64.
Cordón-García J-A. Leer escuchando: reflexiones en torno a los audiolibros como sector emergente // Anuario ThinkEPI. 2018. Vol.12.
P. 170-182. doi.org/10.3145/thinkepi.2018.23.
Kartal G., Simsek H. The effects of audiobooks on EFL students’ listening comprehension // The Reading Matrix: An International Online Journal. 2017. Vol. 17 (1). P. 112-123.
Kress G.R. Multimodality: A social semiotic approach to contemporary communication. London: Routledge, 2010. 212 p.
Mohamed M.M.K. Using audiobooks for developing listening comprehension among Saudi EFL preparatory year students // Journal of Language Teaching and Research. 2018. Vol. 9 (1). P. 64-73. doi.org/10.17507/jltr.0901.08.
Nakashima K., Stephens M., Kamata S. The interplay of silent reading, reading-while-listening and listening-only // The Reading Matrix: An International Online Journal. 2018. Vol. 18 (1). P. 104-123.
Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film / Berezutskaya J., Vansteensel M.J., Aarnoutse E.J., Freudenburg Z.V., Piantoni G., Branco M.P., Ramsey N.F. // Scientific Data. 2022. Vol. 9 (1). P. 1-13. doi.org/10.1038/s41597-022-01173-0.
Schnelle H. Language in the Brain. Cambridge University Press, 2010. 248 p. doi.org/10.1017/CBO9781139193450.
Serrano R., Pellicer-Sánchez A. Young L2 learners’ online processing of information in a graded reader during reading-only and reading-while-listening conditions: A study of eye-movements // Applied Linguistics Review. 2019.  Vol. 13 (1). P. 49-70. doi.org/10.1515/applirev-2018-0102.
Simulating reading acquisition: The link between reading outcome and multimodal brain signatures of letter-speech sound learning in prereaders / Karipidis I.I., Pleisch G., Brandeis D., Roth A., Röthlisberger M., Schneebeli M., Walitza S., Brem S. // Scientific reports. 2018. Vol. 8 (1). P. 1-13. doi.org/10.1038/s41598-018-24909-8.
Tragant Mestres E., Llanes Baró À., Pinyana Garriga À. Linguistic and non-linguistic outcomes of a reading-while-listening program for young learners of English // Reading and writing. 2019. Vol. 32. P. 819-838. doi.org/10.1007/s11145-018-9886-x.
Tusmagambet B. Effects of Audiobooks on EFL Learners' Reading Development: Focus on Fluency and Motivation // English Teaching. 2020. Vol. 75(2). P. 41-67. doi.org/10.15858/engtea.75.2.202006.41.
Van Leeuwen T. Multimodality // The handbook of discourse analysis. 2015. P. 447-465. doi.org/10.4324/9780203835654.ch47.
What eye-tracking tells us about reading-only and reading-while-listening in a first and second language / Conklin K., Alotaibi S., Pellicer-Sánchez A., Vilkaitė-Lozdienė L. // Second Language Research. 2020. Vol. 36 (3). P. 257-276. doi.org/10.1177/0267658320921496.
Woodall B. Simultaneous listening and reading in ESL: Helping second language learners read (and enjoy reading) more efficiently // TESOL journal. 2010. Vol.1 (2). P.186-205. doi.org/10.5054/tj.2010.220151.
Young learners’ processing of multimodal input and its impact on reading comprehension: an eye-tracking study / Pellicer-Sánchez A., Tragant E., Conklin K., Rodgers M., Llanes A., Serrano R. // Studies in Second Language Acquisition. 2020. Vol. 42 (3). P. 577-598. doi.org/10.1017/S0272263120000091.
Zhou H.Y., Cheung E.F., Chan R.C. Audiovisual temporal integration: Cognitive processing, neural mechanisms, developmental trajectory and potential interventions // Neuropsychologia. 2020. Vol. 140. (107396). P. 1-19. doi.org/10.1016/j.neuropsychologia.2020.107396.