На правах рукописи
Левина Елена Юрьевна
ВНУТРИВУЗОВСКАЯ ДИАГНОСТИКА
КАЧЕСТВА ОБУЧЕНИЯ
НА ОСНОВЕ АВТОМАТИЗИРОВАННОЙ ЭКСПЕРТНОЙ СИСТЕМЫ
Основное содержание работы отражено в следующих публикациях автора:
Статьи в научных сборниках:
13.00.01. - Общая педагогика, история педагогики и образования
Автореферат диссертации на соискание учёной степени кандидата педагогических наук
Казань - 2008
Работа выполнена в лаборатории естественно-математической и общепрофессиональной подготовки Института педагогики и психологии профессионального образования Российской академии образования
Научные руководители:
доктор технических наук, профессор
Белавин Владимир Алексеевич
кандидат педагогических наук, доцент
Щербаков Виктор Степанович
Официальные оппоненты:
доктор педагогических наук, профессор
Журбенко Лариса Никитична
кандидат педагогических наук, доцент
Голышев Игорь Геннадьевич
Ведущее учреждение: ГОУ ВПО "Казанский государственный университет им. В.И. Ульянова-Ленина".
Защита состоится 24 июня 2008 г. в 10 часов на заседании диссертационного совета Д 008.012.01 по защите диссертаций на соискание учёной степени доктора педагогических наук и доктора психологических наук при Институте педагогики и психологии профессионального образования РАО по адресу: 420039, г. Казань, ул. Исаева, 12.
С диссертацией можно ознакомиться в библиотеке ИПП ПО РАО.
Электронная версия автореферата размещена на официальном сайте Института педагогики и психологии профессионального образования РАО 24 мая 2008г.: http://www.kcn.ru/tat_ru/science/ispo_rao
Автореферат разослан 24 мая 2008г.
Учёный секретарь диссертационного совета А.Р. Масалимова.
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ.
Актуальность исследования. За последнее десятилетие высшее профессиональное образование в России приобрело широкомасштабный характер, в связи с чем остро встал вопрос об обеспечении качества обучения. Качество обучения как научно-теоретическая проблема включает в себя экономические, социальные, познавательные, культурные аспекты образования и является интегральной характеристикой образовательной деятельности и ее результатов. Для предоставления гарантий качества во всех сферах деятельности вуза, в соответствии с предъявляемыми требованиями к результату обучения со стороны потребителей необходимо наличие современных систем управления качеством.
Управление развитием образования как приоритетное направление выделяет создание системы внутривузовского мониторинга с охватом всех его объектов и различных измерительных средств, отслеживающей совокупность характеристик педагогических технологий. Ратификация Болонского соглашения, международные требования соответствия общеобразовательному стандарту ISO 9000 и Концепции модернизации российского образования ставят перед системой диагностики учебного процесса в высших учебных заведениях проблему выработки таких показателей (индикаторов) качества, которые отражали бы не только достигнутый уровень знаний обучаемых, но и параметры использования технологий обучения и контроля.
Информационный поток данных оценки знаний, его множественная структурированность, обусловили необходимость разработки нового аппарата педагогических измерений, который обеспечил бы выявление несоответствий, прогнозирование результатов, оптимизацию задач мониторинга, то есть технологию алгоритма диагностики качества высшего профессионального образования с количественной оценкой полученных результатов на каждом этапе.
Концептуальные основы качества образования сформулированы в правительственных программах, направленных на реформирование образовательной системы и призванных повысить качество и эффективность образования, это: ?Концепция модернизации образования России до 2010 г?, федеральная целевая программа ?Электронная Россия 2002 - 2010 гг.?, федеральная целевая программа развития образования на 2006 - 2010 гг.
Методологические подходы к мониторингу высшего образования с охватом всех ?объектов мониторинга? и различных измерительных средств разработаны А.И. Субетто, В.В. Чекмаревым в конце 90-х годов в ?Концепции мониторинга качества ВПО?, где был проведен анализ существующих показателей качества, действующих оценочных систем и существующих статистических систем учета данных мониторинга. Исследование вопросов мониторинга качества учебной деятельности и анализ результатов диагностики знаний осуществляются в работах В.С. Аванесова, С.Е. Шишова, А.Ю. Александрова, Л.В. Колясниковой, О.И. Федорищевой и др.
Последнее десятилетие характеризуется развитием идеи глобальной информатизации, как необходимого признака прогресса, применение информационных технологий в педагогическом процессе для решения задач оптимизации и повышения эффективности образовательного процесса проводилось Ю.К. Бабанским, В.П. Беспалько, Г.В. Ившиной, В.С. Ильиным, Г.И. Кириловой, В.В. Краевским, Е.И. Машбиц.
Однако, несмотря на наличие научных работ по проблемам мониторинга, диагностики качества обучения и использования информационных средств в этой области, результативный и стандартизированный механизм измерения и оценки качества обучения, в том числе, образовательных программ, методов и результатов обучения недостаточно разработан в российской системе образования. Отсутствие объективных норм уровня образовательной деятельности приводит к тому, что существующая оценка качества объектов образовательной системы представляет собой недостаточный индикатор для принятия соответствующих управленческих решений. Кроме того, слабо отражены возможности использования информационно-технических средств и математических методов в работе систем управления качеством образовательной деятельности. Корректная оценка качественных показателей и их анализ возможны лишь на основе квалиметрического подхода, который позволит от нечетких и зачастую субъективных оценок перейти к математически обоснованным, объективным выводам.
Таким образом, анализ научной литературы и результатов теоретических исследований позволил выявить противоречия:
- между необходимостью обеспечения гарантированного вузом качества обучения и неэффективностью совокупности применяемых методов диагностики и оценки качества образовательного процесса.
- между качественным характером оценивания и необходимостью измерения количественных показателей качества обучения для привлечения объективных математических методов обработки и анализа данных..
Выявленные противоречия обусловили проблему исследования: каковы научная основа и система диагностики качества обучения на основе информационных средств и математических методов.
Цель исследования заключается в разработке внутривузовской системы диагностики качества обучения на основе информационных средств и математических методов.
Объект исследования: диагностика качества учебного процесса в вузе.
Предмет исследования: структурно-функциональная модель внутривузовской диагностики качества обучения на основе информационных и математических методов.
В основу исследования положена гипотеза: качество профессионального обучения в вузе может быть повышено значительно, если при организации внутривузовской диагностики качества обучения на основе автоматизированной экспертной системы будут системно реализованы функции:
- сбора данных текущего и итогового контроля знаний и их хранения в базе данных;
- управления базами данных для осуществления процедур исследования и анализа статистики результатов учебного процесса;
- определения значимых показателей качества обучения, отражающих уровень усвоенных знаний и параметры преподавания учебной дисциплины;
- оценивания показателей качества обучения в соответствии с системой математических методов;
- выработки рекомендаций для принятия управленческих решений по обеспечению качества образования.
В соответствии с целью исследования и гипотезой были выдвинуты следующие задачи:
1) Провести анализ состояния теории, практики и проблем диагностики качества обучения в вузе;
2) Разработать концепцию системы диагностики качества обучения в вузе на основе автоматизированной экспертной системы;
3) Теоретически разработать и практически реализовать индикативные показатели качества обучения и методы их оценки;
4) Экспериментально показать эффективность разработки методов внутривузовской диагностики качества обучения.
Теоретико-методологическую основу исследования составили работы отечественных и зарубежных авторов, касающиеся вопросов оценки качества обучения, мониторинга образования, квалиметрических и математических методов диагностики качества образовательной деятельности вуза.
Переход к мировым стандартам качества образования (ISO 9000) инициировал разработку положений методологической базы системы управления качества обучения в вузе (В.В. Бойцов, А.В. Гличев, А.А. Азгальдов, В.Я. Белобрагин, Г.В. Мухаметзянова, Н.И. Селезнева и др.). Процесс обучения перечисленными авторами рассматривается как технология, включающая в себя приемы его оптимизации и управляемости для повышения его эффективности (В.П. Беспалько, Н.Ф. Талызина).
Особенности применения методов математической статистики в педагогических исследованиях и способов педагогических измерений и диагностики рассматривалась в работах В.С. Аванесова, А.И. Орлова, И.Д. Рудинского и др.
Инновационный подход к организации информационных ресурсов и технологий поддержки учебного процесса применен в работах В.П. Беспалько, Г.И. Ибрагимова, Г.К. Селевко, В.И. Солдаткина, М.А. Чошанова..
Современные исследования в области математического моделирования тестирования знаний и выявления реального уровня обученности студентов представлены в исследованиях В.Б. Моисеева, Л.Г. Пятирублевого, К.Р. Таранцевой, С.Д. Ионе, Н.И. Лимановой, И.Н. Павловой, А.В. Одинокова и др.
Для решения поставленных задач использовались следующие методы исследования: системный анализ психолого-педагогической литературы, учебно-программной документации; моделирование и дидактическое тестирование; наблюдение; анализ результатов самостоятельных, проектно-конструктивных работ студентов, итоги сдачи экзаменов; проверка остаточных знаний; методы анализа педагогических явлений и статистической обработки экспериментальных педагогических данных; методика организации баз данных контроля знаний; методика выборочного контроля качества; численные методы математического моделирования и способы имитационного моделирования на ЭВМ.
Экспериментальной базой послужили статистические и оперативные данные текущего и итогового контроля знаний студентов вузов различного профиля: ТГГПУ (Татарский государственный гуманитарный педагогический университет), РГГУ (Российский государственный гуманитарный университет), КГТУ (Казанский государственный технический университет), КГТУ (Казанский государственный технологический университет), КГУ (Казанский государственный университет), КГЭУ (Казанский государственный энергетический университет).
Этапы исследования.
Первый этап (2003?2005гг.) ? поисковый и диагностический. Изучались вопросы диагностики и оценивания качества обучения, проблемы модернизации качества высшего профессионального образования, сложившаяся практика проведения внутривузовского мониторинга, квалиметрические подходы к оценке качества обучения, определялись и уточнялись возможные показатели качества образовательной деятельности, осуществлялось накопление экспериментальных данных.
Второй этап (2005?2006гг.) ? разработка теоретической базы, квалиметрического аппарата, адаптация математических методов для организации внутривузовской диагностики качества обучения на базе автоматизированной экспертной системы.
Третий этап (2006?2008гг.) ? создание целостной системы диагностики качества обучения для решения некоторых задач оценки и повышения качества образовательной деятельности преподавателей и студентов. Произведена апробация, экспериментальное внедрение и обобщение результатов исследования.
Научная новизна исследования состоит в том, что:
? Определена роль и обозначено место внутривузовской автоматизированной системы диагностики качества обучения в управлении качеством образования в вузе, как средства обнаружения дефектов образовательной деятельности в вузе, осуществляющее стандартизацию качества обучения посредством мониторинга образовательного процесса и анализа признаков, характеризующих наличие отклонений в обучении.
? Разработан способ реализации индикативных критериев качества обучения основанного на данных статистического наблюдения, оценки образовательных достижений, обработки результатов контроля знаний посредством совокупности методов математической статистики и математического моделирования, подтверждающих возможность количественного оценивания качества образовательной деятельности в вузе.
? Предложена система внутривузовской диагностики качества обучения на базе средства искусственного интеллекта ?автоматизированной экспертной системы, отличающейся достоверностью оценок и высоким уровнем оперативности контроля, результаты работы которой с данными образовательных достижений студентов вуза обеспечивают основу для принятия объективных управленческих решений по совершенствованию образовательной деятельности, реализации педагогических технологий обучения.
Теоретическая значимость исследования состоит в теоретическом обосновании технологии функционирования системы диагностики качества обучения в вузе на основе квалиметрического подхода и информационного обеспечения, включающей: сбор и хранение данных о процессе обучения; расчет показателей качества; методы анализа индикаторов качества для выявления недостатков процесса обучения; оценку педагогических условий учебного процесса адаптированными методами математической статистики; формирование диагностического заключения для организационно-управленческих структур вуза по повышению качества образовательной деятельности преподавателей и студентов в вузе.
Практическая значимость исследования заключается в том, что создана диагностика качества обучения на основе автоматизированной экспертной системы, осуществляющая информирование организационно-управленческих структур вуза о качестве обучения. Оценка качества ведется на основе расчета индикативных показателей качества (дескриптивных статистик), рассчитанных по результатам контроля знаний в студенческих группах.
Данная гибкая информационная система диагностики качества обучения также предназначена для оценки применения педагогических технологий в образовании, самооценки и самокоррекции преподавательской деятельности, проверки эффективности внедрения новых методов и средств обучения, выявления уровня усвоения учебных дисциплин, аттестации преподавателей, для дальнейших исследовательских и практических работ в области управления сферой высшего образования. Созданная автоматизированная система диагностики качества отвечает принципу минимакса, имеет открытый характер, позволяет вводить дополнительные параметры измерений и математический инструментарий. Элементы представленной системы диагностики качества образовательной деятельности реализованы в ряде вузов и могут быть использованы в корпоративной информационной системе вуза.
На защиту выносятся:
1) Концепция создания системы диагностики качества обучения в вузе, включающей в себя аналитические и квалиметрические методы оценки.
2) Система внутривузовской диагностики качества обучения на основе автоматизированной экспертной системы.
3) Индикативные показатели качества обучения и методы их оценки, позволяющие автоматизировать и объективизировать диагностику качества обучения в целях педагогического управления.
Достоверность и обоснованность результатов исследования обеспечиваются соответствующим методологическим подходом к решению данной проблемы, изучением научной литературы и нормативных актов, репрезентативностью выборки экспериментальных данных и их статистической обработкой, использованием методов педагогической квалиметрии, математической статистики, математического моделирования для оценивания качества педагогических процессов, количественным и качественным анализом результатов эксперимента, личным опытом работы автора в должности преподавателя вуза.
Апробация и внедрение результатов исследования.
Основные положения и выводы были доложены в семнадцати публикациях и получили одобрение на международных и всероссийских научных конференциях и семинарах: Международной научно-методической конференции ?Инновационное образование в техническом университете?, 2004 г.; Международной конференции ?Математические методы в технике и технологиях?, 2005 г.; Международной научно-методической конференции ?Управление качеством профессионального образования: от проблемы к системе?, 2005 г.; Всероссийской научно-практической конференции профессорско- преподавательского состава РГГУ, 2006г.; Международной научно-практической конференции ?Информационные технологии в образовании и науке?, 2007г.; Региональной научно-практической конференции ?Предпринимательство в туризме и социально-культурной сфере?, 2008 г.
Результаты диссертационного исследования внедрены в Казанском государственном техническом университете им. А.Н. Туполева и Казанском государственном энергетическом университете.
Структура диссертации.
Работа состоит из введения, двух глав, содержащих 8 параграфов, заключения, содержащего выводы исследования, списка литературы, включающего 166 наименований и 8 приложений. Основное содержание работы изложено на 160 страницах машинописного текста, содержит 12 схем, 14 таблиц, 18 формул, 86 рисунков.
КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении дано обоснование актуальности избранной темы, показано современное состояние проблемы создания методов и средств оценки качества обучения, обозначены существующие противоречия в научных подходах к решению задач диагностики качества обучения в профессиональном образовании, сформулированы цели и задачи диссертационной работы, методологические и теоретические основы диссертации, ее информационная база, определены объект и предмет исследования, раскрыты научная новизна и практическая значимость, проведена апробация результатов исследования, представлена структура диссертации.
В первой главе - ?Теоретико-методологические проблемы и практика диагностики качества обучения в вузе? представлен аналитический обзор мировых стандартов, опыта и международных концепций управления качеством обучения, исследована специфика организации внутривузовского мониторинга и методики оценки качества образовательной деятельности в системе высшего профессионального образования, оценены возможности реализации в российских условиях мировых стандартов опыта и международных концепций управления качеством образования. Анализ состояния проблемы качества обучения осуществлен с учетом мировой тенденции распространить методы и средства международного стандарта ISO 9000 и системы качества TQM, применявшихся ранее в сфере услуг и в промышленности, в систему управления качеством образования. Тенденция имеет рыночную направленность, ориентирована на поиски и оперативное устранение слабых мест в образовательном процессе, инициирует опору на интуицию, широкие исследования и анализ качественно новых идей, с тем, чтобы обеспечить максимальное соответствие достигаемых уровней обучения государственным образовательным стандартам.
В соответствии с мировым опытом и с точки зрения российских исследователей (Байденко В.И., Ибрагимова Г.И., Миклушевского В.В., Селезневой Н.А., Субетто А.И., Чумакова В.Г, Щипанова В.В.) система управления качеством в вузах нашей страны может быть выстроена на базе синтеза подходов по ISO 9000 и по концепции ?Всеобщего управления качеством?. Разработки по проектированию систем управлением качеством в вузах ведутся в России с 70-х годов. Создана методологическая база (Бойцов В.В.,. Гличев А.В., Азгальдов А.А., Белобрагин В.Я., Мухаметзянова Г.В, Субетто А.И. и др.), которая не противоречит концепции ISO 9000, а по ряду принципов ? опережает эту концепцию. Опыт внедрения систем управления качеством в МИСиС, МГТУ им. Н.Э. Баумана, в Санкт-Петербургском государственном техническом институте, в Санкт-Петербургском государственном университете финансов и экономики,и в других вузах подтверждает эффективность и перспективность этого направления государственной политики в сфере качества высшего образования.
В 1998-1999 гг. такими деятелями педагогической науки, как А.И. Субетто, В.В. Чекмарев и др., разработана ?Концепция мониторинга качества ВПО?, которая базируется на комплексном подходе к мониторингу с охватом всех ?объектов мониторинга? и различных измерительных средств. Признается необходимым, а ведущими вузами России ? планомерно осуществляется, приспособление и внедрение стандарта ISO 9000 с учетом особенностей функционирования и развития высшей школы России. Концепция российского высшего образования опирается на параметрическую модель качества и систему мониторинга, как в общенациональном, так и в региональном масштабах. регистрация и анализ показателей, проводимый в мониторинге в реальном масштабе времени, может обеспечить основу не только для управленческих решений (Аванесов В.С., Шишов С.Е, Александров А.Ю., Федорищева О.И. и др.), но также и для дальнейших исследовательских и практических работ в области управления сферой высшего образования, в области исследований вопросов мониторинга качества учебной деятельности и анализа результатов диагностики знаний.
В публикациях отмечается отсутствие законченного инструментария, обеспечивающего мониторинг и диагностику качества образовательной деятельности, это делает процесс сбора и обработки информации трудоемким и затратным. Задача по созданию гибких систем диагностики качества обучения, отличающихся достоверностью оценок, наивысшим (высоким) уровнем оперативности контроля реализации современных педагогических технологий, в настоящее время находится в стадии формирования технологических решений.
В качестве основной идеи исследований (Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р., Ионе С.Д., Лиманова Н.И., Павлова И.Н., Одиноков А.В., Рудинский И.Д. и др.) в данном направлении выступает проблема оптимизации итогового тестового контроля в учебной деятельности, которая позволила бы свести затраты на организацию и проведение мониторинга к приемлемому уровню.
В связи с вышеизложенным, в качестве проблемы, требующей первостепенного решения, следует указать разработку методического и информационного обеспечения мониторинга и диагностики, то есть, инструмента, позволяющего наблюдать и оперативно анализировать статистические данные о ходе процесса обучения, прогнозировать тенденции, оценивать перспективы учебной деятельности и последствия корректирующих воздействий без дополнительных измерений
Для решения этой проблемы необходимо разработать систему показателей качества обучения, осуществить экспериментальные и теоретические исследования с привлечением средств математического моделирования и статистического анализа объемных массивов данных сложной структуры, выявить систематические взаимосвязи с тем, чтобы их можно было в последующем применить к прогнозированию педагогических ситуаций и в выработке решений, управляющих педагогическим процессом. Выбранный метод построения диагностической системы качества обучения основывается на определении цели диагностики и принятия управленческих решений по выявленным показателям.
Предложенный авторами алгоритм внутривузовской системы диагностики качества обучения включает в себя:
1. Оценку показателей подготовки и проведения образовательного процесса;
2. Выбор и определение значений базовых показателей качества обучения на основе выбора базовых образцов процесса;
3. Определение значений единичных показателей качества обучения на основе данных испытаний измерений и при необходимости, расчетов;
4. Выбор метода оценки качества обучения исходя из анализа возможностей математики, логики, кибернетики с учетом применения информационной технологии;
5. Оценку достигнутого качества образовательной деятельности и принятие управленческого решения.
Система разработки индикаторов качества образования отличается от разработки аналогичных показателей в экономической или социальной сферах, поскольку не существует определения эффективности или неэффективности этого процесса, а имеется лишь группировка по показателям условий осуществления образовательной деятельности, показателям процесса, показателям результата достижения уровня образования, показателям трудоустройства. Для диагностики качества обучения необходимо оценивать все внутривузовские компоненты качества высшего образования, в том числе и качество деятельности преподавателя, поскольку именно он является создателем образовательной услуги.
Параметрами системы внутривузовского мониторинга в данном исследовании выбрана оценка успеваемости студентов, как отображение результата достижения конечной цели и показателей качества обучения, поскольку основная черта контроля знаний - отражение в нем всех закономерностей и характеристик образовательной деятельности педагога и студента. С одной стороны ? это единственный показатель обратной связи с обучаемыми, с другой стороны ? некий числовой показатель, принимающий одно из четырех значений (?отлично?, ?хорошо?, ?удовлетворительно?, ?неудовлетворительно?). Оценивание каждого студента в отдельности может дать характеристику только ему лично, но оценивание группы студентов, как некоторой системы, где каждому элементу предоставлялись одни и те же процедуры обучения и контроля способствует оценке самого процесса обучения, классификации преподавателя, отлаженности технологии обучения и контроля знаний в целом. При этом в роли индикативных показателей качества предложен комплекс дескриптивных статистических параметров (средний балл для группы, дисперсия, среднеквадратическое отклонение, коэффициенты асимметрии и эксцесса) отражающие тенденцию статистического распределения в результатах образовательной деятельности.
Квалиметрический подход, включающий в себя: измерения в числовой форме или в условных показателях; сочетание методов исследования, нацеленных на получение разносторонних сведений об объекте и отслеживание динамики изменения его показателей; подбор методов исследования, позволяющих проанализировать логику исследовательского процесса, его результаты, а также осуществить прогноз обеспечит переход от качественного, одностороннего описания явлений к объективным, точным методам проверки и обобщению результатов педагогической деятельности в вузе для моделирования, диагностики, прогнозирования, и в конечном итоге ? принятию адекватных управленческих решений, способных повысить уровень образовательного процесса в высшей школе.
Для исследования процесса образовательной деятельности в высшей школе, нахождения индикативных количественных показателей качества обучения, к которым возможно применить квалиметрические подходы, был произведен сбор экспериментальных данных ? степень обученности учащихся, основанная на статистике оценок, полученных учащимися при текущем или итоговом контроле. В качестве экспериментальных данных были использованы статистические данные не только государственных, но и коммерческих вузов и групп, в том числе, результаты контроля знаний по дисциплинам технических, инженерных, математических, педагогических, экономических и гуманитарных специальностей студентов вузов различного профиля: ТГГПУ, РГГУ, КГТУ им. Туполева (КАИ), КГТУ (КХТИ), КГЭУ, КГУ (3000 наборов ведомостей контроля).
Опыт показывает, что в результате мероприятий, систематически проводимых в рамках мониторинга знаний, в одном вузе, за несколько семестров, накапливаются огромные массивы данных, организация хранения и анализа которых, требует использования компьютерной техники и систем управления базами данных. При современных возможностях математического моделирования, развитие педагогических измерений неизбежно связано с разработкой автоматизированных систем, методов и математических моделей педагогических явлений для решения задач управления качеством педагогической системы.
Для унификации процедур хранения, сортировки экспериментальных данных в различных аспектах создана база данных, обеспечившая также возможность создания срезов по любым интересующим аспектам для дальнейшего анализа. Такие известные базы данных, как ?Деканат?, ?Электронный деканат?, ?Студент? и т.д., используются вузами уже достаточно давно и хорошо себя зарекомендовали. Аппарат стандартных баз данных используется в основном как средство хранения систематизированной информации, облегчающее и ускоряющее поиск.
Применительно к задачам мониторинга образования для того, чтобы осуществлять специфические математические операции, в том числе ? статистические оценки, разработана специально организованная структура и соответствующая система управления базой данных, которая выполнена в открытой, доступной для любых видоизменений форме в оболочке MS Excel с использованием языка программирования VBA. Составляющие базу данных результаты контроля знаний и алгоритмы расчета использованы для получения типовых характеристик, разработки математических моделей и исследования статистики результатов учебного процесса.
Для анализа поступающей в базу данных информации и полученных в результате автоматизированного статистического расчета показателей, ввиду большого разнообразия и изменчивости массивов данных, поступающих в процессе мониторинга, для компьютерной поддержки системы мониторинга представляется необходимым использование экспертной системы, концепция которой предлагается в данной работе.
Диагностическая экспертная система предполагает замену функций специалистов?экспертов автоматизированной системой, обученной на модели знаний предметной области и позволяющей осуществлять эвристический поиск решения. Основные компоненты экспертной системы ? база знаний, механизм логического вывода (решатель) и подсистема объяснений. Такие системы используются в областях, когда требуется на основании входных данных осуществить диагностику текущего состояния объекта и предложить возможные пути изменения этого состояния.
Технология экспертных систем недостаточно полно используется в информационной системе управления вузом, в разработанных информационных комплексах вуза экспертные системы выступают только как средство накопления и сбора данных в автоматизированном обучении, предлагая разнообразный информационный или контрольный материал учащемуся в соответствии с зафиксированным им уровнем знаний. При этом сам смысл инструментария искусственного интеллекта, как системы полностью заменяющей человека, объективизирующего и значительно уменьшающего трудозатраты средства, теряется, приобретенная в результате взаимодействия пользователя с системой информация носит формально-качественный характер, не дает квалиметрических оценок происходящему процессу образовательной деятельности, подсистема объяснений происходящей ситуации тоже представлена весьма слабо.
Для достижения объективной диагностики качества обучения авторами предлагается синтезировать в единую систему различные возможности управляющих информационных систем: ?Добыча данных? (Data Mining), системы искусственного интеллекта (artificial intelligence), экспертных систем (expert systems), цель которых ? программными средствами при решении сложных задач достичь результатов, не уступающих по качеству и эффективности решениям, получаемым экспертом.
Аппарат экспертных систем предлагается использовать во многих сферах управления вузом (рис.1), как средство, осуществляющее объективную диагностику текущего состояния объекта на основании параметров мониторинга и обеспечивающее основания для принятия адекватных управленческих решений для совершенствования образовательной деятельности.
Основной задачей системы диагностики качества обучения является непрерывная интерпретация данных в реальном масштабе времени, сигнализация о выходе тех или иных параметров за допустимые пределы и выдача возможных причин таких отклонений.
В процессе мониторинга данные, поступающие в компьютерную базу, обрабатываются электронным экспертом, рассчитываются статистические параметры и создается виртуальная модель учебного процесса. На заданном наборе уровней достоверности строятся коридоры ?нормальных? флуктуаций параметров явлений чтобы, сопоставляя модель с новыми поступающими результатами мониторинга, выявлять несоответствия, анализировать степень и причины расхождений между ожидаемыми и реальными результатами обучения. При этом обнаруживаются ситуации, отличающиеся по существу своими рассчитываемыми характеристиками от ситуаций типичных, и, если это необходимо, выдаются рекомендации для более подробного исследования специалистами-экспертами.
Рис. 1. Схема автоматизации системы управления качеством в вузе на основе экспертной системы
В качестве решающих правил ЭС использованы методы математической статистики, а подсистема объяснений включает в себя знания специалистов-экспертов. По мере того, как в базу вкладывается все больше фактического материала и знаний опытных специалистов, создаются предпосылки для более тонкой дифференциации педагогических явлений и повышения эффективности управления.
Схема системы диагностики качества обучения на основе ЭС представлена на рис.2.
Рис.2. Диагностика качества обучения на базе
автоматизированной экспертной системы
При таком подходе соответствующий программный продукт является гибким инструментом исследований учебного процесса, способным к самообучению в составе функционирующей системы мониторинга и позволяет автоматизировать и объективизировать диагностику качества обучения.
Во второй главе ? ?Разработка и реализация системы квалиметрических методов внутривузовской диагностики качества обучения? проведено дескриптивное исследование экспериментальных данных, включающее в себя расчеты статистических параметров и их анализ адаптированными к педагогическим измерениям методами математической статистики.
Набор баллов, отражающий распределение уровней знаний среди студентов, был помещен в диагностическую базу данных, составляющую ядро экспертной системы, где были вычислены несмещенные статистические параметры: средний балл для группы, дисперсия, среднеквадратическое отклонение, коэффициенты асимметрии и эксцесса. Расчет соответствующих характеристик сопровождался построением распределений баллов в виде гистограмм, отображающих процентные соотношения баллов (оценок различного достоинства) в группе. Определены интервалы значений, в которых сосредоточены основные доли записей данных, исследованы редко встречающиеся сочетания значений статистических параметров, найдены и проанализированы педагогические причины этих отклонений. При анализе значений дескриптивных статистик был использован метод моментов, построен график зависимости коэффициента эксцесса от коэффициента асимметрии (рис 3).
Рис.3. Результаты диагностики качества обучения
по методу моментов
Исследуя большие массивы результатов контроля знаний, можно заметить тенденцию группировки точек в области парабол, характерных для биномиального распределения, при этом выявлено, что если точка, то есть результат контроля по одной студенческой группе, значительно отклоняется от графика, то это свидетельствует об аномалиях, возникающих в учебном процессе.
Дополнительный качественный анализ нетипичных показателей наборов оценок образовательных достижений, показал, что, например, на занятиях по геометрии недостаточно внимания уделялось самостоятельному решению задач, поэтому в группе достигнут низкий уровень практических умений; экзамен по философии проходил в форме защит рефератов (рис.4).
а) Распределение баллов в студенческой группе, предмет ? геометрия
б) Распределение баллов в студенческой группе, предмет - философия
Рис. 4. Распределение баллов
для нетипичных результатов экзаменационного контроля в ТГГПУ
Для дополнительного статического анализа был использован и метод трех сигм, для которого те значения параметров, которые не укладываются в интервал 3?, принимаются условно за серьезные отклонения от стандартного распределения (нормы). Были рассчитаны соответствующие коридоры типичных значений, исследованы редко встречающиеся сочетания значений статистических параметров и проанализированы психолого-педагогические причины этих отклонений. Рассмотрение условий, при которых соответствующие экстремальные отклонения данных имели место, показало, что причинами отклонений действительно являются сочетания обстоятельств, достаточно нетипичных для учебного процесса и требующих детального анализа педагогической ситуации для корректировки процесса обучения или контроля. Определены верхняя и нижняя пределы, предложена методика расчета границ, выход значений показателей за указанные границы свидетельствует, по результатам настоящего исследования, о наличии дисбалансов и нарушении качества дидактического процесса (рис.5).
Рис.5. Результаты анализа качества обучения
по методу ?трех сигм?
Показано, что применение комплекса статистических параметров можно использовать как индикативные показатели качества, характеризующих отлаженность учебного процесса, а статистические методы их оценки могут быть решающими правилами в ЭС, по мере накопления данных уточняются коридоры значений, возникает дифференциация по дисциплинам.
Для оценки достоверности экспериментальных данных по успеваемости, им поставлена в соответствие теоретическая модель, которая включает в качестве основных механизмы, строящиеся на статистических законах распределения показателей уровней обучения в группах студентов. Критерий достоверности ?хи-квадрат? (Пирсона) подтвердил данные о преобладающем вкладе в распределения баллов студенческих групп биномиального и гипергеометрического статистического закона распределения. Имеет место количественное и качественное согласие осредненных расчетных и экспериментальных данных (рис.6). На оси абсцисс указаны границы диапазонов средних величин m, связанных с баллами b соотношением: b= 5?m, где 2 ? b ? 5 ? количественное выражение средней оценки в ведомости (левому краю диаграммы соответствуют высокие средние оценки).
Рис. 6. Сопоставление осредненных данных эксперимента и теоретической модели, основанной на гипергеометрическом распределении баллов в студенческих группах
Из рисунка видно, например, что в экзаменационных ведомостях, средний балл в которых выше 4,5 (область m < 0,5), количество оценок ?отлично? составляет в среднем около 70%, ?хорошо? ? 30%, ?удовлетворительно? и ?неудовлетворительно? ? единицы процентов.
Исследование устойчивости в распределениях оценок в группах студентов, показало, что разброс данных контроля в группе студентов не является случайным, изменение хотя бы одной оценки ведет к качественным изменениям статистических параметров, что свидетельствует о чувствительности уровней данных, регистрируемых мониторингом, к условиям проведения испытаний. Выявленные статистические механизмы, лежащие в основе данных контроля позволили адаптировать и использовать в компьютерном тестировании при оценивании знаний студентов представленную в ГОСТ схему последовательного плана выборочного контроля качества промышленных изделий массового производства.
В последовательном плане контроля знаний, который предлагается применить в оценивании студента по большому числу вопросов теста, размер частной выборки вопросов заранее не устанавливается. При этом ориентировочная оценка качества считается известной уже после малого количества вопросов, с каждым новым вопросом (испытанием) оценка уточняется. Решение о прекращении тестирования принимается исходя из заданных минимальных рисков преподавателя ? выставить завышенную оценку, и студента - получить заниженную оценку. Применение программного блока обеспечило оценки достоверности наряду с существенным сокращением трудоемкости текущего контроля знаний в схемах мониторинга, требующих регистрации больших массивов данных оценивания знаний.
Результаты исследования подтвердили необходимость и целесообразность разработки внутривузовской диагностики качества обучения на основе автоматизированной экспертной системы, внедрение которой дало возможность объективизировать и оптимизировать оценку качества образовательной деятельности преподавателей и студентов, и как следствие, на основании заключения экспертной системы, внести коррективы в учебный процесс вуза для повышения качества профессиональной подготовки студентов. Таким образом, гипотеза подтвердилась и задачи решены.
Основные результаты, полученные в процессе исследования, изложены в заключении в виде следующихвыводов:
Результаты диссертационного исследования внедрены в Казанском государственном техническом университете им. А.Н. Туполева и в Казанском государственном энергетическом университете.
Дальнейшее исследование проблемы диагностики качества обучения в вузе может быть продолжено в направлении разработки квалиметрических показателей устанавливающих взаимосвязь между качеством абитуриентов вуза, студентов, преподавательского состава, выпускников и трудоустройством на основании статистических данных.