Все, что надо знать об изменениях в выпускных экзаменах - ПОДРОБНОСТИ

Интервью 1news.az с начальником отдела статистических исследований, научного проектирования и инноваций Государственного экзаменационного центра (ГЭЦ) Олегом Евгеньевичем Шелагиновым.

- Выпускные экзамены в 9-м классе в этом году были проведены по новым правилам. Почему были введены изменения, что было взято за основу?

- Как известно, коренным изменениям в системе образования республики дала толчок «Программа реформ в сфере образования Азербайджанской Республики», утвержденная 15 июня 1999 года распоряжением Президента Гейдара Алиева, по своей сути являющаяся программой перехода от «школы памяти» к «школе мышления». В рамках этой программы реформ были разработаны новые образовательные программы (курикулумы), и в 2006 году был утвержден Кабинетом Министров как юридический документ первый основной документ в этом направлении - Национальный Курикулум, а в 2010 году его усовершенствованная версия. В этих документах, помимо прививания знаний ученикам в процессе обучения, предусматривается формирование у них определенных способностей и навыков. И как важный результат проводимых реформ в образовательной системе, новые образовательные программы (курикулумы) начали применяться в I классах всех общеобразовательных учреждений республики начиная с 2008 года. Обучающиеся по новой системе первые ученики в этом,  2017-м, году завершили обязательный образовательный уровень (IX класс). Разумеется, в соответствии с требованиями юридических документов системы курикулум, по которой обучаются эти ученики, на выпускных экзаменах наряду с проверкой их знаний необходима была и проверка их способностей и навыков, и этот процесс требовал внедрения нового подхода в организации оценивания.

- Были ли предварительно выполнены какие-нибудь работы для подготовки новой модели экзамена? Что является основой именно такого вида экзаменов? Насколько школьники, ученики были проинформированы об инновациях?

- Разумеется, с этой целью ГКПС согласно соответствующему Указу Президента страны (проведение мониторинговых экзаменов было включено в обязанности ГКПС поправками к его положению в 2012 г. - ред.) начиная с 2013 года (первые ученики, обучающиеся по новой образовательной системе, учились тогда в V классе - ред.) начала проводить мониторинговые экзамены в общеобразовательных учреждениях республики. Таким образом, для репрезентативной выборки учащихся республики в различных школах в 2013 году в V, в 2014 году в V и VI, в 2015 году в VI и VII, в 2016 году в VII и VIII классах были проведены мониторинговые экзамены по родному языку и математике (выпускные экзамены для учеников, окончивших обязательный уровень образования, также проводятся по этим предметам). На этих экзаменах для определения уровня языковых и математических способностей учеников республики, в целях разработки более точного и надежного механизма оценивания навыков им были представлены задания, требующие письменного ответа (в том числе и эссе). В подготовке новой модели экзамена важную роль играет именно научно-статистический анализ результатов мониторинговых экзаменов. В основе того, как можно проверить каждый требуемый курикулумом стандарт, какие инструменты будут использоваться для измерения навыков и способностей, определения количества и уровня сложности заданий, стоит основательный анализ результатов мониторинговых экзаменов. Следует отметить, что научный материал о результатах этих экзаменов опубликован как в печатном виде, так и в электронной форме размещен на веб-сайте Центра в 2015 году. Лица, интересующиеся этими вопросами, в том числе учителя и эксперты могут бесплатно скачать и использовать этот материал.

В 2016 году, после утверждения новых правил выпускного экзамена на уровне IX класса, начиная с октября в разных городах республики (Баку, Нахчыван, Гянджа, Шеки, Ленкяран, Гейчай, Агджабеди, Ширван и Хачмаз) для педагогической общественности были проведены зональные конференции с участием специалистов Государственного экзаменационного центра и Министерства образования, а также экспертов по экзаменационным предметам. На этих встречах, во-первых, предоставлялась подробная информация о новых правилах экзамена, а, во-вторых, проводилось обсуждение экспертами-предметниками с местными учителями содержания нового экзамена и подготовленной для общественности модели теста. В зональных конференциях наряду с преподавателями города, где проходила встреча, участвовали и преподаватели из близлежащих районов. Таким образом, можно сказать, что эти встречи охватили практически всю республику. С другой стороны, новые экзаменационные правила, программы по экзаменационным предметам, проверяемые на экзамене подстандарты (навыки), новые модели заданий, критерии оценивания, образцы листов ответов были опубликованы в специальном выпуске журнала «Абитуриент» и размещены на веб-сайте Центра. Добавлю, что большинство окончивших IX класс в этом году учеников участвовало в вышеупомянутых мониторинговых экзаменах в разные годы и уже ознакомилось с новыми моделями заданий и во время практического экзаменационного процесса. В таблице представлена информация о количестве учеников IX класса этого года, ранее принимавших участие в мониторинговых экзаменах.

- Можете ли Вы подробно рассказать, что именно изменилось на выпускных экзаменах, какие этапы должны были пройти школьники?

- Основное изменение в плане содержания экзамена – это проверка, наряду со знаниями, также и способностей учеников. Так, как уже упоминалось выше, в соответствии с требованиями новых учебных программ (курикулума) на выпускном экзамене девятиклассников этого года проверялись способности учеников, связанные с работой над текстом, определением основной идеи, причинно-следственных связей событий, изложенных в тексте, объяснением значений слов в соответствии с контекстом текста, геометрическим построением, решением различных жизненных ситуаций при помощи построения математической модели, составления уравнения. Для проверки перечисленных навыков в новой экзаменационной модели ученики сдавали экзамены по родному языку и математике в 2 этапа. В марте и апреле зонально были проведены экзамены первого этапа, а в июне – экзамены второго этапа. На первом этапе для проверки способностей учеников были использованы задания, требующие короткого или развернутого письменного ответа, а также задания закрытого типа (с выбором правильного ответа), на втором этапе – только закрытые тестовые задания. На первом этапе ученикам были представлены составленные по материалу двух предложенных текстов 10 открытых (требующих письменного ответа) и 10 закрытых тестовых заданий по родному языку, 10 открытых заданий (требующих развернутого письменного ответа) по математике. На втором этапе было представлено 30 закрытых заданий по каждому предмету. На выполнение этих заданий предоставлялось 2 часа на первом этапе, 1 час и 30 минут – на втором. Следует отметить, что ученики, которые хотели получить аттестат с отличием, должны были на первом этапе написать эссе (сочинение) в течение дополнительных 30 минут, выбрав одну из 3-х предложенных тем.

- В большинстве случаев нововведения трудно воспринимаются учащимися, поэтому хотели бы узнать, как в этом году выпускники 9-го класса смогли сдать экзамен? Были ли трудности или жалобы? Есть ли статистика, какое количество школьников не смогли сдать экзамен по новым правилам?

- Так как способность – более высокая компетенция, чем знание, естественно, что результаты учеников на задания, требующие письменного ответа, ниже результатов по закрытым тестовым заданиям. Потому что, когда ученик демонстрирует свои навыки, он должен мобилизовать свои знания, правильно определить, какие из них нужно применить в соответствующий момент, построить модель событий, уметь подойти к решению задания как комплексно, так и детально.

Важным этапом в любом экзаменационном процессе является проведение  апелляции после объявления результатов. Как и после всех других экзаменов, после объявления результатов письменного экзамена в Государственном экзаменационном центре была организована Апелляционная комиссия по его результатам. Как известно, при объявлении результатов первого этапа выпускного экзамена по IX классам, в электронной справке по результатам каждого ученика, наряду с его итоговыми баллами, были размещены баллы, полученные за каждое задание, а также отсканированные изображения письменных работ по предметам и критерии оценивания по каждому заданию, требующему письменного ответа. Такое представление результатов ученикам показывает как справедливость и прозрачность процесса оценивания, так и позволяет им определить, насколько правильна полученная оценка, сравнивая свой письменный ответ с критериями оценивания. Отмечу, что в Апелляционную комиссию, организованную по результатам первого этапа выпускных экзаменов, подали заявку на пересмотр оценок по 1419 заданиям (0,06% всех заданий) 234 ученика (0,20% всех экзаменующихся). Из них у 91 ученика (0,08% всех экзаменующихся) в общей сложности по 124 заданиям (0,005% всех заданий) оценки были изменены, по остальным случаям ученикам были разъяснены ошибки, допущенные ими при выполнении письменных работ.

В настоящее время ограничения на итоговый результат выпускного экзамена для получения аттестата не устанавливались. Баллы, набранные каждым учеником, участвующим на экзамене, по предметам фиксировались в его аттестате в отдельных графах. Применялось только ограничение по баллам для получения аттестата с отличием, которое составляло 75 баллов по каждому предмету в сумме по результатам двух этапов, и минимум 7 баллов по эссе. Отмечу, что на первом этапе выпускного экзамена максимальный балл (30 баллов) набрали 2 ученика по родному языку, и 18 учеников - по математике. Но если сравнить средние результаты по предметам, видно, что результаты учеников по родному языку лучше, чем их результаты по математике. В данный момент идет работа по детальному научно-статистическому анализу всех экзаменов, и его результаты, как и в предыдущие годы, будут представлены в 12-м номере журнала «Абитуриент» за 2017 год.

- Как была устранена субъективность при проверке письменных работ? Как проходит процесс проверки, кто и как проверяет, как подготавливаются маркеры?

- Процесс проверки письменных работ проводится в специально подготовленных для этой цели и отвечающих требованиям безопасности залах экспертизы (проверки) Государственного экзаменационного центра, за компьютерами и в закрытых условиях. Программное обеспечение для проверки письменных работ подготовлено специалистами Государственного экзаменационного центра. К процессу проверки привлекаются преподаватели из общеобразовательных учреждений столицы и регионов республики, специалисты и магистры по соответствующим специальностям высших учебных заведений. Cначала они ознакамливаются с критериями оценивания и участвуют в тренингах (в процессе калибровки), и только те, кто успешно проходит этап тренинга, допускаются к  процессу проверки письменных работ в качестве маркера на договорной основе. Одним из главных моментов, на который обращается большое внимание при выборе и подготовке маркеров, является устранение или сведение к минимуму субъективности их оценок. Одним из видов субъективности маркера при оценивании является его необъективное отношение к работе автора письменной работы, с которым он знаком лично или опосредованно, а такие случаи полностью устраняются с помощью внедренного программного обеспечения. Так, наряду с тем, что каждая письменная работа оценивается двумя маркерами (если оценки двух маркеров не совпадают, то эта письменная работа посредством программы посылается на проверку третьему маркеру), во время проверки на мониторе маркера отсутствует какая-либо информация об авторе письменной работы (имя, фамилия, отчество, код ученика, адрес и т.д.), а отображается только фрагмент письменной работы с ответом на одно задание, критерий для оценки этого задания и соответствующее поле для ввода оценки. Отмечу, что до начала процесса проверки, при сканировании (получении электронных изображений) письменных работ, производится программное перекодирование, т.е. каждой письменной работе назначается уникальный условный код, и в таком виде они передаются для проведения проверки, а сопоставление условных кодов реальным кодам учеников происходит только при объявлении результатов общественности.

Другим видом субъективности при оценивании является различие в оценках, обусловленное индивидуальными педагогическими качествами, собственным мировоззрением маркера, его отношением к процессу, и даже настроением в момент проверки работы. Хотя полностью устранить субъективность такого рода очень сложно, но ее можно снизить до минимума за счет организации и методологии проведения проверки. Для этого механизм оценивания предусматривает подготовку отдельного критерия оценивания для каждого задания с учетом его особенностей, адаптацию лиц, осуществляющих проверку письменных работ, к процессу проверки с помощью проведения практических тренингов перед началом этого процесса, последовательную проверку всех письменных работ в рамках одного задания до перехода к следующему, что позволяет снизить до минимума субъективность, вызванную индивидуальными качествами маркеров.

- Если я не ошибаюсь, в этом году обработка результатов заняла около двух месяцев. Довольны ли вы количеством маркеров, которые проверяют письменные задания? Есть ли у вас какие-либо планы по ускорению этого процесса?

- Проверка открытых задач требует от нас некоторое время, и это естественно. Следует учитывать, что каждая задача проверяется, по меньшей мере, двумя разными маркерами.  Также осуществляется предварительная экспертиза для подготовки материалов калибровки (тренингов) маркеров (т.е. наборов работ с эталонными оценками по ним), ведутся работы по уточнению критериев оценивания на основании подвыборки письменных работ, а каждый из этих процессов, проводимый для каждого задания в отдельности, требует определенное количество времени, не зависящее от общего числа маркеров. Однако, на последующих этапах, естественно, что увеличение  количества маркеров позволяет быстрее завершить процесс оценивания. В Центре сформирована база данных маркеров по определенным предметам и эта база регулярно уточняется и пополняется.

На сегодняшний день 679 из участвовавших в тренингах 1717 специалистов по азербайджанскому языку, 530 из 1417 специалистов по математике и 28 из 98 специалистов по русскому языку успешно прошли этап обучения (калибровки) и информация о них была включена в базу данных маркеров. Кроме того, Государственный экзаменационный центр продолжает работу по привлечению и обучению новых специалистов-предметников. Таким образом, начиная с октября ГЭЦ организует подготовительные курсы, о чем уже было сделано соответствующее объявление. На этих курсах предусматривается подготовка экспертов и маркеров в сферах разработки тестовых заданий нового типа, применение которых планируется на выпускных и вступительных экзаменах, критериев оценивания для них, а также проведения оценивания в соответствии с заданными критериями. Подготовительные курсы будут организованы как в городе Баку, так и в городах, где расположены региональные подразделения Центра. В этих курсах могут принимать участие обладающие знаниями о курикулуме учителя, методисты, студенты последних курсов высших учебных заведений по соответствующим специальностям бакалавриата и магистранты. Информация об участниках, успешно завершивших курс, будет включена в базу данных Центра и предусматривается организация сотрудничества с ними в качестве экспертов или маркеров на договорной основе. Следует отметить, что эти курсы, обучающие методике подготовки и использованию инструментов оценивания нового типа, будут доступны и для специалистов по другим учебным дисциплинам (например, географии, физике, химии, биологии и т.д.), что может быть полезным в повседневной работе каждого учителя.

- Как оценивался и кем оплачивался труд маркеров? 

- Как вы знаете, Государственный экзаменационный центр является юридическим лицом публичного права. В настоящее время деятельность центра обеспечивается не за счет государственного бюджета, а в рамках собственных возможностей. Средства, полученные на экзаменах, расходуются на подготовку к ним, организацию экзаменов, обработку материалов и другие работы. Конечно, в том числе и на оплату труда маркеров, осуществляющих проверку письменных работ. С этой целью между Государственным экзаменационным центром и каждым маркером-учителем, участвующим в проверке письменных работ, подписывается договор, и они получают зарплату в соответствии с объемом проделанной работы. Так, в этом году в проверке письменных работ приняли участие около 500 специалистов, и в сумме им было выплачено около 400 тысяч манатов. Это означает, что в среднем для каждого маркера заработная плата составила свыше 700 манатов. Естественно, что есть учителя, которые получили больше этой суммы, а некоторые – меньше. Это зависит от производительности каждого маркера, качества выполняемой им работы, и общего затраченного им времени.

- Каким способом школьники могут определить свои знания до экзамена? Что вы можете сообщить о ресурсе imtahan.az?

- Как мы уже отмечали, после утверждения правил в журнале «Абитуриент», изданном в конце прошлого года, были представлены модельные задания, критерии оценивания и образцы «Листа ответов». «Листы ответов» были подготовлены в соответствии с заданными модельными заданиями, напечатанными в журнале, что позволяло каждому ученику в соответствии с инструкциями выполнить модельные задания на «Листе ответов», а учителям осуществить их проверку и оценить письменную работу в соответствии с приведенными критериями оценивания. Кроме того, для учеников, проходивших подготовку к выпускным экзаменам, на сайте imtahan.az были организованы испытательные онлайн-экзамены. Эти испытательные экзамены, начавшиеся в декабре прошлого года, продолжались до момента завершения первого этапа экзаменов. Проведение подобных экзаменов предусмотрено также и в следующем году.

Следует отметить, что примеры тестовых заданий для подготовки к сдаче выпускного экзамена в соответствии с новыми учебными программами (курикулами) по азербайджанскому языку и математике опубликованы в специальных выпусках журнала «Абитуриент» - сборниках тестов для V-IX классов по этим предметам.

- Можно ли сказать, что эти нововведения – азербайджанский бренд или был использован опыт других стран? Будет ли проведена презентация этой новой азербайджанской модели?

- Конечно же, при разработке данной системы оценивания был исследован и изучен международный опыт, достижения различных стран в этой сфере. Полученная в результате анализа информация была очень полезна при проектировании системы. Но нужно обязательно отметить, что разработанная система отличается от всех аналогичных систем в области оценки письменных работ в других странах. В ней реализованы дополнительные меры по повышению эффективности проверки, соблюдению безопасности процесса. Специальное программное обеспечение поддержки всех этапов технологического цикла, начиная от сканирования и кодировки письменных работ, деления на отдельные задания, заканчивая процессами подготовки материалов калибровки, проведения оценивания и публикации результатов, разработано специалистами Государственного экзаменационного центра. Кроме того, методология процесса была разработана в Центре на основании анализа опыта проведения и результатов мониторинговых экзаменов. Доклад об этой системе, подготовленный Государственным экзаменационным центром, был принят для презентации на 43-й ежегодной конференции Международной ассоциации оценки образования (IAEA), которая пройдет в октябре этого года в Батуми (Грузия), где предусмотрено выступление нескольких сотрудников Центра. Кроме того, новая система оценивания письменных работ, разработанная в Центре, и результаты ее внедрения будут обсуждаться с экспертами из Европейского союза в рамках инструмента технической помощи и информационного обмена (TAIEX), одного из инструментов институционального строительства Европейского союза (ЕС).

- Какие изменения ожидаются на выпускных экзаменах в 11-м классе? 

- В следующем, 2018-м, году на выпускных экзаменах на уровне Xl класса никаких изменений не ожидается. Но на выпускном экзамене на уровне Xl класса 2019 года будут введены новшества, которые являются логическим продолжением изменений выпускных экзаменов на уровне lX класса, проведенных в этом году. В настоящее время, ведущиеся по этому поводу обсуждения находятся на грани завершения и в ближайшие дни результаты этих обсуждений будут официально представлены общественности.

Эльшан Рустамов, Г.Р.