КАК ОЦЕНИТЬ КАЧЕСТВО ОБРАЗОВАНИЯ

Для многих пока остаётся неясным даже само понятие: в чём выражается это качество? Как его измерять? Для объяснений мы пригласили , заместителя директора Национального института качества образования, члена рабочей группы по разработке ФГОС ДО и ПООП ДО — Владимира Константиновича Загвоздкина. Он объяснил, почему не лишним будет ориентироваться на финский опыт и как российским школам вернуть себе мировое лидерство. Действительно ли для этого нужны инновации?

Как оценить качество образования? Нет, мы сейчас не только и не столько о системе школьных и вузовских оценок, или о том, как оценит знания выпускника Центр оценки качества образования. Качество образования – это нечто большее, чем оценки в дневнике или зачетке просто потому, что мы учимся с определенной целью, а не просто так.

В большей степени это понимают те, кто учится для себя, а не для преподавателя, и продолжает учиться всю жизнь. Специально для вас – наши программы «Лучшие техники самообразования» «Критическое мышление». И в большей степени для вас, нежели для тех, кто относится к учебе формально, наша сегодняшняя тема: оценка качества образования и метрики качества образования.

8 апреля в ГУ-ВШЭ состоялся круглый стол «Оценка качества образования в Российской Федерации» в рамках традиционного научного семинара под руководством Я. Кузьминова, Б. Рудника и И. Фрумина «Актуальные исследования и разработки в области образования», на котором выступил вице-президент Российской академии образования Виктор Болотов.

При оценке качества образования, сказал Виктор Болотов, представляя разработанный в Рособрнадзоре проект Общероссийской системы качества образования (ОСКО), предлагается выделить три момента: это оценка индивидуальных образовательных достижений обучающихся, оценка эффективности деятельности образовательного учреждения и оценка эффективности деятельности всей образовательной системы страны.

При этом г-н Болотов выступил против бытующей практики автоматически оценивать эффективность деятельности муниципальных и региональных образовательных систем по результатам Единого государственного экзамена (ЕГЭ). Такой подход, по его словам, «абсолютно неверен, ибо нельзя «автоматом» использовать в качестве средства определения квалификации учителя или образовательного учреждения только оценку индивидуальных достижений».

В свое время, напомнил докладчик, проводилась попытка выяснить, где ученики лучше знают русский язык — в Карачаево-Черкесии, или в Санкт-Петербурге. При этом в городе на Неве экзамен сдавали все учащиеся школ и профучилищ, а в Карачаево-Черкесии — только сорок человек. И средний балл в Карачаево-Черкесской республике оказался выше. Но в результате-то «вышло бессмысленное и некорректное сравнение».

Сейчас начата работа по проведению проверок, касающихся стартовой готовности к обучению в школе (первый класс), готовности к обучению в основной школе (четвертый класс), причем, это не экзамены по русском языку и математике. » С одной стороны, это тестирование на грамотность, на готовность учащихся к обучению в основной школе». Но диагностика «является не самоцелью», а сигналом для родителей и учителей для определения верного выбора относительно того, «что ребенок умеет, и чего не умеет».

При оценке деятельности школ особое внимание будет уделяться вопросам, остро волнующим родителей учеников — вопросам специализации, охраны здоровья, питания. » Есть намерение аттестационные материалы, разрабатываемые на федеральном уровне, использовать при аккредитации школ — с тем, чтобы можно было сравнивать результаты и высказывать гипотезы относительно качества образования в данном субъекте Федерации». 20% школ, по словам В. Болотова, ежегодно проходят процедуры аккредитации, «и важно, чтобы в эти 20% попадали школы разных типов».

Кроме того, при оценке деятельности региональных и муниципальных образовательных систем, «нужен социальный охват, для сравнения ситуации в регионах следует проводить мониторинги по отдельным предметам и компетенции в одной школе». При этом нет необходимости брать все школы, а осуществлять эти мониторинговые исследования по презентативной выборке. Такие проекты предполагается реализовать уже в текущем году в рамках Федеральной целевой программы развития российского образования.

Но образовательные учреждения, имея на руках результаты независимых оценок, стали проектировать свое развитие. » Для нас принципиально важно, что школа, которая проигрывает соседям, начинает при переходе к нормативно-подушевой системе финансирования, конкурировать за учеников. А родители, о чем свидетельствуют результаты опросов, часто выбирают школу по принципу: «Как у вас сдали ЕГЭ по математике или по русскому языку?». То есть в России начинается выбор старших школ по параметрам ЕГЭ. И «школы начинают проектировать улучшение ЕГЭ, что включает в себя приобретение новых учебных материалов, повышение квалификации учителей и т.д.». В данном направлении, по мнению В. Болотова, надо заниматься консалтингом и выявлять удачные примеры проектирования в целях развития школы.

Говоря об оценке индивидуальных достижений выпускников в контексте качества профессионального образования, г-н Болотов сообщил, что достигнуто соглашение с Российским союзом промышленников и предпринимателей (РСПП) о создании системы по оценке профессиональной компетенции выпускников, которая должна производиться отраслевыми союзами РСПП. » Все большее количество отраслей включается в подготовку профессиональных стандартов и создание системы негосударственной оценки индивидуальных достижений выпускников», — отметил В. Болотов.

Начала реально развиваться общественно-профессиональная аккредитация. Одним из наглядных примеров этого развития является деятельность организации «Рейтинг образовательных ресурсов» («Рейтобр»).

В целом сделана попытка «сформировать некую дорожную карту, с помощью которой можно получать набор задач, программ и действий, которые необходимо реализовать, чтобы успешно решить проблему создания Общероссийской системы оценки качества образования», — подчеркнул В. Болотов.

Свое мнение об измерении качества образования высказал ректор ГУ-ВШЭ Ярослав Кузьминов.

Логика этого измерения, отметил, в частности, он, включает две модели. Первая модель — это «модель планки», или «установления соответствия», которую можно разделить «на своего рода четырехчленную матрицу», где с одной стороны находится то, что измеряется, или результаты образования, или условия образования. И спор о том, что лучше измерять, и что не следует измерять, это «спор из области демагогии», т.к. невозможно только через результат измерить потенциальное качество образовательного процесса. » Учитель, подготовивший блестящий состав учеников, может уйти на будущий год из школы, и если мы будем условно ориентироваться только на результат, а не рассмотрим нынешний кадровый состав этой школы, то мы совершим неправильное измерение», — заметил ректор Вышки. Вторая часть этой матрицы — это нормативные требования, апофеозом которых являются нормативные стандарты».

При усложнении системы образования, «что происходит на наших глазах», люди, вовлеченные в образовательный процесс, начинают придавать все большее значение «измерению результатов, а не условий образования, и измерению ожиданий, а не стандартов или зафиксированных норм».

Говоря о ЕГЭ, «который поставлен в центр дискуссий», Я. Кузьминов отметил, что ЕГЭ является оценкой того, насколько соответствует результат образования заранее сформированным стандартам и нормативным требованиям, а не ожиданиям. » Это — первая форма независимой оценки качества в функциональном масштабе — и эта попытка, что важно видеть, не исчерпывающа, набор возможных измерений очень широк».

Наряду с такого рода моделью измерения, существует и другая модель — так называемая открытая оценка, или оценка достижений. » Классическим случаем измерения достижений является число лауреатов Нобелевских премий на один университет, — напомнил ректор Вышки. — Есть некая конвенция, что Нобелевский лауреат — это бесспорный ученый, который концентрирует вокруг себя других ученых, и что можно с большой достоверностью измерять исследовательский потенциал университета числом его Нобелевских лауреатов».

При таком положении и государство, и клиенты образования, прежде всего, семьи, и образовательное профессиональное сообщество «должны научиться работать в условиях многофакторного и многосубъектного измерения качества образования».

А что нужно критикам ЕГЭ, чтобы их потребности были реализованы? В первую очередь, «это модификация взаимного поиска «ученик — учитель», которая составляет суть всех измерений образования». Университет ищет абитуриента, а абитуриент ищет университет. Семья ищет школу, а школа ищет хороших учеников. » Вот этот момент взаимного выбора и есть главный момент, для которого и строится система измерений».

Николай Вуколов, Новостная служба портала ГУ-ВШЭ Фотографии Виктории Силаевой

Ссылки по теме:

Внешние оценочные процедуры качества образовательных программ

Аккредитация — это процесс признания качества образования соответствующим нормам и стандартам качества аккредитующей организации. Если эти нормы задаются государством (через федеральные государственные образовательные стандарты), то аккредитация называется государственной. Большинство образовательных программ НИУ ВШЭ получили государственную аккредитацию на 6 лет в 2020 году. С 1 марта 2022 года для основных образовательных программ, имеющих аккредитацию на указанную дату, свидетельство о государственной аккредитации образовательной деятельности действует бессрочно.

Узнать, есть ли у конкретной образовательной программы государственная, международная, общественная или профессионально-общественная аккредитация, можно на сайте этой программы:

Общественная аккредитация

Под общественной аккредитацией понимается признание уровня деятельности организации, осуществляющей образовательную деятельность, соответствующим критериям и требованиям российских, иностранных и международных организаций. Порядок проведения общественной аккредитации, формы и методы оценки при ее проведении, а также права, предоставляемые аккредитованной организации, осуществляющей образовательную деятельность, устанавливаются общественной организацией, которая проводит общественную аккредитацию. ( Пункт 4, статья 96 Федерального закона № 273)

Профессионально-общественная аккредитация

Профессионально-общественная аккредитация основных профессиональных образовательных программ, основных программ профессионального обучения и (или) дополнительных профессиональных программ представляет собой признание качества и уровня подготовки выпускников, освоивших такие образовательные программы в конкретной организации, осуществляющей образовательную деятельность, отвечающими требованиям профессиональных стандартов, требованиям рынка труда к специалистам, рабочим и служащим соответствующего профиля. ( Пункт 4, статья 96 Федерального закона № 273)

Международная аккредитация

Международная аккредитация — это признание авторитетной международной организацией соответствия высшего учебного заведения, набора его программ или отдельной образовательной программы определенным международным стандартам качества образования.

Система оценки качества образования

Для начала скажем, что система оценки качества образования в традиционных учебных заведениях, таких как школа, вуз, колледж отличается от того, как идет мониторинг качества образования в структурах и заведениях дополнительного образования.

К дополнительному образованию можно отнести всевозможные курсы повышения квалификации, школы полезных профессий, частные творческие студии, корпоративное обучение, индивидуальное обучение различным знаниям и навыкам, начиная от йоги и восточных танцев и заканчивая психологией, интернет-маркетингом, парикмахерским искусством и прочими востребованными направлениями.

Критерии эффективности работы вузов в РФ:

Отдельная тема – рейтинг качества образования в мире и рейтинг вузов России по качеству образования. Сам по себе факт «попадания» в общероссийский и тем более мировой рейтинг на значимые позиции для любого вуза считается почетным, повышающим престиж учебного заведения среди абитуриентов и их родителей. К слову, мировой рейтинг качества образования-2022, а также рейтинги по вузам Европы и США можно посмотреть здесь.

Ранее мы уже начали говорить, что любое базовое образование – это работа на перспективу, развитие кругозора и умения учиться, самостоятельно добывая необходимые знания. Эти параметры в определенной степени свойственны и краткосрочному обучению с той разницей, что в этом случае идет ориентировка на ближнюю перспективу и развитие конкретных навыков, нужных «здесь и сейчас».

Но, конечно же, даже самое краткосрочное обучение – это тоже всегда новые знания, которые могут пригодиться как в ближней, так и в отдаленной перспективе. И, конечно, развитие навыков самостоятельной работы, потому что даже в самую насыщенную лекцию невозможно вместить все знания обо всем, что может потребоваться специалисту того или иного профиля.

Для того, чтобы стать востребованным в своей профессии, любому специалисту придется учиться самостоятельно и вникать в нюансы, которые попросту невозможно «охватить» на курсах или в рамках программы онлайн-школы. Просто потому, что невозможно предвидеть во всех деталях, что именно потребуется выпускнику на рабочем месте в первую очередь.

Даже в такой сугубо прикладной деятельности, как парикмахерское искусство, может открыться масса нюансов, как только парикмахер приступит к самостоятельной практике. В зависимости от ряда факторов, включая микрорайон, где расположена парикмахерская, среди клиентов могут превалировать «золотая молодежь» и обеспеченные домохозяйки, желающие успеть за всеми трендами стрижки и покраски волос, либо же представители бизнес-кругов, силовых структур и местной администрации, для которых важно выглядеть респектабельно и «вписываться» в строгий дресс-код.

Что можно сделать в области качества образования на курсах, семинарах, тренингах, онлайн-школах и везде, где людям дают необходимые дополнительные знания или новую профессию на коммерческой основе? С государственными учебными заведениями мы с вами уже разобрались, поэтому теперь посмотрим, как метрики применяются в дополнительном и коммерческом образовании.

Что означает качество образования?

Как видно из определения, оно рассчитано преимущественно на людей взрослых и способных учиться осознанно, потому что у дошколят и младших школьников вряд ли есть какие-то свои собственные образовательные потребности и цели обучения, кроме тех, к которым их ведут педагоги и родители.

Тем не менее, определенные и вполне конкретные цели есть даже у такого простого базового обучения, как изучение букв и цифр, геометрических фигур и названий животных, оттенков разных цветов и различных природных явлений. Все это имеет своей целью постепенно адаптировать детей к жизни в обществе и освоению новых более сложных знаний.

Разница между учебой ребенка и взрослого в том, что для детей цели ставят педагоги, а взрослый человек уже в состоянии поставить эти цели сам. Впрочем, многие вполне повзрослевшие юноши и девушки умудряются до конца 5-го курса вуза так и не понять, зачем им знать так много скучных и неинтересных формул, вникать в теорию электрических цепей или нюансы античной историографии. Особенно, если они уже нацелились на карьеру обеспеченной домохозяйки либо создание собственного бизнеса, где диплом нужен исключительно для престижа, и то не везде.

Тут можно сказать, что не стоит подходить к образованию совсем уж утилитарно и мыслить с позиций монетизации каждого полученного байта информации. Высшее образование дает кругозор, учит учиться, формирует системное мышление, которое позволит потом освоить многие вещи в жизни, в которых возникнет необходимость.

Такой системный подход выручит во многих ситуациях, будь то стратегическое планирование в бизнесе или воспитание непослушных и капризных детей. Но вернемся собственно к нашей теме и остановимся на варианте, что качество образования – это:

Тут тоже можно найти множество нюансов, таких как отставание государственных учебных программ от актуальных потребностей общества, промышленности, науки, культуры, когда очень часто качество образования вузов России оставляет желать лучшего. К тому же у «заказчика» обучения, будь то государство или частная корпорация, не всегда есть четкое видение, чему именно нужно учить сегодня, чтобы человек мог успешно работать завтра.

И даже когда такое понимание существует по ситуации на сегодняшний день, совсем не факт, что полученные знания будут востребованы спустя короткое время. Как в таких неоднозначных и быстро меняющихся условиях измерять качество образования? Давайте разбираться.

Опасности, подстерегающие нацпроект «Образование»

Одна из главных целей национального проекта «Образование», намеченного на 2019–2024 гг. — вхождение Российской Федерации в ТОП-10 стран по качеству общего образования. Сегодня признанными лидерами по результатам международных исследований считаются Финляндия, Канада, Германия, Сингапур — их опыт ставится в пример, их методики претендуют на звание эталонных.

Однако почему Россия вообще должна ориентироваться на зарубежные стандарты и сравнивать свой опыт с чужими методиками? Ответ на данный вопрос начнём с интересного факта. Лидирующая финская система, основы которой были заложены в 60–70-х годах прошлого века, по многим признакам перекочевала из традиционной российской системы образования. А сегодня уже мы подсматриваем у финнов.

Что пошло не так? Нужно обратить внимание на гонку за инновациями. Та же цифровизация бесспорно является вызовом времени, однако любые нововведения должны быть тщательно продуманы. Для примера возьмём намерение обеспечить каждого учащегося личным ноутбуком. Кажется очевидным, что в этом случае будет одна только польза и что цифровизация пойдёт гораздо эффективнее. Но учёные не согласны: на деле величина эффекта оказывается весьма скромной. В своём исследовании «Ручка сильнее клавиатуры» психологи Пэм А. Миллер и Дэниел Оппенхаймер и вовсе продемонстрировали, что учащиеся лучше запоминают услышанное, фиксируя это карандашом на бумаге, а не печатая на компьютере. Аналогичные исследования были проведены в Высшей школе экономики, и они тоже опровергли одну из главных идей цифровизации.

Что нужно для эффективного реформирования

Разберём второй пункт. Нацпроект «Образование», как известно, включает 10 федеральных проектов: «Современная школа», «Успех каждого ребёнка», «Поддержка семей, имеющих детей», «Цифровая образовательная среда», «Учитель будущего», «Молодые профессионалы», «Новые возможности для каждого», «Социальная активность», «Экспорт образования» и «Социальные лифты для каждого». Все они имеют, несомненно, очень позитивный посыл, на них выделяются огромные бюджеты. Но есть риск, что федеральные проекты будут реализовываться бессистемно (грубо говоря «в разные стороны»), что ответственные люди приступят к воплощению идей без видения общей картины, что стандарты качества получатся современными, а методы их оценки — устаревшими. В результате отдельные образовательные организации и учителя окажутся под воздействием разнородных требований и не будут понимать, что же именно реформировать.

Выдающийся канадский исследователь образовательных систем и реформ в сфере образования Майкл Фуллан отмечает, что один из мощнейших факторов, блокирующих любое развитие — постоянная атака школ различными инновациями. Не успевает ещё прижиться одно новшество, как уже «спускается» другое. Это общемировая проблема, этим грешат многие страны в погоне за высокими показателями. В преуспевающих системах образования все действия согласованы и подчинены единому курсу, который понятен каждому участнику процесса от чиновника до ученика.

Особенности мониторинга PISA

Эксперты международной образовательной политики рекомендуют ориентироваться на мониторинг PISA. Что это такое? Это международная программа по оценке образовательных достижений учащихся в возрасте 15 лет. Тест проходит раз в 3 года и позволяет оценить те изменения, которые происходят в системах образования — а в тесте участвует более 70 стран. Мониторинг проверяет читательскую, математическую и естественнонаучную грамотность, при этом основной упор делается на умение применять знания в реальной жизни. Проект реализуется Организацией экономического сотрудничества и развития при участии Нидерландского национального института педагогических измерений, Австралийского совета педагогических исследований, Службы педагогического тестирования США и других авторитетных организаций. В России центром проведения теста является ФГБУ «Федеральный институт оценки качества образования».

Критерии оценивания PISA задают стандарты определения качества образования. Если не считать нового явления — цифровизации —  в остальном тест основывается просто на здравом смысле. Если требования к образовательным достижениям отзеркалить на систему обучения, на дидактику, то получается следующая схема взаимосвязей, основанных на концепции «управления по результату».

Вроде бы, в этой схеме нет ничего нового. Особенность состоит в том, что все взаимосвязи должны действительно реализовываться, а образовательные науки должны анализировать и корректировать систему обучения в зависимости от данных, полученных на практике.

В 2018 году от России в тестировании приняли участие 10153 подростков из 43 регионов, и мы заняли в рейтингах PISA 30–33 места. Надо признать, что система PISA и её дидактика у нас пока мало изучены, хотя уже сейчас мы нацеливаемся на самые высокие места.

Оценка качества образования

Система оценки качества в НИУ ВШЭ строится на сочетании различных оценочных механизмов:

Что вообще такое «Качество образования»

Качественное образование — это образование, которое гарантирует успешность.

Звучит привлекательно, однако насколько это достижимо на практике? «Школа ничего не даёт», — заявляли наблюдатели на протяжении всего XX века. Действительно, эмпирические исследования показывали, что ученики приходят в школу с разными способностями и уходят из школы с соответствующими результатами, что итог обучения складывается в первую очередь из задатков ребёнка, а также из социального и культурного капитала родителей. Однако всё же находились исключения: отдельные образовательные организации и отдельные педагоги, которым удавалось получить высокие результаты в неблагополучных классах. Они доказывали на практике, что возможно подобрать методы, подходы, обеспечивающие ту самую успешность для каждого. Подобные методики мониторятся годами. На основе результатов трудоёмкой аналитической работы разрабатывается дидактика, система обучения. Отсюда появляются и критерии того самого «качественного образования». То есть, критерии должны не просто проектироваться, а браться из практики, из доказательной педагогики.

Что мы сейчас наблюдаем в России. Есть специальные программы для работы с одарёнными детьми. Также активно развивается инклюзия (впрочем, критерии оценки её качества пока весьма размыты). И именно эти подходы чаще всего обсуждаются общественностью. Но для создания среды с качественным образованием необходимо уделять внимание и основной массе учеников, и «сложным» детям. Важность этого уже подчеркнул министр просвещения Сергей Кравцов:

«Мы видим, что нужно делать акцент не только на работу с талантливыми детьми, что, безусловно, будет являться и является одним из приоритетов в работе Министерства просвещения, но и с детьми, которые испытывают трудности с обучением».

Сегодня в российской практике «талантливых» учеников помещают в отдельный класс, под попечительство проявившего себя учителя. « Неуспевающих» детей тоже сажают вместе, а с учителем — как повезёт. В результате первый класс имеет наилучшие показатели, их преподаватель получает поощрения, а другой класс так и остаётся неуспешным. Согласно современным международным стандартам — того же мониторинга PISA, например — так делать нельзя. Проблемы в обучении должны целенаправленно устраняться на всех этапах, а учителей следует поощрять, в первую очередь за достижения детей с не самыми примечательными «входными данными». В противном случае позитивного результата не будет, а последствия могут повлиять на несколько поколений вперёд. Например, в США порядка 30 % жителей испытывают страх перед математикой, в том числе и учителя. Многие американские преподаватели всячески обходят математические курсы из-за страха, сформированного ещё в детстве, такими же напуганными математикой учителями.

Метрики качества образования

Группы метрик для оценки образования:

Уточним, что цель использования любых метрик – это управление качеством образования, выявление слабых мест учебных программ, выяснение запроса обучаемых и, в конечном итоге, повышение качества обучения по той или другой программе.

Мы в соответствии с нашей темой сосредоточимся в большей степени на двух последних группах метрик: уровня удовлетворенности и качества обучения.

Метрика CSAT

CSAT – это Customer Satisfaction, что переводится как «удовлетворенность клиентов». Возможно, кому-то «режет слух», когда обучающихся называют клиентами. Но, так или иначе, везде, где обучение ведется на платной основе, любой заплативший за обучение – это, прежде всего, клиент, а клиент должен быть доволен и нести деньги в дальнейшем.

Можно оценивать удовлетворенность клиента по разным параметрам. Например, узнать, насколько ему понравился конкретный урок или курс в целом, работа преподавателя или службы технической поддержки, если обучение проводится удаленно с применением цифровых технологий.

Для оценки используют обратную связь от слушателей курса. Проще говоря, тех, кто проходит обучение, просят оценить какой-либо показатель (урок, курс, работу преподавателя, прочее) по 5-балльной шкале, где 1 – это низший балл, а 5 – это высший балл.

Далее останется подсчитать количество оценок «4» и «5», разделить эту сумму на общее количество оценок и полученный результат умножить на 100%:

CSAT = (Оценки «4» + Оценки «5» / Общее число оценок) х 100%

Поясним конкретным примером. Если из 30 человек в группе 20 поставили оценку «5», еще 5 человек выставили оценку «4», а оставшиеся 5 ограничились оценками от «1» до «3», расчет будет выглядеть следующим образом:

20 + 5 = 25

25/30 = 0,83

0,83 х 100% = 0,83%

Таким образом, CSAT в данном случае будет равняться 83%. Что делать с этим показателем дальше? Как минимум, выяснить у тех, кто выставил оценки от «1» до «3», что именно им не понравилось, в чем курс или урок не оправдал их ожиданий, и по возможности подкорректировать какие-то нюансы программы.

Разумеется, если только речь не идет о каких-то токсичных людях, которые всегда всем не довольны. Или же о тех, кто просто пришел «не по адресу». Например, если «хронический гуманитарий» вздумал податься в backend-разработку, не зная ни PHP, ни Python, ни C#, ни еще какой-либо пригодный для этих целей язык программирования. Конечно, ему будет трудно, и вряд ли он будет удовлетворен процессом обучения, когда он единственный отстающий в группе.

Метрика CDSAT

Параллельно с метрикой CSAT рекомендуется использовать такую метрику, как CDSAT. Это Customer Dissatisfaction, что переводится как «неудовлетворенность клиентов». Как понятно из названия, данная метрика позволяет высчитать уровень неудовлетворенности клиентов. В данном случае нас интересуют люди, поставившие оценку «1».

Далее нужно разделить количество людей, поставивших «1», на общее количество оценок, а полученный результат умножить на 100%:

CDSAT = (Оценка «1» / Общее число оценок) х 100%

Так, если из 30 человек двое поставили оценку «1», расчет будет выглядеть следующим образом:

2/30 = 0,06

0,06 х 100% = 6,66%

Образовательные проекты, предъявляющие к себе повышенные требования, могут учесть в метрике CDSAT все оценки от «1» до «3». Тогда нужно просто просуммировать количество клиентов, выставивших такие оценки, эту сумму разделить на совокупное число оценок, и полученный результат умножить на 100%.

И, разумеется, мы помним, что все эти метрики нужны для улучшения учебной программы, качества образования и обучения, достижения слушателями наилучших результатов.

Метрика CSI

CSI – это Customer Satisfaction Index, что переводится как «индекс удовлетворенности клиентов». Смысл этой метрики абсолютно такой же, как и метрики CSAT, но высчитывается CSI как среднее арифметическое оценок от 1 до 10:

CSI = Сумма выставленных оценок / Количество выставленных оценок

Так, если все 30 человек в группе поставят по 10 баллов, тогда расчет будет следующим:

30 х 10 = 300

300/30 = 10

Итого максимально возможный балл равен 10. Если же все поставят «1», тогда в итоге при расчетах по данной формуле получится 1, т.е. минимально возможный балл. В реальности разнообразие мнений обычно намного больше, поэтому нужно просуммировать все баллы, полученные от 30 слушателей курса, и разделить эту сумму на 30, т.е. на количество слушателей, поставивших свои оценки.

Метрика CES

CES – это Customer Effort Score, что переводится как «оценка усилий клиентов». Что это значит применительно к оценке качества образовательных проектов? Данная метрика оценивает, насколько учащемуся удобно учиться и взаимодействовать в учебном процессе с компанией, предоставляющей образовательные услуги.

Например, насколько быстро можно получить обратную связь преподавателя по поводу выполненных домашних заданий, насколько своевременно компания высылает учебно-методические материалы, хватает ли времени в открытом доступе, чтобы успеть полностью ознакомиться с материалами, работают ли ссылки на скачивание.

Или, допустим, такой аспект, как напоминание о крайнем сроке сдачи выполненных заданий либо следующем занятии, если расписание «плавающее». Нужно ли такое напоминание клиенту или, наоборот, оно ему кажется слишком навязчивым?

Как высчитывать CES? А вот тут есть нюансы. Для того чтобы «собрать» обратную связь для данной метрики, нужно предложить клиентам ответить на вопрос: «Насколько много усилий вам пришлось приложить, чтобы решить возникший вопрос?»

Для ответа предлагается 5-балльная шкала, где цифра «1» означает, что человеку потребовалось приложить минимум усилий, и вопрос был решен быстро, а цифра «5» означает большое количество сил, потраченных на решение вопроса.

В нашем восприятии «1» традиционно воспринимается как низший балл, а «5» – как высший. Поэтому восторженные клиенты, часто не задумываясь, ставят «5» клиентскому сервису, чем пополняют багаж негативных отзывов. Конечно, потом, когда им задают вопрос, что же их так напрягло, недоразумение улаживается, но это лишние затраты времени и элемент взаимонепонимания.

Во избежание неверных трактовок рекомендуется использовать принцип наглядности и визуализировать ответ, чтобы люди смотрели не столько на цифры, сколько на знаки. И тогда понятно, что веселый «смайлик» означает положительную оценку, а недовольный – отрицательную:

Как вариант, можно использовать новую версию метрики CES 2.0. Тут используется утверждение: «Компания сделала так, что мне было просто решить свою проблему». Ответ нужно дать по 7-балльной шкале, где 1 балл означает «Не согласен», а 7 баллов означает «Полностью согласен».

На сегодняшний день доступна и совершенно новая «навороченная» версия CES 3.0, предназначенная для ситуаций, когда компания предлагает товарную линейку из нескольких сотен, а то и тысяч продуктов. Ввиду того, что образовательные проекты редко предлагают больше 10-15 курсов на выбор, использование CES 3.0 вряд ли является актуальной задачей.

Метрика NPS

NPS – это Net Promoter Score, что переводится как «индекс потребительской лояльности». По сути, это вопрос: «Готовы ли вы нас рекомендовать друзьям, коллегам и знакомым?» Ответить нужно, выставив оценки от 0 до 10, где 0 будет означать полное нежелание и неготовность рекомендовать образовательную организацию кому-либо, а поставивших 10 можно считать амбассадорами бренда.

Правда, есть небольшой нюанс: иногда нежелание кому-то что-то рекомендовать лежит не в плоскости лояльности или нелояльности, а вызвано личностными особенностями человека. Например, если он по своей природе интроверт, тогда маловероятно, что он в принципе захочет обсуждать с кем-либо свою учебу на каких-то там курсах.

Для расчета NPS используются показатели условных «критиков» и «промоутеров». Из процента «промоутеров» вычитается процент «критиков» и получается значение со знаком «плюс» или знаком «минус»:

NPS = % «промоутеров» — % «критиков»

Проще говоря, если 100% учащихся выставили оценки 9 и 10 балов, показатель NPS составит +100. Если все учащиеся выставили оценки от 0 до 6 баллов, NPS составит -100.

Метрика COR

Для того, чтобы высчитать COR, нужно количество дошедших до конца слушателей разделить на количество людей, начавших обучение, и полученный результат умножить на 100%:

COR = (Количество закончивших курс / Количество начавших обучение) х 100%

Так, если из 30 человек до конца добрались только 24, расчет будет выглядеть следующим образом:

24/30 = 0,8

0,8 х 100 = 80%

И тут есть несколько важных моментов. С одной стороны, конечно, важно, сколько из начавших обучение добрались до победного конца. С другой стороны, на коммерческих курсах часто учатся не для бумажки, а для получения конкретных прикладных знаний.

Из-за этого часто складывается ситуация, что, если человеку не нужно свидетельство об окончании курсов интернет-маркетолога, а нужно лишь научиться продвижению в Сети, такой слушатель попросту игнорирует финальное задание, по итогам выполнения которого выдают заветную «бумажку».

Более того, нередко самые сообразительные и хорошо обучаемые слушатели успевают трудоустроиться по «свеженедополученной» специальности еще до конца обучения и целиком погружаются в реальный рабочий проект. Поэтому на контрольную работу с некими абстрактными заданиями не остается ни сил, ни времени, ни желания, ни собственно необходимости закреплять знания таким образом, потому что слушатель уже закрепил их в процессе своей работы на реальных проектах.

Кроме того, на «доходимость» сильно влияют личные обстоятельства людей, которые пошли учиться: семья, дети, командировки на работе, отъезд в отпуск, огород на даче, проблемы со здоровьем и т.д. У взрослых людей этот список может продолжаться до бесконечности, так что к качеству образования как таковому данная метрика не имеет особого отношения.

Зачем тогда мерить COR? Как минимум, для того, чтобы задействовать мотивационный ресурс. Чем подробнее вы будет знать, кто чем «дышит» на вашем потоке, и у кого какие приоритеты, тем больше у вас возможностей, во-первых, «подогнать» материал так, чтобы у людей была мотивация завершить обучения, невзирая ни на что.

Во-вторых, так вам будет легче найти нужные слова и поддержать ваших слушателей, если они вдруг решат бросить учебу, что называется, «на полпути».

Думается, не нужно объяснять, что, недоучившись на одних курсах, этот человек вряд ли принесет вам деньги во второй раз, когда вы предложите ему освоить смежную специальность. Или, к примеру, прокачать необходимые для его работы софт скиллз. Или пригласите на семинар, когда обновите и расширите курс, чтобы недавние выпускники могли получить свежие знания и дополнить пройденный материал актуальной информацией.

Другими словами, COR нужно измерять и учитывать, даже понимая, что в реализации данного показателя далеко не все зависит от качества обучения и уровня сервиса обучающей организации. И всегда помнить, что по-настоящему мотивированный человек всегда найдет время на изучение того, чтобы реально нужно, и подзарядится энергией новых знаний, даже если накануне казалось, что сил больше нет совсем ни на что.

Метрика Transformation rate

Transformation rate – это степень трансформации или то, насколько сам слушатель курсов считает свое обучение успешным и полезным, насколько достигнуты его собственные цели, которые он поставил в начале обучения. Иногда эту метрику называют Success Rate, что означает «степень успеха».

Данные для метрики «добываются» путем анкетирования слушателей перед стартом обучения и после его окончания. В самом начале курса следует узнать цели, которые поставил перед собой человек, пришедший учиться. В конце курса нужно выяснить, изменилась ли цель по мере прохождения обучения. Если цель осталась такой же самой, нужно поинтересоваться, достигнута ли она. Если цель поменялась, больше ничего спрашивать не нужно.

Для того чтобы подсчитать Transformation rate, нужно количество слушателей, достигших цели, разделить на разницу общего количества обучаемых и тех, чья цель поменялась. Полученный результат следует умножить на 100%.

Так, если из 30 человек 15 достигли цели, а у 10 цель поменялась, расчет будет следующим:

30 – 10 = 20

15/20 = 0,75

0,75 х 100 = 75%

Таким образом, показатель Transformation rate составит 75%. Зачем считать? Это поможет не только лучше адаптировать учебные программы под цели слушателей, но и избежать недовольства с их стороны и попыток потребовать назад деньги за обучение.

Процент возвратов

Это крайне нежелательный вариант для любой организации, предоставляющий образовательные услуги. Если слушатель требует обратно свои деньги, потому что недоволен качеством обучения, это не только финансовый ущерб, но и удар по репутации, потому что он еще и пожалуется на вас большому количеству людей, поделившись своим недовольством по поводу зря потраченного времени.

Именно поэтому важно не просто повышение качества образования в онлайн-школе или на курсах полезных профессий, но и тщательный отбор слушателей с тем, чтобы не взять случайных людей, которым будет тяжело освоить тот или иной курс. К сожалению, в погоне за прибылью коммерческие курсы этот момент часто игнорируют, забывая, что плохая репутация разносится со скоростью лесного пожара и способна «перекрыть» все ранее полученные позитивные отзывы.

Как считать процент возвратов? Расчет можно сделать за любой выбранный период (год, квартал, полугодие). Для этого нужно сумму, которую пришлось вернуть в течение этого времени, разделить на полученный за этот же период доход и умножить результат на 100%. Под доходом обычно понимается сумма, внесенная всеми слушателями за обучение:

Процент возврата = (Сумма возврата / Сумма дохода) х 100%

Так, если 30 человек заплатили по 10 000 рублей, а потом кто-то попросил вернуть ему деньги, расчет будет следующим:

30 х 10 000 = 300 000

10 000/300 000 = 0,03

0,03 х 100 = 3%

Итак, вы получили некоторое представление о том, как применять метрики качества образования. Это полезно, даже если вы никогда не будете оказывать образовательные услуги, а ограничитесь получением знаний. Например, на наших программах «Лучшие техники самообразования» «Критическое мышление». Как минимум, вы уже понимаете, что выбираемый курс должен соответствовать вашим целям и вашему уровню подготовки, а лично вам желательно иметь мотивацию идти до конца.

Мы желаем, что вас ничто не смущало и не сбивало с выбранного пути, а ваши наставники всегда поднимали вас на качественно новый уровень. И просим вас ответить на вопрос по теме статьи:

Фейки и реалии «Скандинавской системы»

На данный момент в тестах PISA лидируют азиатские страны. Почему же тогда в пример обычно ставят Финляндию, которая пусть и находится в ТОП-10, но всё же не в первой тройке?

Обратимся к данным, опубликованным Андреасом Шляйхером, экспертом «Федерального института оценки качества образования», автором книги «Образование мирового уровня. Как выстроить школьную систему XXI века?».

Финляндия лидирует по соотношению учебного времени в школе, учебного времени вне школы и баллов по исследованию естественнонаучных знаний на час общего учебного времени. То есть, Финляндия достигает своих высоких результатов, сохраняя психоэмоциональное здоровье учеников (и, к тому же, внушительные бюджетные средства). Соотношения у азиатских стран гораздо скромнее. Такие подходы как раз и призвана выявить и рекомендовать доказательная педагогика. Исследования также говорят о том, что в Финляндии школьные результаты в наименьшей степени зависят от внешних факторов — в отличие, например, от Германии или США, где социальное положение по-прежнему определяет многое.

Сегодня модно говорить о скандинавской модели образования, однако этот термин не совсем точный, поскольку страны Скандинавии развиваются разными путями, причём не всегда удачными. Например, Швеция сейчас активно внедряет новые методы, переходит к конструктивистской парадигме и, хотя остаётся в ТОП-е, после проведения реформ начала показывать ухудшение результатов.

Финляндия придерживается простоты, и в этом её ключевое преимущество. Каждый финский ученик с первого класса понимает национальные цели образования. Все стандарты в стране вполне предметные: слухи о том, что в Финляндии отменяются учебные предметы — это фейк.  В выпускном аттестате ученика первого класса финской школы чётко прописаны следующие требования к социальному поведению:

Что касается учебных дисциплин, то от выпускника первого класса требуется читать целыми словами, писать под диктовку, писать сочинения, считать от 0 до 100 и решать устные примеры. Всё вполне прозрачно и даже знакомо. В «Экспертизе Климе» (одной из авторитетнейших экспертиз по стандартам образования) говорится, что  стандарты будут способствовать улучшению школьной системы только в том случае, если они установят более ясные, более понятные ориентиры, чем большинство традиционных учебных планов и программ. Даже форма стандартов должна быть такой, чтобы её могли понять и принимали учителя и общественность.

В идеале высокое качество обучения нужно обеспечивать чуть ли не с рождения, начиная с семейного и ясельного образования. Но даже если организовать это не удаётся, задача школы: действительно постараться обеспечить достойное будущее каждому ученику. Как это сделать — продолжают выяснять мировые исследователи, в том числе и в России. Возможно, в скором времени ЕГЭ и другие наши системы оценивания перестроятся под формат PISA, чтобы добиваться высоких результатов не только за счёт увеличения нагрузки на ученика, но и благодаря применению зарекомендовавших себя международных методик.

Участвовать в новых вебинарах

Список образовательных программ НИУ ВШЭ, имеющих российскую общественную и профессионально-общественную аккредитацию

Подробнее о внутренней системе оценки качества образования по ссылке

Нашли ?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.