Методический аудит в образовании что это
Как оценить эффективность онлайн-курса
Рассказываем о важных метриках и частых ошибках, а также о том, для чего нужен методический аудит и как его провести.
Марина Литвинова
Директор по продукту, преподаватель и ментор в EdMarket. Ментор акселератора «Нетологии». Автор курса «eLearning: от стратегии внедрения до разработки контента и оценки эффективности», книги «Архитектура корпоративного онлайн-обучения» и Telegram-канала «PRO онлайн-обучение».
Разработчики онлайн-курсов стремятся к тому, чтобы обучение было полезным и увлекательным. Как понять, что желаемый результат достигнут? Это не всегда очевидно, и без конкретных метрик невозможно принять взвешенное решение, стоит ли оставить всё как есть, поработать над улучшением курса или вообще закрыть его и не тратить ресурсы понапрасну. Причём часто от ответа на этот вопрос зависит судьба не только одного курса, но и целой линейки продуктов.
Получается, что без оценки эффективности не обойтись. Расскажем, что она в себя включает, какие метрики можно оценить и каких ошибок следует избегать.
Редакция «Образование» Skillbox Media
Онлайн-журнал для тех, кто работает или хочет работать в сфере образования. Рассказываем о трендах, теории и полезных практиках.
Что входит в оценку результатов обучения
Для оценки эффективности необходимо провести несколько важных действий:
В зависимости от того, что показали метрики, надо принять решение о дальнейшей судьбе курса (оставить как есть, убрать, поменять формат, содержание, периодичность наборов и так далее). Если решено доработать курс, то составить план изменений можно на основе собранной обратной связи.
По каким метрикам оценивается образовательный продукт
Перед тем как говорить о метриках качества образовательного продукта, стоит определиться, с какой позиции мы смотрим на курс, потому что студент, методист и организатор обучения могут оценивать его успешность по-разному.
С точки зрения студента, курс полезен, когда позволяет достичь цели, ради которой он был приобретён. Обычно эта цель находится за границами обучения: например, получить повышение или сменить профессию.
С точки зрения методиста, курс успешен, когда после обучения произошли изменения установок и поведения человека, которые можно измерить. Например, после прохождения курса по программе Excel сотрудники стали тратить на операции с формулами на 30% меньше времени.
С точки зрения организатора обучения, образовательный продукт эффективен, когда ресурсы, которые вложены в его создание и сопровождение, соразмерны выгоде, полученной в результате.
Когда речь идёт о корпоративном обучении, желаемые результаты для методиста и организатора обучения совпадают: заказчик (например, руководитель компании) заинтересован в том, чтобы сотрудники после прохождения курса или тренинга стали работать эффективнее и чтобы затраты на обучение были экономически оправданы.
Допустим, мы определились, с чьей точки зрения будем измерять успешность образовательного продукта. Посмотрим, что можно измерить.
Учебные метрики
Метрики сопровождения процесса обучения
Метрики эффективности образовательного продукта
Отдельно стоит поговорить о метриках эффективности корпоративного обучения. Для этого рекомендуем использовать модель Киркпатрика — Филлипса :
Множество инструментов для сбора данных и анализа метрик входят в базовую функциональность LMS-платформ. Для оценки CSI, NPS и других показателей, которые требуют обратной связи, можно использовать «Google Формы», Mentimeter и другие анкетные сервисы, помогающие оценить впечатления от курса или отследить реакцию на тот или иной его элемент.
Какие ошибки часто допускают при оценке обучения
Есть два наиболее типичных упущения, на которых многие спотыкаются:
Что такое методический аудит, зачем и как его проводят
Существует очень много курсов, которые были разработаны без понимания специфики онлайн-обучения и знания методик педдизайна. Их создатели, разумеется, хотят улучшать показатели эффективности, но как это сделать — не всегда очевидно. Многие обращаются за услугой методического аудита. Это задача на стыке методологии, маркетинга и бизнеса, интересов студента и организатора обучения.
Чтобы качественно провести аудит курса, методист должен обладать профессиональным опытом и насмотренностью, которую лучше всего развивать под руководством наставника. Также очень важно заранее прояснить вводные данные, иначе методист может сфокусироваться на теориях обучения и проектирования онлайн-курсов, тогда как заказчик мыслит совершенно в других категориях. Среди целей заказчика могут быть, например, такие:
Чек-лист: как провести методический аудит онлайн-курса
Допустим, вы хотите самостоятельно провести аудит своего курса либо к вам обратились с такой просьбой в отношении чужого курса. Мы составили чек-лист из вопросов, которые помогут провести проверку, и конкретных данных, которые нужно собрать для оценки. Они структурированы по семи блокам — фактически по ним и проводят оценку курса.
1. Понимание целевой аудитории курса организаторами обучения.
Посмотрите анкеты участников курса, результаты кастдева, изучите собранную от выпускников обратную связь. Это покажет, насколько чётко курс ведёт к нужным результатам конкретную целевую аудиторию с определёнными знаниями, навыками и возможностями учиться.
2. Методическая концепция курса и логики обучения.
3. Образовательная среда курса.
4. Качество образовательного контента.
5. Качество практических занятий.
6. Данные, полученные за время обучения предыдущих потоков.
7. Сопровождение обучения
Как распределены роли в сопровождении курса и достаточно ли ресурсов для масштабирования — запуска новых потоков, одновременного обучения нескольких потоков студентов?
Методический аудит может обнаружить недостатки, устранить которые довольно просто, но может выявить и ошибки, на исправление которых нужно много времени и других ресурсов. После того как методист озвучит свои рекомендации, заказчик, как правило, принимает решение о судьбе курса. Если выбирается доработка образовательного продукта, заказчик может внести изменения самостоятельно либо снова привлечь методиста. Важно отметить, что работа над улучшением курса — отдельная задача, которую ни в коем случае не стоит смешивать с аудитом.
Официальный сайт Школы Гармония г. Ижевск
Наши награды:
Сегодня: 16 декабря 2021 г.
Ученики
Направление ветра:
Скорость ветра: м/с
Что такое педагогический аудит?
Качество школьного образования всегда было в центре внимания общества. На современном этапе вопрос школьного образования является приоритетным для нашей страны. Под качеством образования понимается степень его соответствия текущим и перспективным задачам социально-экономического развития общества, т.е. насколько оно удовлетворяет запросы отдельной личности, общества в целом и государства.
Разработка новых моделей контроля качества образования для оценки эффективности образовательного процесса является приоритетным направлением фундаментальных и прикладных исследовании Российской академии образования (А.И. Субетто, В.И. Байденко, И.А.Зимняя, Г.С.Ковалёва и д.р.) а также зарубежных учёных (А.Бирнбаума, К.Ингенкамп и др.)
Национальная образовательная инициатива “Наша новая школа” предполагает введение добровольной внутренней оценки качества обучения школьников на основе альтернативных контрольно-измерительных материалов.
Путь к повышению качества обучения в школе может быть осуществлён через идею создания системы внутреннего педагогического аудита (А.Т.Глазунов, В.Т.Бочерашвили), позволяющего с максимальной степенью объективности оценить эффективность обучения школьников. Педагогический аудит это контроль качества подготовки учащихся и специалистов в учебных заведениях и других организациях, проводящих образовательную подготовку.
В 2008 году на заседании научно-методического совета ИПК и ПРО УР (выписка из протокола №6) решился вопрос об открытии на базе школы №97 республиканской экспериментальной площадки по теме “Педагогический аудит как технология измерения качества обучения в школе”. С 1 января 2010 года на основании приказа №785 от 18.11.2009 МОиН УР республиканская экспериментальная площадка открыта.
Создание системы внутреннего педагогического аудита, обеспечивающей измерение и повышение качества обучения в школе.
Что такое День качества?
В школе сформирована творческая группа учителей-предметников в составе 15 человек. Разработано Положение о деятельности Аудитора в рамках Службы педагогического аудита и Кодекс профессиональной этики аудитора (эксперта) по оценке качества обучения. Служба педагогов-аудиторов проводит тестирование школьников по материалам международных и отечественных исследований с целью выявления проблемных зон, анализирует результаты проверки качества обучения и составляет заключение по выявленным проблемам.
Главными целями Дня качества являются:
● изучение состояния сформированности общеучебных умений и навыков учащихся, выявления проблемных зон и дальнейшей работы над ликвидацией и профилактикой проблем;
● стимулирование внедрения альтернативных контрольно-измерительных материалов для оценки состояния сформированности различных компетенций;
● повышение педагогического мастерства и качества преподавания педагогов;
● повышение качества образования в школе.
По результатам проведенного тестирования группа педагогов, включенных в реализацию проекта, пишет Аудиторское заключение, где представляет качественный и количественный анализ проведенного исследования. Эта информация с учетом степени конфиденциальности доводится до непосредственных участников Дня качества – школьников и педагогов.
Тематика и содержание Дней качества, состоявшихся в школе 97 (с 2008 по 2015)
Первый, восьмой, девятый и тринадцатый Дни качества
Проведён по материалам международного мониторингового исследования PISA, (Program for International Student Assessment), предполагающей стандартизированную оценку подготовки старшеклассников.
Второй, седьмой, двенадцатый, пятнадцатый, восемнадцатый, и двадцатый Дни качества
Проведён по материалам международного мониторингового исследования PIRLS среди учащихся 4,5-х классов
Третий День качества
Проведен в форме круглого стола с международным участием по обмену опытом в области педагогических идей. Участниками «Третьего Дня качества» были преподаватели и студенты из Финляндии.
Четвертый и шестой Дни качества
Педагогический фестиваль «Активизация приемов развития рефлексивных умений школьников» в школе №97
Виртуальный фестиваль педагогических идей на сайте проекта «Интернет-Форум «Инновационное образование Удмуртской Республики
Интеллектуальный марафон для учащихся 6-8 классов, где учащиеся выполняли практико-ориентированные, обучающие, логические, творческие задания, а также задания межпредметного характера, требующие интеграции знаний разных дисциплин.
Одиннадцатый День качества
Проведен в рамках курсов повышения квалификации ИПК и ПРО УР, для слушателей модуля «Инновационная деятельность педагога в системе образования»
Двадцать второй, двадцать третий, двадцать четвертый, двадцать пятый Дни качества
Комплексная работа для учащихся 4,5,6 классов (оценка метапредметных результатов), разработанная Центром оценки качества образования ИСМО РАО
Как изменится система внутреннего контроля с 2020 года и кому понадобится штатный аудитор
С 2020 года меняются правила внутреннего финансового контроля и внутреннего финансового аудита. Читайте, как применять эти изменения, какие документы издать, а какие отменить. Из статьи вы узнаете, правда ли, что теперь можно не вести журналы и карты внутреннего контроля.
Почему внутренний контроль так и не стал эффективным
У главных администраторов бюджетных средств (ГАБС) и администраторов бюджетных средств в этом году есть два бюджетных полномочия: проводить внутренний финансовый контроль (ВФК) и внутренний финансовый аудит (ВФА).
Документ: Чтобы повысить эффективность внутреннего финансового контроля и аудита, законодатели внесли изменения в Бюджетный кодекс (Федеральный закон от 26.07.2019 № 199-ФЗ)
В ходе внутреннего финансового контроля проверяют:
— соблюдаются ли процедуры составления и исполнения бюджета;
— верно ли формируется отчетность и ведется бюджетный учет;
— насколько эффективно используются бюджетные средства.
Для реализации внутреннего контроля администраторы ведут массу документов: перечни бюджетных операций, карты и журналы внутреннего контроля, перечни должностных лиц, ответственных за осуществление контроля.
При внутреннем финансовом аудите оценивают надежность внутреннего финансового контроля, подтверждают достоверность отчетности и вносят предложения о повышении эффективности использования бюджетных средств. То есть отдельные цели ВФК и ВФА схожи. Так, аудиторы при проверках смотрят карты и журналы внутреннего контроля. Если эти карты и журналы не заполнены, делают вывод, что контроль на низком уровне или не ведется вовсе. Если исполнитель бюджетных процедур не согласен с этим, от него требуют подтверждения того, что контроль все же был. Именно такие моменты сделали внутренний финансовый контроль в большинстве случаев неэффективным. Сыграл роль и тот факт, что отражать в журналах внутреннего контроля ошибки опасно.
На заметку: При ВФК сейчас трудозатраты связаны в основном с формированием документов, а не с самой проверкой
ПРИМЕР 1. Казенное учреждение по результатам внутреннего контроля обнаружило ошибку в учете.
Эту ошибку в журнале внутреннего контроля не отразили, так как побоялись, что при внешней проверке ревизоры отметят ее в своем акте. За совершенную ошибку к главбуху могут применить административную ответственность, а также ему могут указать на неосуществление внутреннего контроля.
Из-за того, что в настоящее время исполнители бюджетных процедур сами проверяют свои бюджетные процедуры и операции, они не способны объективно оценить все бюджетные риски. В результате учреждение не располагает полной информацией о выявляемых нарушениях и недостатках. Именно поэтому потребовалось внести изменения в Бюджетный кодекс в части контроля и аудита (см. шпаргалку ниже).
Шпаргалка
Почему потребовались изменения
Проблемы
1. Излишняя формализация процедур ВФК и дублирование полномочий с ВФА.
2. Субъективная оценка рисков исполнителями операций.
3. Отсутствие у исполнителей мотивации показывать результаты ВФК.
4. Дублирование требований ВФК и Федерального закона от 06.12.2011 № 402-ФЗ «О бухучете».
5. Отсутствие единой регламентации осуществления ВФК по уровням бюджетной системы.
6. Отсутствие связи между результатами оценки качества финансового менеджмента и ВФК.
Отменили внутренний контроль или нет
С 2020 года внутренний финансовый контроль как отдельное полномочие не будет существовать — останется только внутренний финансовый аудит. Но это не означает, что ВФК отменили и его не надо проводить вовсе. Ключевые изменения смотрите в перечне 1.
Перечень 1. Что изменилось в части внутреннего контроля и аудита
Изменения
ВФК исключили из отдельных бюджетных полномочий, он стал отдельным элементом бюджетных процедур
Отменили отдельные формализованные процедуры и документы при осуществлении ВФК
Требования к контрольным действиям учреждение теперь определяет самостоятельно
Внутренний аудитор определен в качестве координатора мероприятий по повышению надежности ВФК через систему управления бюджетными рисками
В представлениях и предписаниях органы госфинконтроля больше не будут указывать на устраненные нарушения, выявленные в рамках ВФК и ВФА
С будущего года упростится нормативная правовая схема регулирования внутреннего контроля. В этом году внутренний финансовый контроль на федеральном уровне ведут по правилам, определенным постановлением Правительства от 17.03.2014 № 193. На уровне субъектов РФ и муниципальных образований приняты свои порядки, распространяющиеся, как правило, и на казенные учреждения. С нового года такого регулирования не будет: эти нормативные документы отменят. Как проводить внутренний контроль, администраторы будут решать самостоятельно. Есть вариант оставить все карты и журналы контроля. Второй вариант — отменить все внутренние порядки и издать новый приказ, в котором прописать, каким образом осуществлять ВФК.
Важная деталь: Определите порядок формирования аудиторских групп, включая порядок назначения руководителя аудиторской группы, а также привлечения к проведению мероприятий ВФА должностных лиц ГАБС и экспертов
Появятся федеральные стандарты внутреннего финансового аудита (ч. 5 ст. 160.2-1 БК). Сначала их будет шесть, затем в течение следующего года Минфин выпустит методические рекомендации к некоторым стандартам и утвердит еще три стандарта (см. перечень 2). Главные администраторы бюджетных средств, администраторы бюджетных средств, осуществляющие ВФА, на основе этих стандартов должны издать свой ведомственный (внутренний) акт. Проще говоря, инструкцию, как проводить аудит.
Перечень 2. Стандарты по внутреннему финансовому аудиту
Вводятся с 1 января 2020 года
Вводятся до 31 декабря 2020 года
«Определения, принципы и задачи ВФА»
«Реализация результатов ВФА»
«Основания и порядок организации ВФА»
«Подтверждение достоверности бюджетной отчетности»
«Порядок передачи полномочий по ВФА»
«Права и обязанности должностных лиц, работников при осуществлении ВФА»
«Подготовка предложений по повышению экономности и результативности использования бюджетных средств»
«Планирование, определение объема работ и формирование программы аудиторской проверки»
«Проведение внутреннего финансового аудита»
Как организовать внутренний аудит с 2020 года
Важная деталь: В рамках своей подведомственной сетки полномочия администратора бюджетных средств по ВФА передать можно, а за ее пределами – нет. ГАБС проводит ВФА самостоятельно, передавать такие полномочия кому-либо он не вправе
Главный администратор бюджетных средств и администраторы бюджетных средств могут организовать ВФА четырьмя способами.
1. Создать отдел, который будет заниматься непосредственно вопросами аудита.
2. Назначить должностное лицо, которое будет заниматься вопросами аудита и подчиняться непосредственно руководителю. Причем это может быть как аудитор по основной должности, так и сотрудник, выполняющий обязанности аудитора. В последнем случае он не должен проверять свою же работу и иметь личную заинтересованность. Например, если на основной работе человек занимается доходами, он может проверить расходы. Если аудитор не может проверить какой-либо участок, он вправе привлечь специалиста со стороны.
3. Передать полномочия проводить ВФА своему главному администратору бюджетных средств либо иному администратору бюджетных средств, который находится в подведомственности у этого ГАБС. В таком случае можно заключить соглашение о передаче полномочий — его форма будет приведена в методических рекомендациях по проведению ВФА.
Второй вариант — подписать протокол либо гриф (лист) согласования. Третий — написать служебное письмо о согласовании передачи полномочий по осуществлению внутреннего финансового аудита. Четвертый — завизировать решение о передаче у руководителя ГАБС, принимающего полномочия по осуществлению внутреннего финансового аудита, и у руководителя администратора бюджетных средств, передающего указанные полномочия.
4. Ввести ограниченную систему организации аудита. Если решили выбрать этот способ, руководитель должен издать приказ и в нем оговорить основные моменты внутреннего финансового контроля.
Последние два варианта подходят не всем администраторам бюджетных средств, а только тем, у кого нет ресурсов создавать отдел аудита и кто не может найти человека, который бы выполнял функции аудитора. Пройдите тест, который мы разместили выше. Узнайте, может ли ваше учреждение передать полномочия по аудиту или ввести ограниченную систему аудита.
Тест. Как организовать внутренний аудит
Результат
Если хотя бы на один вопрос вы ответили «да», ваше учреждение может передать полномочия по внутреннему финансовому аудиту своему ГАБС либо иному администратору бюджетных средств, который находится в подведомственности у этого ГАБС. А также руководитель вашего учреждения может ввести ограниченную систему организации аудита.
Чем будет заниматься внутренний аудитор
Внутренний аудитор будет не только проверять, проводится ли ВФК в учреждении, но и вносить предложения по его организации. То есть с исполнителя бюджетных процедур на аудитора переложили максимум работы по оценке контроля, по его организации, по оценке бюджетных рисков.
Важная деталь: Именно аудитор с 2020 года станет координатором ВФК
Аудитор должен выявить, какие бюджетные процедуры в учреждении выполняют с нарушениями или недостатками. И на основании этого оценить бюджетные риски и предложить способы минимизировать их. Для внутреннего финансового аудита ввели новый документ — реестр бюджетных рисков. Как его сформировать, рассмотрим на примере.
ПРИМЕР 2. Аудитор собрал все карты контроля со структурных подразделений учреждения.
Составив на их основе одну карту, он проанализировал все акты внешних ревизий, которые учреждение получало после проверок. Взяв перечень типовых нарушений, подготовленный казначейством, аудитор расписал все операции, проводимые в учреждении, вплоть до исполнителя.
Сопоставив данные, он присвоил каждой операции степень риска. В результате получился реестр рисков, из которого видно не только что это за операция, но и кто ее осуществляет, какие есть бюджетные риски и какие меры необходимо принять для их минимизации.
АЛЕКСЕЙ КОКАРЕВ, государственный советник РФ 3-го класса
Аудит в системе образования
Вы будете перенаправлены на Автор24
Сущность образовательного аудита
Образовательный аудит – это проведение оценки качества оказания образовательных услуг конкретной образовательной организацией или оценивание функционирования всей образовательной системы сторонними контрольными службами, ориентированными на аттестацию работы образовательной системы и осуществление надзора за соблюдением закона «Об образовании» и ФГОС.
Образовательный аудит необходим для того, чтобы оценить функционирование каждой образовательной организации и подтвердить ее способность качественной реализации образовательной деятельности за конкретный временной промежуток.
В ходе аудиторской проверки анализируется соответствие образовательной деятельности культурному развитию общества, его социальным нормам и потребностям, а также экономической динамики развития государства.
Сущность образовательного аудита можно отразить следующими положениями:
Образовательный аудит нацелен на проведение экспертной оценки функционирования образовательного заведения и образовательной системы на конкретном этапе ее существования.
Готовые работы на аналогичную тему
Организация проведения образовательного аудита
Проведение аудиторской проверки начинается с разработки программы аудита. Она ориентирована на создание условий для рассмотрения образовательной организации в качестве системного процесса: наличие взаимосвязанных компонентов, взаимообусловленность их функционирования.
В структуру программы образовательного аудита входят следующие компоненты:
Все эти компоненты являются взаимосвязанными. Выбор одного из них определяет специфические черты другого и предъявляет конкретные требования к нему.
Важно, рационально подойти к выбору аудиторов, поскольку, от их компетентности и понимания специфики функционирования конкретной образовательной организации, зависит получение адекватных итогов контрольной деятельности.
Выбор объектов контроля реализуется исходя из приоритетных направлений проверки, т.е. выбор тех областей деятельности организации, которые имеют специфические проблемы функционирования или, работа которых, ориентирована на достижение качества и эффективности образовательного процесса, совершенствование образовательной деятельности.
Чтобы выбрать объекты аудиторской проверки, целесообразно разделить образовательный процесс на несколько подпроцессов, функционирование которых взаимосвязано и взаимообусловлено. Как правило, выделяют следующие ведущие процессы деятельности образовательной организации:
Таким образом, при выборе объектов аудита происходит выбор определенных методов и форм образовательного аудита к каждому процессу деятельности образовательной организации.
Методы работы, инструментарий аудиторской проверки должны отвечать принципам объективности, логичности и точности. Это необходимо для того, чтобы результаты образовательного аудита были понятны не только экспертам в данной области деятельности, но и иным участникам образовательной деятельности. поэтому, в каждом аспекте контрольной деятельности, должны присутствовать пояснительные записки, содержащие детальную информацию оценочной деятельности.
Образовательный аудит включает в себя оценку знаний и навыков педагогов, учащихся, мониторинг материальной обеспеченности учебного заведения, оценку условий реализации образовательной деятельности, работы педагогов и учащихся, разработанной учебной программы, учебных планов, приказов, методической базы, а также итогов реализации образовательной деятельности – знаний и навыков учащихся.
Проведение образовательного аудита, прежде всего, ориентировано на создание условий для предоставления организацией качественных образовательных услуг. Аудит помогает выявить ее потенциал и направить ее развитие в нужное русло.
Условия эффективного проведения образовательного аудита
Чтобы образовательный аудит был целеориентированным и успешным, требуется соблюдение ряда условий его реализации. К ним относятся: