Никитин Н. В., Уваров А. Ю. Технология разработки обучающих компьютерных программ


НазваниеНикитин Н. В., Уваров А. Ю. Технология разработки обучающих компьютерных программ
страница14/16
Дата публикации06.05.2014
Размер2.01 Mb.
ТипКнига
referatdb.ru > Информатика > Книга
1   ...   8   9   10   11   12   13   14   15   16
^

5.5. Проверка на группе обучаемых и полевые испытания.


Вы познакомились с подготовкой экспертного заключения и проверкой на одном обучаемом. Проверка на группе обучаемых и полевые испытания - еще два способа формирующей оценки. Соотношение между этими способами оценки показано на рис. 5.13.

Р
ис. 5.13 Соотношение между различными способами формирующей оценки.
Как видно на схеме, экспертиза – основной способ формирующей оценки на ранних этапах разработки, в то время как полевые испытания используются на завершающем этапе работы с КОП. Проверка на одном обучаемом (как и экспертиза) позволяют оценщику тесно взаимодействовать с обучаемым (экспертом или испытуемым в лабораторном эксперименте). При полевых испытаниях прямое общение оценщика с обучаемыми всегда ограничено, а подчас и невозможно. На ранних этапах разработки формирующая оценка направлена прежде всего на выявление недостатков в содержании учебного материала, его ясности, способах представления. Проверка на группе обучаемых и полевые испытания, проводимые на завершающих этапах разработки, концентрируют внимание на удобстве практического применения КОП, результативности и эффективности обучения в реальных условиях. В этом разделе рассмотрены рекомендации по планированию и проведению формирующей оценки с группами обучаемых.

^

5.5.1. Проверка на группе испытуемых.


После изучения материала, приведенного в пятом разделе пятой главе, Вы сможете:

  • Описать соотношения между различными способами формирующей оценки, указать на сильные и слабые стороны проверки материала на группе обучаемом и полевых испытаний,

  • Перечислить группы вопросы, которые обычно имеет в виду разработчик при подготовке плана проведения полевых испытаний и проверки на группе обучаемых. Привести примеры таких вопросов для проверки на группе испытуемых,

  • ^ Описать назначение, привести примеры использование претеста и посттеста, использования получаемых с их помощью результатов,

  • Описать особенности проверки способности обучаемых использовать приобретенные умения на своем рабочем месте,

  • Описать возможный способ проверки привлекательности разрабатываемой КОП,

  • Привести не менее трех примеров различных инструментов для сбора данных в ходе проверки на группе обучаемых,

  • Перечислить действия, которые рекомендуется выполнять оценщику при подготовке участников к проведению проверки на группе испытуемых,

  • Привести пример возможного использования иерархии учебных задач при обработки результатов экспериментального обучения.

  • Привести перечень возможных разделов отчета по результатам проведения формирующих оценок (разработки КОП).


Как показано на Рис. 5.13, проверка на группе испытуемых занимает промежуточное положение между полевыми испытаниями и лабораторным экспериментом. Как правило, проверку на группе проводят после лабораторного эксперимента, чтобы проверить эффективность внесенных изменений. Часто эту проверку планируют как подготовительную фазу полевых испытаний. И в том, и в другом случае, результаты проверки выражаются в рекомендациях по изменению КОП и сопровождающих ее материалов. Как правило, проверка на группе обучаемых охватывает группу от 6 до 15 человек, которые работают с учебным материалом при минимальном участии разработчика (оценщика).

В ходе проверки на группе разработчика интересует прежде всего три вопроса:

  • как сделать разработанный материал более действенным (повысить качество исполнения12),

  • как повысить эффективность работы обучаемых (сократить время работы при достижении заданного уровня исполнения),

  • как сделать обучающую программу более привлекательной для ее будущих потребителей (обучаемых и педагогов).

При проведении оценки в группе обучаемых обычно используют контрольные задания (тесты) для проверки «начальных» и «итоговых» навыков/знаний. К начальным относят знания и навыки, которые предполагаются известными к начала обучения. Например, владение клавиатурой компьютера – начальный навык для использования КОП по освоению работы с текстовым редактором. Итоговые знания/навыки – те, на приобретения которых предназначена обучающая программа. Важной характеристикой успешности обучения является перенос полученных знаний/умений в реальную производственную ситуацию.

Уровень владения начальными знаниями/навыками (начальный уровень), как правило, проверяют до начала работы с обучающей программой. Результаты этой проверки используют для того, чтобы допустить/не допустить обучаемых к работе с КОП.

Проверку итоговых знаний/навыков (итоговый уровень) используют для оценки результативности КОП. Для этого обучаемые, как правило, выполняют контрольное задание дважды: перед началом обучения (претест) и после работы с КОП (посттест). Различия в результатах претеста и посттеста говорят об уровне результативности обучения.

При профессиональном обучении часто добавляют умения выполнять соответствующие действия на рабочем месте (использование в реальной ситуации). На рис. 5.14 приведен пример оценки способности обучаемых, занимавшихся с КОП «MS Word 7.0. Путь наверх», использовать полученные умения в реальной ситуации. Оценка уровня переноса – один из главных показательней действенности создаваемой обучающей программы.
Рис. 5.14. Способности использовать приобретенные умения на рабочем месте.

Умения

Обучаемые

Результат проверки

1

2

3

4

5

6

Использовать подчеркивание в тексте

+

+

+

+

+

+

6 из 6

Изменять шрифты

+

+

+

+

-

+

5 из 6

Выделять заголовки различных уровней

+

+

-

+

-

+

4 из 6

Распечатывать документ

+

+

+

*

+

+

5 из 6

(*) принтер был неисправен


При проверке действенности обучающей программы в группе испытуемых (как и при полевых испытаниях) обычно используют:

  • успешность тестирования начального уровня обучаемых,

  • соотношение результатов претеста и посттеста,

  • уровень переноса освоенного материала.

Если часть обучаемых не достигает целей обучения, или не выполняется перенос освоенного материала, оценщик должен постараться выяснить причины неудач и подготовить предложения по совершенствованию обучающей программы.

Далеко не всегда обучаемых заставляют выполнять претесты. Вместо этого оценщик информирует их о том, что они должны уметь делать до начала обучения и полагается на их самооценку. Часто этой процедуры (которая соответствует реальным условиям) бывает недостаточно. При проведении оценки на группе испытуемых желательно подбирать обучаемых с фиксированным (пусть и различным) уровнем начальной подготовки.

При проверке эффективности работы обучающей программы в группе испытуемых обычно оценивают время выполнения отдельных занятий и общее время работы с КОП. Здесь разработчики впервые имеют возможность получить достоверную оценку планируемого времени работы с программой и его разброс для разных обучаемых. Эти данные обычно всегда включают в текст обучающей программы, чтобы дать ориентировку обучаемым по темпу учебной работы.

В ходе проверки, как правило, пытаются оценить привлекательность КОП. С этой целью в итоговый вопросник включают вопросы типа:

  • Чем Вам понравилось обучение с КОП (по сравнению с другими учебными материалами)?

  • Какие элементы учебной работы показались Вам скучными (непривлекательными)?

  • Насколько Вам понравился стиль подачи материала (голос диктора, манера ведущего на видеофрагменте)?

  • Насколько Вам хочется больше узнать о предмете после того, как Вы познакомились с ним с помощью КОП?

Здесь можно использовать также многие из рекомендаций, которые давались при планировании лабораторного эксперимента (см. Раздел 5.4.1).

Один из главных вопросов при подготовке проверки на группе обучаемых – определение количества испытуемых и отбор участников. Очевидно, что чем больше обучаемых Вы привлечете, тем больше информации Вам удастся собрать, тем точнее будут сделанные выводы. С другой стороны, чем больше обучаемых, тем выше трудоемкость этой работы, том больше времени потребуется на обработку собранных результатов. Необходимо выбрать разумный минимальный размер группы. (Dick, W., Carey, L. Systematic Design of Instruction, San Francisco, Lawrence Erlbaum, 1990). Рекомендуется, чтобы количество обучаемых в группе составляло обычно от 6 до 15 человек (по другим данным от 8 до 20). Опыт показывает, что стоит воспользоваться народной мудростью: «лучше меньше, да лучше».

При персональном отборе обучаемых можно воспользоваться традиционным делением и включить в группу несколько «сильны», несколько «слабых» и несколько «средних» учеников. Уровень способности обучаемых можно оценить, например, по их академической успеваемость. Теоретически существует возможность подобрать учащихся в зависимости от их учебных стилей и других личностных характеристик. На практике такой подход используется достаточно редко.

Иногда КОП составляет часть «пакета учебно-методических материалов» и используется под руководством учителя (инструктора). В этом случае с группой должен работать учитель. Далеко не всегда есть выбор учителей, готовых принять участие в экспериментальной работе. Тем не менее, желательно стремить к тому, чтобы учитель представлял «типичного будущего пользователя» обучающей программы.

Как и любая формирующая оценка, проверка в группе испытуемых включает в себя подготовительную фазу, проведение обучения, обработку собранных данных, подготовку предложений по внесению изменений в обучающую программу и внесение соответствующих изменений. Подготовительная фаза включает в себя:

  • подготовку вопросов,

  • разработку инструментов и процедур для сбора данных,

  • подготовку условий учебного эксперимента (места его проведения),

  • подготовку участников учебного эксперимента (учащихся, преподавателя).

Остановимся на особенностях выполнения перечисленных шагов.

Подготовка вопросов. Как и при других способах проведения формирующей оценки, перечень возможных вопросов определяется особенностями данного способа оценки и специфическими целями разработчика. При проверке на группе испытуемых, как правило, решаются задачи оценки работы обучаемых (и педагогов) с материалом, их отношения к разрабатываемой КОП. На рис. 5.15 приведены примерный перечень вопросов, которые можно использовать при подготовке обучения группы испытуемых. Эти вопросы помогут уточнить задачи эксперимента (какие сведения Вы хотите получить от его участников), сформулировать варианты конкретных вопросов, с учетом специфики оцениваемой обучающей программы. Не все вопросы должны быть прямо заданы участникам эксперимента. На некоторые из них можно ответить по результатам наблюдений, тестирования или итогового интервью.

Оценка – не единственная часть работы над обучающей программой. Поэтому время и ресурсы на ее проведение всегда ограничены. Постарайтесь отобрать только те вопросы, которые наиболее актуальны для данной разработки. Сконцентрируйтесь на главном. Возможно это будет результативность обучения, простота использования обучающей программы, или привлекательность КОП для будущих пользователей. Проверьте вопросы, оставшиеся после проведения экспертизы (лабораторного эксперимента). Возможно, следует проконтролировать изменения, внесенные в обучающею программу по результатам предыдущих оценок.
Рис. 5.15. Примеры вопросов для проверки на группе испытуемых13.

Область вопросов

Варианты общих вопросов

Подготовка обучаемых

  • Что уже знают обучаемые по этой теме?

  • Имеют ли учащиеся необходимые знания и навыки для изучения данного вопроса?

Работа обучаемых

  • Может ли обучаемый использовать КОП без посторонней помощи?

  • Сколько времени занимает изучение темы?

Проблема внедрения

  • Насколько просто было установить, запустить и использовать КОП?

  • Могут ли преподаватели использовать КОП в рамках своего учебного расписания/кабинета?

Результаты обучения

  • Какие из целей обучения небыли достигнуты?

  • Какие умения обучаемые не могут использовать на рабочем месте? Почему?

Отношение обучаемых

  • Считают ли обучаемые, что этот материал стоило изучать?

  • Считают ли обучаемые, что они освоили нечто важное?

Отношение преподавателей

  • Будут ли преподаватели использовать КОП?

  • Какие преподаватели не хотят использовать эту КОП?


Разработка процедур (инструментов) сбора данных. Проверка на группе обучаемых предоставляет богатый набор процедур (и инструментов) для сбора данных. Сюда входят:

  • проверка (тестирование) начальной подготовки обучаемых,

  • претесты и посттесты,

  • проверка (тестирование) способности использовать приобретенные умения на рабочем месте,

  • вопросники для обучаемых и преподавателя,

  • итоговые интервью,

  • протоколы наблюдений за ходом эксперимента (с описанием хода работы и замечаний обучаемых/преподавателя),

  • автоматическая фиксация действий при работе с компьютером.

Часто можно использовать один инструмент для нескольких процедур. Например, при оценки фрагмента «обучалки» по работе с текстовым процессором на группе обучаемых можно предложить им до начала работы набрать и отредактировать на компьютере небольшой фрагмент текста. В ходе этого задания Вы сможете одновременно и проверить их начальную подготовку (умение работать с клавиатурой и пользоваться мышью), и провести претест (оценить уровень знакомства с изучаемым материалом). Это же задание можно предложить им в качестве посттеста по окончании работы с КОП. В результате подготовки одного задания Вы получаете несколько итоговых материалов, позволяющих оценить и начальную подготовку обучаемых, и их знакомство с материалом до начала обучения, и результативность обучения. В общем случае, состав «инструментов» и «перечень процедур» определяется вопросами, на которые Вы решили ответить в ходе оценки.

^ Проверка (тестирование) начальной подготовки обучаемых основана на результатах построения иерархии учебных задач14. Точнее всего уровень начальной подготовки можно оценить с помощью соответствующих контрольных заданий. Такие задания иногда включают в состав обучающей программы. Когда точность оценки уровня начальной подготовки не критична, можно удовлетвориться самооценкой испытуемых. Для этого достаточно включить соответствующий вопрос (например, «Как часто Вы пользовались компьютером для подготовки текстов: никогда - несколько раз – пользуюсь регулярно») в опросник, который ученики заполняют перед началом занятий.

Претест (с последующим посттестом) позволяет наглядно установить, чему именно научились обучаемые после работы с программой. Очень часто обучаемые знают и умеют много больше, чем думает разработчик. Это особенно справедливо при разработке материалов для переподготовки кадров. Иногда в качестве претеста дают задания из итоговой контрольной работы (посттеста). Помните, что неуспех в начале работы (при проведении претеста этот неуспех запрограммирован) обычно подавляет обучаемых. Старайтесь сделать претест возможно короче15 и дайте обучаемым возможность отказаться от выполнения задания, если оно для них слишком трудно. Объясните обучаемым, что они не обязаны справиться с заданием, что Вы вернете им эти контрольные по окончании работы с КОП, чтобы они сами смогли оценить чему научились. Очень часть претест помещают в один пакет с заданиями по проверке начальной подготовки обучаемых.

Посттест – основной инструмент проверки КОП на группе испытуемых. Без качественного посттеста невозможно определить, насколько действенным оказалось обучение. У создателей КОП подготовка посттеста обычно не вызывает трудностей. Контрольные вопросы и упражнения по оценке результатов обучения являются составной частью любой хорошей обучающей программы.

^ Способность использовать приобретенные умения на рабочем месте – другой важнейший показатель оценки результативности КОП (особенно, если обучающая программа предназначена для повышения квалификации). Эти данные обычно получают в ходе наблюдения за выполнением контрольного (или рабочего) задания непосредственно на рабочем месте. Фрагмент протокола по оценке способности использовать приобретенные умения на рабочем месте приведен на рис. 5.14. собранные таким образом данные позволяют оценить возможность переноса приобретенных знаний, умений и навыков в свою рабочую ситуацию.

Вопросники - стандартный инструмент сбора данных при работе с группой обучаемых. Помимо других способов использования, это практически единственное средство для оценки отношения обучаемых (и преподавателей) к работе с КОП. Пример анкеты для оценки отношения обучаемых к работе с программой приведен на рис 5.16.
Рис. 5.16. Вопросник для оценки отношения обучаемого к КОП
«Поиск в Интернет»


КОП «Поиск в Интернет» Обучаемый:______________________№______

Дата 09-12-98 (Имя и кодовый номер обучаемого)





^ Совершенно не согласен

Не согласен

Согласен

Совершенно согласен

Мне было интересно работать с этой обучающей программой







Х




Все указания по работе с программой, были ясны и появлялись своевременно




Х







Я рекомендую другим воспользоваться этой программой










Х

Мне нравится использовать компьютер для обучения







Х







Протоколы наблюдений готовятся в ходе практически всякой проверки на группе испытуемых. Оценщик (наблюдатель) присутствует на занятиях и фиксирует все основные события. Как правило, это время начала и завершения работы над обучающей программой, возникшие вопросы и затруднения, комментарии обучаемого. На рис. 5.17 приведен фрагмент протокола наблюдений за работой группы испытуемых с первым занятием КОП «Поиск в Интернет». Наблюдатель отмечал время работы над программой, а также замечания (вопросы) обучаемых, которые появлялись в ходе работы с обучающей программой.

Автоматическая фиксация действий обучаемых – редкое преимущество, которое (в отличие от других средств обучения) дает обучающая программа. Отдельные КОП в обязательном порядке включают в себя сбор и обработку данных о ходе работы обучаемых. В других случаях Вы можете включить сбор соответствующей информации в тестируемую версию обучающей программы.

Некоторые средства автоматизации и разработки обучающих программ, в том числе и «УНИАР Продюсер», позволяют это делать без заметных дополнительных затрат. Это дает возможность получить огромный объем достоверной фактической информации о времени работы с отдельными кадрами программы, обо всех реакциях обучаемого на контрольные вопросы, о выполнении упражнений и т.п. Сможете ли Вы использовать эти данные зависит от того, насколько четко Вы представляет себе вопросы, на которые ищете ответ с помощью этих данных.
Рис. 5.17. Протокол наблюдений за работой группы обучаемых с КОП
«Поиск в Интернет»

КОП «Поиск в Интернет»
Занятие 2. Дата 09-12-98


Обучаемый

Время работы (мин.)
Замечание

1

21

Я не смог распечатать подготовленный текст

2

19

Как сохранить результаты работы с программой ?

3

30

Должны ли мы предъявить распечатанный текст преподавателю для оценки?

4

15

Кнопка «подсказка» не работает

5

24

Я не смог выйти из программы после окончания работы

6

16

-

7

34

Как выйти из программы в конце работы?

^ Среднее время работы – 23 мин.




Условия проведения учебного эксперимента. Проверка на группе обучаемых обычно включает проверку ключевых элементов среды обучения. Вы выделили особенности учебного окружения, которые существенны для использования разрабатываемой КОП, когда определяли систему средств обучения16. Постарайтесь по возможности полно воспроизвести (или смоделировать) эти условия при проведении эксперимента. Это особенно важно, если проверка на группе обучаемых не сопровождается полевыми испытаниями. Важно, чтобы обучаемые в ходе эксперимента использовали технические средства аналогичные тем, что будут использоваться в реальной жизни17. Если в реальной жизни работа с КОП происходит урывками, по часу в день и обучаемых будут отвлекать от учебной работы каждые 15 минут, надо смоделировать эту ситуацию в эксперименте. Если КОП будет использоваться в ходе лабораторной/практической работы под руководством преподавателя, надо воспроизвести соответствующее окружение (временной график, наличие преподавателя и т.п.). Можно приводить много примеров различных условий, в которых используют КОП. Главное, чтобы Вы верно определили свои специфические условия и постарались смоделировать их по возможности точно.

Проверка на группе испытуемых не обязательно должна проводиться в классной комнате в присутствии всех обучаемых. Например, если Вы разрабатываете КОП для использования на рабочем месте, проверку лучше всего проводить на рабочих местах обучаемых, или в условиях, которые похожи на их рабочие места. При подготовке материалов для заочного обучения (иногда говорят – дистанционного) их проверку естественно проводить в режиме самостоятельного использования КОП обучаемыми. Если по тем или иным причинам это невозможно, Вам желательно не ограничиваться проверкой в группе испытуемых и провести полевые испытания создаваемой программы.

Подготовку участников и проведение учебного эксперимента. Участники учебного процесса – союзники разработчика. Привести их к пониманию этой идеи, к действию в соответствии с этим пониманием - главная задача этапа подготовки участников. Как правило, преподаватели не нуждаются в специальной подготовке для использования КОП. Если же такая подготовка входит в стандартный «план внедрения КОП», такую подготовку следует провести.

Подготовка обучаемых во многом совпадает с аналогичной подготовкой при проведении лабораторного эксперимента. Можно специально остановиться на методах оценки, которые Вы будете использовать в эксперименте:

  • проверка уровня начальной подготовки и претесты,

  • как и когда будет проводиться сбор замечаний,

  • как будет проводиться итоговое тестирование, обсуждение результатов обучения.

Проведение наблюдений – главная работа, которую выполняет разработчик в ходе обучения. В журнал наблюдений обычно заносят время работы обучаемых над отдельными единицами учебного материала (раздел, урок и т.п.), комментарии и замечания обучаемых, особенности работы преподавателя (если таковой имеется). После завершения работы с программой и проведения итогового контроля не забудьте провести заключительное обсуждение результатов. Например, предложите обучаемым итоговый вопросник (рис. 5.16), проведите итоговое интервью. Вы хорошо знаете, что учебная работа с КОП – напряженный труд. К концу занятия обучаемые будут утомлены (хотя они не всегда это осознают). Не забывайте сделать перерыв между занятиями и итоговым интервью. Опытные оценщики обязательно угостят участников чаем (кофе), поздравят их с завершением работы, отметят положительные моменты занятия, создадут непринужденную творческую атмосферу, которая поможет участникам расслабиться и неформально подойти к итоговому разбору занятия. Если с группой работал преподаватель – пригласите его на итоговое обсуждение с обучаемыми, а затем проведите с ним дополнительную беседу отдельно, в доверительной атмосфере.

Итоговое обсуждение (иногда говорят «рефлексия учебной работы») рекомендуется проводить неформально. Все участнику должны чувствовать, что Вы заинтересованы в получении достоверной информации, что Вам действительно нужны их критические замечания. Начиная обсуждение можно еще раз поблагодарите всех за участие в эксперименте, напомнить о целях выполненной работы, задать несколько «простых вопросов», которые «не напрягут» обучаемых. Делайте пометки и используйте .приемы «активного слушания», чтобы подбодрить отвечающих.

Обработка собранных данных и подготовку предложений по внесению изменений в обучающую программу. Данные сами по себе не говорят ни о чем. Их надо обработать и проинтерпретировать, чтобы получить значимую информацию о том, что и как следует изменить в разрабатываемой КОП. В ходе такого анализа обычно используют и обобщающие, и индивидуальные показатели работы обучаемых. Рекомендуется осторожно относиться к средним показателям. Информация о том, что 80% обучаемых успешно освоили материал может говорить о разном. На рис. 5.18 приведен пример, где обе группы имеют одинаковые средние показатели, однако интерпретация этих показателей должна быть различной. В первой группе два обучаемых не достигли ни с одной из поставленных перед ними целей. Возможно, что проблему надо искать в различиях между успешными и неуспешными учениками: исходная выборка обучаемых распадается на две подгруппы. Возможно, потребуется ввести в КОП дополнительный материал и специальные разветвления в обучающей программе, которые будут отвечать нуждам этой группы обучаемых. Во второй группе ситуация более неопределенная. Чтоб выдвинуть правдоподобную гипотезу нужны дополнительные данные о работе отдельных обучаемых.
Рис. 5.18. Результаты достижения целей обучения в двух группах обучаемых


Номер ученика

Достигли целей обучения




Номер

Ученика

Достигли целей обучения

Цель 1

Цель 2

Цель 3

Цель 1

Цель 2

Цель 3

1

+

+

+




1

+

+

+

2

+

+

+




2

+

+

-

3

+

+

+




3

-

+

+

4

+

+

+




4

-

+

+

5

+

+

+




5

+

-

+

6

+

+

+




6

+

+

+

7

+

+

+




7

+

-

+

8

+

+

+




8

+

+

+

9

-

-

-




9

+

+

-

10

-

-

-




10

+

+

+

Всего %

80

80

80




Всего %

80

80

80


Для локализации возможных проблем обучения часто используют иерархию целей, подготовленную при выделении учебных задач (см. раздел 2.2.3.1). Пример графа иерархии целей с нанесенными на нем данными по претестам и посттестам показан на Рис. 5.19. Анализируя представленные данные видно, что цель 1.0 достигнута с удовлетворительным результатом. В то же время, итоговая цель 0.0 достигнута на уровне ниже, чем любая из целей предыдущего уровня. Это означает, что учебный материал, обеспечивающий достижение цели 0.0 необходимо пересматривать (улучшать). Итоговый результат по цели 2.0 выглядит сравнительно успешным (80%). Однако, как показывает претест, половина членов группы уже знали соответствующий материал. Значит обучение оказалось успешным лишь для 30% обучаемых (что хуже чем для любой из других целей). Вывод: учебный материал, предназначенный для достижения цели 2.0 требуется пересмотреть.

Важной практической характеристикой обучающей программы является время обучения. Здесь важно не столько общее время обучения (которое существенно зависит от материала), как отклонение от среднего времени обучения. Небольшое разброс во времени обучения свидетельствует о том, что различия в индивидуальных стилях работы обучаемых учитываются достаточно хорошо.
Рис. 5.19. Иерархия целей обучения с данными по претестам и посттестам.





Как показывает опыт, анализ результатов обучения в группе лучше начать с оценки достижения целей обучения: выполнение практических упражнений, итоговых тестов, оценки переноса результатов обучения на рабочее место. Это помогает выяснить, какие части (уроки, разделы, кадры) курса требуют специального внимания. Затем, пользуясь другими материалами (замечания обучаемых и преподавателей, наблюдения за их работой и т.п.), можно выяснять, в чем собственно состоят возникшие затруднения и предложить возможную модификацию КОП.

^

5.5.2. Полевые испытания.


В ходе полевых испытаний экспериментальное обучение проводится в условиях, которые максимально приближены к условиям реального использования обучающей программы. Полевые испытания проводят с уже законченным педагогическим продуктом, а сам этот вид оценки иногда называют «бета-тестом» разработанного материала. Полевые испытания обычно проводят для того, чтобы

проверить изменения, внесенные в обучающую программу по итогам предыдущих оценок,

выявить оставшиеся недостатки для их устранения в итоговой версии,

оценить эффективность обучения с помощью разработанной КОП.

Полевые испытания проводят с полностью законченной обучающей программой перед тем, как внести в нее последние исправления и начать тиражирование окончательной версии. Разработчик, как правило, выступает в роли оценщика, а само экспериментальное обучение рекомендуется проводить в нескольких точках. Например, если КОП создавалась для использования в ходе занятий в учебном центре и на рабочем месте обучаемых, полевые испытания программы желательно проводить и в условиях учебного центра, и на рабочих местах.

Полевые испытания, как правило, предшествуют завершению работу по созданию КОП. Диаграмма, приведенная на рис. 5.13, показывает соотношение полевых испытаний с другими видами формирующей оценки. Главное достоинство полевых испытаний в том, что они позволяют определить, будет ли разработанная КОП «действительно работать» с реальными пользователями на их реальных рабочих местах. Главный недостаток полевых испытаний в том, что они проводятся на заключительной фазе разработки, когда внести сколь ни будь существенные изменения в обучающую программу практически невозможно. По результатам бета-тестирования обычно дорабатывается пользовательская документация, методические пособия, проверяется устойчивость работы программы на разных конфигурациях оборудования. Например, если программа предназначена для работы с разными операционными системами (Windows 3.x и Windows’95/98) у Вас может не найтись возможности детально проверить работу программы на разных конфигурациях оборудования. Полевые испытания помогут вскрыть возможные проблемы до того, как итоговый программный продукт попадет к пользователю.

Техника проведения полевых испытаний во многом схожа с техникой проверки на группе испытуемых. Полевые испытания планируют, готовят, затем проводят обучения и собирают данные. Собранные данные обрабатывают и определяют необходимые доработки. Главное различие – обязательное использование реальных условий обучения. Количество обучаемых при полевых испытания, как правило, заметно выше.

Полевые испытания – последняя из формирующих оценок, получаемых в ходе разработки КОП. После их завершения рекомендуется подготовить итоговый отчет обо всех проведенных оценках. Этот отчет предоставляется членам команды разработчиков, и оценщикам. Отчет может содержать несколько небольших разделов размером 1 - 3 страницы каждый:

как в рамках плана разработки КОП планировалась оценка подготавливаемых материалов,

как проводилась каждая из оценок,

кто и какие результаты получил в результате каждой из проведенных оценок,

какие изменения были внесены в программу на основе полученных результатов,

какова действенность выполненных процедур оценки,

какие рекомендации можно получить в результате проведенной разработки для разработки обучающих программ в будущем,

какие рекомендации можно получить в результате проведенной разработки для проведения формирующей оценки обучающих программ в будущем.

Помните, что с завершением очередной разработки Ваша профессиональная карьера не заканчивается. Вы и вся команда разработчиков должны проанализировать и обобщить опыт, полученный в результате выполненной разработки. Главная задача отчета – продемонстрировать динамику разработки, отметить, насколько важными/неважными для результатов проекта оказались результаты формирующей оценки, какие методические примы и техники оказались наиболее эффектными в ходе разработки. Отчет может также включать пожелания о способах проведения формирующей оценки в будущих проектах разработки обучающих программ.


5.5.3. Упражнения.


Приведите соотношение между четырьмя способами формирующей оценки (экспертиза, лабораторный эксперимент, проверка на группе испытуемых, полевые испытания), указать на сильные и слабые стороны каждого из этих способов.

^ Перечислите, в чем состоит общее и различие между претестом и посттестом при проведении формирующей оценки.

Перечислите четыре возможных группы вопросы, которые обычно имеет в виду разработчик при подготовке плана проведения проверки на группе обучаемых. Приведите пример таких вопросов для каждой из перечисленных групп.

^ Привести три примера различных инструментов для сбора данных в ходе проверки на группе обучаемых.

Приведите два примера действий, которые рекомендуется выполнять оценщику при подготовке участников к проведению проверки на группе испытуемых.

Вы уже неоднократно выполняли упражнения, связанные с формирующей оценкой сценария КОП «Введение в Интернет». Подготовьте свой вариант итогового отчета по итоговым результатам этой работы.
1   ...   8   9   10   11   12   13   14   15   16

Похожие рефераты:

Планирование использования обучающих компьютерных программ и средств...

Использование интеллектуальных обучающих систем в образовательном процессе
В настоящее время наблюдается тенденция широкого внедрения компьютерных технологий в образовании. На наших глазах возникают нетрадиционные...
Презентация «Использование обучающих программ и средств интернета...
Родительское собрание: «Использование обучающих программ и средств Интернета в домашних условиях» с. 2
Ребёнок и компьютерная зависимость
С каждым годом все больше и больше обучающих компьютерных программ появляются на рынке, они ориентированы как на детей младших и...
Методические указания ф со пгу 18. 2/05 Министерство образования и науки Республики Казахстан
«Электроника». Вместе с тем методические указания включает материалы, необходимые для организации самостоятельной работы с использованием...
Практическая работа №1 Тема : Средства разработки программ для мк
Цели: Познакомиться со средой разработки Code Vision avr c compiler, научиться создавать в данной среде проекты и работать с ними;...
Літаратура, якая рэкамендуецца
Никитин, В. Н., Обухов В. Л., Религиоведение. Вероучение религий мира / В. Н. Никитин, В. Л. Обухов. – Спб,1999
Правительства Республики Казахстан от 2010 года № Правила разработки...
Настоящие Правила разработки и мониторинга отраслевых программ разработаны в соответствии с Указом Президента Республики Казахстан...
Программа курса (syllabus) по дисциплине «инструментальные средства разработки программ»
«30 августа» 2011г и рабочей программы дисциплины «Инструментальные средства разработки программ»
Положение о модульной системе организации обучения в Институте непрерывного...
Обучающие модули, сформированные на основе частей образовательных программ, реализуются в качестве и статусе образовательных программ...

Вы можете разместить ссылку на наш сайт:
Школьные материалы


При копировании материала укажите ссылку © 2013
контакты
referatdb.ru
referatdb.ru
Рефераты ДатаБаза