О СЕРТИФИКАЦИИ КАЧЕСТВА ПЕДАГОГИЧЕСКИХ
ТЕСТОВЫХ МАТЕРИАЛОВ
ПРИКАЗ
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РФ
17 апреля 2000 г.
N 1122
(НЦПИ)
С целью повышения качества образования и дальнейшего
совершенствования аттестационных тестовых технологий приказываю:
1. Создать Координационный совет Минобразования России по
вопросам сертификации качества педагогических тестовых материалов и
утвердить его состав (Приложение N 1).
2. Утвердить документы, регламентирующие процедуру сертификации
качества педагогических тестовых материалов:
2.1. Временное положение о сертификации качества педагогических
тестовых материалов, используемых для оценки знаний обучающихся в
образовательных учреждениях Российской Федерации (Приложение N 2).
2.2. Методические указания по подготовке педагогических тестовых
материалов к сертификации (Приложение N 3).
2.3. Положение о Координационном совете Минобразования России по
вопросам сертификации качества педагогических тестовых материалов
(Приложение N 4).
3. Возложить функцию головного учреждения в системе
Минобразования России по сертификации качества педагогических тестовых
материалов, используемых для оценки знаний студентов высших и средних
специальных учебных заведений, на Исследовательский центр проблем
качества подготовки специалистов Московского государственного
института стали и сплавов (технологического университета).
4. Возложить по согласованию с президентом Российской академии
образования Н.Д. Никандровым функцию головного учреждения по
сертификации качества педагогических тестовых материалов, используемых
для оценки знаний обучающихся во всех типах общеобразовательных
учреждений и учреждениях начального профессионального образования, на
Институт общего среднего образования Российской академии образования.
5. Управлению прогнозирования и развития системы образования
(В.М. Зуеву) предусмотреть на 2001 год за счет бюджетного
финансирования в рамках системы мероприятий по реализации Федеральной
программы развития образования работы Исследовательского центра
проблем качества подготовки специалистов Московского государственного
института стали и сплавов (технологического университета) по
совершенствованию научно - методического обеспечения системы
сертификации качества педагогических тестовых материалов.
6. Управлению образовательных программ и стандартов высшего и
среднего профессионального образования (Г.К. Шестакову) совместно с
Управлением послевузовского и дополнительного профессионального
образования (В.В. Безлепкиным) до 01.08.2000 разработать и утвердить
государственные требования, предъявляемые к программам
профессиональной переподготовки в области тестирования.
7. Головным учреждениям по сертификации качества педагогических
тестовых материалов разработать и представить на утверждение в
Координационный совет Минобразования России по вопросам сертификации
качества педагогических тестовых материалов до 1 июня 2000 г. образцы
сертификата качества педагогического тестового материала и
свидетельства о прохождении экспертизы сертификации качества
педагогических тестовых материалов.
8. Рекомендовать руководителям органов управления образованием
различных уровней, ректорам высших учебных заведений, руководителям
общеобразовательных учреждений, учреждений начального
профессионального и среднего профессионального образования
пользоваться для оценки знаний обучаемых методом тестирования
сертифицированными педагогическими тестовыми материалами.
9. Считать утратившим силу Приказ Минобразования России от
25.06.97 N 1300.
10. Контроль за исполнением настоящего Приказа возложить на
заместителя Министра В.Д. Шадрикова.
Министр образования
Российской Федерации
В.М.ФИЛИППОВ
17 апреля 2000 г.
N 1122
Приложение N 1
к Приказу Минобразования России
от 17 апреля 2000 года
N 1122
СОСТАВ
КООРДИНАЦИОННОГО СОВЕТА МИНОБРАЗОВАНИЯ РОССИИ ПО ВОПРОСАМ
СЕРТИФИКАЦИИ КАЧЕСТВА ПЕДАГОГИЧЕСКИХ ТЕСТОВЫХ МАТЕРИАЛОВ
1. Селезнева Н.А. (председатель) - директор Исследовательского
центра проблем качества подготовки специалистов Московского
государственного института стали и сплавов (технологического
университета), д.т.н., профессор.
2. Шестаков Г.К. (зам. председателя) - начальник Управления
образовательных программ и стандартов высшего и среднего
профессионального образования, д.х.н., профессор.
3. Дик Ю.И. (зам. председателя) - директор Института общего
среднего образования РАО, д.пед.н., член - корреспондент РАО.
4. Челышкова М.Б. (ученый секретарь) - заведующая кафедрой
педагогических измерений Исследовательского центра проблем качества
подготовки специалистов Московского государственного института стали и
сплавов (технологического университета), к.пед.н., доцент.
5. Арсеньев Г.В. - заместитель начальника Управления высшего
профессионального образования, к.т.н.
6. Анурин В.О. - председатель Государственной инспекции по
аттестации учебных заведений России, к.ф.-м.н., доцент
7. Андреев С.С. - заместитель начальника учебно - методического
управления Новгородского государственного университета, к.т.н.,
доцент.
8. Бородулин И.Н. - проректор по учебной работе, заместитель
председателя совета учебно - методических объединений по образованию в
области электроники и прикладной математики, к.т.н., доцент.
9. Бухаров А.В. - директор негосударственного образовательного
учреждения "Учебный центр ОАО "Газпром", к.г.-м.н., доцент.
10. Бархатова Т.А. - начальник информационно - методического
отдела Государственной инспекции по аттестации учебных заведений
России.
11. Григорьев С.Г. - начальник управления информатизации
Финансовой академии при Правительстве Российской Федерации, д.т.н.,
профессор.
12. Дьяконов И.А. - директор Головного центра тестирования
граждан зарубежных стран по русскому языку Минобразования России,
к.ф.-м.н., доцент.
13. Ковалева Г.С. - заведующая Центром оценки качества
образования Института общего среднего образования Российской академии
образования, к.пед.н.
14. Краснокутская Л.А. - ведущий сотрудник Центра оценки качества
образования Института общего среднего образования Российской академии
образования, к.ф.-м.н.
15. Куклин В.Ж. - заместитель директора Научно - информационного
центра государственной аккредитации Минобразования России, к.т.н.,
доцент.
16. Леонтьева М.Р. - руководитель Департамента общего среднего
образования, к.пед.н.
17. Лежнина Е.И. - заместитель директора по научно - методической
работе Московского областного медицинского колледжа.
18. Логинова О.Б. - проректор Московского института повышения
квалификации работников образования, к.пед.н.
19. Максимов Н.И. - председатель Координационного совета УМО и
НМС, к.т.н., профессор.
20. Собин О.А. - руководитель Экспериментального центра
переподготовки и повышения квалификации педагогических кадров при
Московской государственной геологоразведочной академии, к.т.н.,
профессор.
21. Татур А.О. - руководитель Центра педагогических измерений
Московского института повышения квалификации работников образования,
к.ф.-м.н.
22. Хлебников В.А. - и.о. директора Центра тестирования
Министерства образования Российской Федерации, к.т.н., доцент.
23. Шмелев А.Г. - профессор Московского государственного
университета им. М.В. Ломоносова, д.пс.н.
24. Ярошенко Н.Г. - заместитель начальника Управления среднего
профессионального образования, к.пед.н.
Приложение N 2
к Приказу Минобразования России
от 17 апреля 2000 года
N 1122
ВРЕМЕННОЕ ПОЛОЖЕНИЕ
О СЕРТИФИКАЦИИ КАЧЕСТВА ПЕДАГОГИЧЕСКИХ ТЕСТОВЫХ
МАТЕРИАЛОВ, ИСПОЛЬЗУЕМЫХ ДЛЯ ОЦЕНКИ ЗНАНИЙ
ОБУЧАЮЩИХСЯ В ОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЯХ
РОССИЙСКОЙ ФЕДЕРАЦИИ
Общие положения
1. Настоящее Временное положение определяет цель, предмет,
содержание и организацию процедуры сертификации качества
педагогических тестовых материалов (далее - ПТМ), используемых для
оценки знаний обучающихся в образовательных учреждениях Российской
Федерации.
2. Цель сертификации - повышение качества образования путем
совершенствования ПТМ, применяемых для оценки знаний обучающихся
методом тестирования в учебных заведениях Российской Федерации. При
этом решаются две задачи: первая - выявление и фиксация достигнутого
уровня качества сертифицируемых ПТМ, вторая - разработка рекомендаций,
определяющих методику совершенствования ПТМ.
3. Предметом и содержанием сертификации является установление
степени соответствия характеристик ПТМ действующим на момент
сертификации требованиям к их качеству. Требования утверждаются
Координационным советом Минобразования России по вопросам сертификации
качества ПТМ (далее - Координационный совет). Требования подлежат
обновлению не реже одного раза в три года.
4. Основными принципами сертификации являются научная
обоснованность, объективность, конфиденциальность, систематическая
отчетность. Принцип научной обоснованности регламентирует
использование в процессе сертификации современного научного аппарата.
Принцип объективности предполагает экспертизу качества тестов по
единой методике. Принцип конфиденциальности предписывает неразглашение
содержательной части ПТМ, представленных на экспертизу, и результатов
экспертизы внешним пользователям.
Процедура сертификации
5. Процедура сертификации качества ПТМ состоит из двух
последовательных этапов. Первый этап - экспертиза ПТМ, включающая
оценку качества содержания, правильности форм заданий и статистических
характеристик ПТМ. Второй этап - сертификация. ПТМ, прошедшим
экспертизу и удовлетворяющим утвержденным требованиям к их качеству,
выдается сертификат качества ПТМ (в дальнейшем - сертификат). Образец
бланка сертификата разрабатывается головными учреждениями по
сертификации качества ПТМ и утверждается Координационным советом.
6. Сертификат дает право на использование ПТМ с целью оценки
знаний обучающихся. Сертификат снабжается бланком с паспортными
данными ПТМ, содержащими информацию о характеристиках ПТМ, и имеет
регистрационный номер, совпадающий с регистрационным номером ПТМ.
Бланк сертификата изготовляется на бумаге с водяными знаками.
7. При неполном соответствии характеристик ПТМ требованиям
качества выдается свидетельство о прохождении процедуры сертификации.
Свидетельство удостоверяет факт прохождения процедуры сертификации и
содержит рекомендации по доработке ПТМ. Образец свидетельства и
содержание рекомендаций по доработке ПТМ разрабатываются головными
учреждениями по сертификации качества ПТМ и утверждаются
Координационным советом. Бланк свидетельства изготовляется на бумаге с
водяными знаками.
Требования к организации проведения сертификации
8. Сертификация проводится на базе головных учреждений:
Исследовательского центра проблем качества подготовки специалистов
Московского государственного института стали и сплавов
(технологического университета) и Института общего среднего
образования Российской академии образования (далее - головные
учреждения).
9. Сертификация ПТМ проводится по желанию авторов тестов или по
заявкам учебных заведений на договорной основе. Стоимость затрат на
проведение сертификации определяется типовой сметой расходов,
утверждаемой Координационным советом.
10. Средства, перечисляемые заказчиками, поступают на счета
головных учреждений по сертификации качества ПТМ и расходуются на
оплату труда экспертов, организацию процесса сертификации, на развитие
и совершенствование методического и материально - технического
оснащения процедуры сертификации.
11. Сертификация проводится на основании договора, заключаемого
между заказчиками работ и головными учреждениями. Договор может
предусматривать оказание заказчику дополнительных услуг по доработке
ПТМ. Объем последних определяет сертифицирующая организация в тех
случаях, когда ПТМ требуют доработки для доведения их качества до
уровня требований сертификации.
12. С целью проведения самой процедуры сертификации на базе
головных учреждений создаются экспертные группы. Состав экспертных
групп утверждается Минобразованием России по представлению головных
учреждений. В состав экспертов не должны входить представители
учебного заведения, заказавшего проведение работ по сертификации.
13. Работа экспертных групп осуществляется по специальным
методикам, одобренным Координационным советом и утвержденным
Минобразованием России.
14. Оформление результатов сертификации и выдача сертификата
проводятся в порядке, утвержденном Координационным советом, и в
соответствии с описанной выше процедурой сертификации.
15. Ежегодные отчеты о результатах сертификации (в аннотированной
форме) передаются головными учреждениями в Координационный совет.
16. Сертифицированные ПТМ помещаются с согласия заказчика
(автора) в информационные базы головных учреждений для создания
Федерального фонда ПТМ (банка тестов). Головные организации не
обладают правом передачи ПТМ без согласия авторов.
17. Сертификат дает право на использование ПТМ для оценки знаний
обучающихся методом тестирования только в соответствии с паспортными
данными ПТМ. При любых изменениях, приводящих к нарушению паспортных
данных ПТМ, зафиксированных в процессе сертификации ПТМ, сертификат
утрачивает силу.
18. При возникновении конфликтных ситуаций, связанных с
заключениями экспертов, заказчики работ обладают правом обращаться в
Координационный совет с целью назначения дополнительной экспертизы.
Перечень документов и материалов, необходимых
для выполнения сертификации
19. Для проведения экспертизы качества содержания сертифицируемых
ПТМ заказчик работ должен представить следующее:
I. Для тестирования, проводимого на бумажных носителях:
1) общие данные о тесте;
2) тексты всех разработанных вариантов тестов в распечатанном
виде, готовом для предъявления тестируемым;
3) спецификацию теста;
4) таблицу правильных ответов с критериями оценки (в баллах) за
выполнение каждого задания;
5) эмпирические результаты апробации ПТМ в виде матриц (на
дискете) с указанием дат проведения тестирования;
6) описание выборки стандартизации, использованной при разработке
ПТМ, и основания для ее стратификации с указанием объема выборки;
7) статистические характеристики всех заданий и вариантов теста;
8) шкалу и правила оценки результатов;
9) все сопроводительные материалы по проведению тестирования.
II. Для компьютерного тестирования:
1) структуру и характеристики банка тестовых материалов;
2) распечатки тестовых заданий и отдельных вариантов тестов со
всеми имеющимися характеристиками по выбору экспертов;
3) технологию формирования и предъявления теста;
4) демонстрационную версию банка;
5) систему оценивания результатов тестирования.
Приложение N 3
к Приказу Минобразования России
от 17 апреля 2000 года
N 1122
МЕТОДИЧЕСКИЕ УКАЗАНИЯ
ПО ПОДГОТОВКЕ ПЕДАГОГИЧЕСКИХ ТЕСТОВЫХ МАТЕРИАЛОВ К СЕРТИФИКАЦИИ
С целью подготовки ПТМ к процедуре сертификации заказчики
(авторы) самостоятельно оценивают качество содержания ПТМ, проверяют
соответствие заданий требованиям тестовой формы и выявляют
статистические характеристики ПТМ.
1. Общие данные о ПТМ должны включать:
а) название учебного предмета;
б) название образовательной программы и год обучения;
в) авторский коллектив разработчиков;
г) период разработки (даты начала и конца);
д) даты прохождения экспертизы тестов и тестовых заданий, число
экспертов, даты прохождения апробации тестов.
2. Спецификация ПТМ должна включать:
а) цели создания ПТМ (входная аттестация, промежуточная
аттестация, итоговая аттестация);
б) перечень специальностей и направлений подготовки, для которых
планируется использование ПТМ (в высших и средних специальных учебных
заведениях);
в) перечень исходных документов, использованных при разработке
ПТМ (ГОС или документы их заменяющие, с указанием года и места
издания, наименование программ вступительных испытаний и.т.п.);
г) вид ПТМ (гомогенный или гетерогенный);
д) наименование подхода к разработке ПТМ (нормативно -
ориентированный, критериально - ориентированный или смешанный);
е) число заданий в каждом варианте ПТМ;
ж) число вариантов ПТМ;
з) количество и процентное содержание заданий каждой формы;
и) число ответов к заданиям с выбором ответа;
к) вес каждого задания при подсчете баллов испытуемых;
л) время выполнения теста и время выполнения каждого задания;
м) соотношение заданий в каждом варианте ПТМ по разделам
(содержательным линиям) и видам деятельности (знаниям, умениям)
испытуемых (в виде таблицы и с подробной расшифровкой);
н) способ формирования вариантов ПТМ (кластерная модель или
параллельные формы).
3. Статистические характеристики заданий и теста должны включать:
а) данные о трудности заданий в долях правильных ответов
испытуемых, процентах правильных ответов или в шкале логитов (при
использовании современной теории конструирования тестов);
б) для закрытых заданий теста - статистические данные о
дистракторах;
в) для открытых заданий - распределение ответов испытуемых в
соответствии со схемой оценки выполнения заданий;
г) данные о дискриминативности заданий, полученные с помощью
индекса дискриминативности, точечно - бисериального коэффициента
корреляции, параметра дифференцирующей способности заданий теста (при
использовании современной теории конструирования тестов);
д) результаты проверки правдоподобности гипотезы о нормальном
распределении эмпирических результатов по тесту (для нормативно -
ориентированных тестов);
е) нормы (для нормативно - ориентированных тестов), включающие
среднее значение сырых баллов, дисперсию и т.д. с указанием временного
промежутка действия норм;
ж) критериальный балл (для критериально - ориентированных
тестов), сопровождаемый описанием процедуры его получения и
результатами его эмпирической валидизации (с указанием временного
промежутка действия балла);
з) данные о надежности теста с указанием методов их получения;
и) данные о валидности теста с указанием типа валидности и
использованного метода получения оценок;
к) данные анализа корреляционных связей заданий;
л) для гетерогенных тестов данные о результатах факторного
анализа, количестве и видах шкал;
м) оптимальное время выполнения теста;
н) данные об информативности теста с точки зрения соответствия
целевой информационной функции (если использовалась современная теория
конструирования теста).
4. При проведении содержательной экспертизы ПТМ используются
следующие критерии:
а) полнота отображения материала образовательной программы при
отборе содержания ПТМ;
б) правильность пропорций, выбранных при отображении разделов
предмета (содержательных линий);
в) полнота охвата требований государственных образовательных
стандартов в ПТМ;
г) соответствие содержания заданий знаниям, умениям и навыкам,
запланированным для проверки в спецификации ПТМ;
д) значимость содержания каждого задания ПТМ для целей проверки.
5. Задания сертифицируемых ПТМ рекомендуется разрабатывать в
одной из четырех форм:
а) задания с выбором ответов (испытуемый выбирает правильный
ответ (ответы) из числа готовых, предлагаемых в задании теста);
б) задания на дополнение (испытуемый сам формулирует краткий или
развернутый ответ);
в) задания на установление соответствия между элементами двух
множеств;
г) задания на установление правильной последовательности в ряду
предлагаемых элементов.
Разрабатываемые задания должны соответствовать ряду требований,
которые можно подразделить на общие, инвариантные относительно
выбранной формы и на специальные, отражающие специфику форм заданий
теста. К общим требованиям относят:
наличие порядкового номера задания, установленного согласно
статистическим оценкам трудности и выбранной разработчиком стратегии
предъявления заданий теста;
наличие стандартной инструкции, адекватной форме заданий теста;
определенность мест расположения элементов заданий;
наличие эталонов правильных ответов к заданиям (кроме случая
использования заданий в открытой форме со свободно конструируемым
ответом) и правил, выбранных разработчиком для оценки результатов
выполнения теста с обоснованием выбора весовых коэффициентов, если они
имеются.
В отличие от общих специальные требования довольно многочисленны.
Они излагаются в пособиях по тестовой проблематике, а также в
развернутых методических рекомендациях, которые выдаются заказчикам
после заключения договора на сертификацию ПТМ.
В сертифицируемых ПТМ допускается сочетание различных форм. В том
случае, когда формы чередуются, соответствующим образом должна
меняться инструкция к заданиям теста.
При подготовке материалов для сертификации рекомендуется
использовать пособия по тестовой проблематике, приведенные ниже.
Рекомендуемая литература:
1. Анастази А., Психологическое тестирование, пер. с англ., в 2
кн. - М.: Педагогика, 1982.
2. Аванесов В.С. Композиция тестовых заданий. Учебное пособие. -
М.: Ассоциация инженеров - педагогов, 1996.
3. Клайн П., Введение в психометрическое программирование.
Справочное руководство по конструированию тестов. - Киев, 1994.
4. Столин В.В., Шмелев А.Г. Дифференциальная психометрика. - М.:
МГУ, 1984.
5. Челышкова М.Б. Разработка педагогических тестов на основе
современных математических моделей. Учебное пособие. - М.: И. Ц, 1995.
6. Челышкова М.Б., Ковалева Г.С. Теория и практика
конструирования педагогических тестов. Учебное пособие.
Рекомендации подготовлены группой авторов в составе: М.Б.
Челышкова, Г.С. Ковалева, А.О. Татур.
Приложение N 4
к Приказу Минобразования России
от 17 апреля 2000 года
N 1122
ПОЛОЖЕНИЕ
О КООРДИНАЦИОННОМ СОВЕТЕ МИНОБРАЗОВАНИЯ РОССИИ ПО ВОПРОСАМ
СЕРТИФИКАЦИИ КАЧЕСТВА ПЕДАГОГИЧЕСКИХ ТЕСТОВЫХ МАТЕРИАЛОВ
1. Координационный совет Минобразования России по вопросам
сертификации качества педагогических тестовых материалов (далее -
Координационный совет) является государственно - общественным органом
Министерства образования Российской Федерации, действующим в целях
научно - методического обеспечения и контроля процесса сертификации
качества педагогических тестовых материалов (далее - ПТМ).
2. Координационный совет создается, реорганизуется и
ликвидируется приказом Минобразования России.
В состав Координационного совета входят ведущие специалисты в
области тестирования, представители научно - исследовательских
организаций и учреждений системы образования и Минобразования России.
3. Координационный совет возглавляет председатель. Подготовку
заседаний Координационного совета и доведение принятых им решений до
сведения заинтересованных организаций осуществляет ученый секретарь.
4. Координационный совет в своей деятельности руководствуется:
законодательными актами Российской Федерации,
постановлениями Правительства Российской Федерации в области
образования,
нормативно - правовыми актами Минобразования России,
настоящим Положением.
5. Основными задачами и функциями Координационного совета
являются:
осуществление контроля за соблюдением требований к качеству ПТМ в
процессе сертификации, а также за обоснованностью результатов
экспертизы качества сертифицируемых ПТМ,
выявление проблем и трудностей, замедляющих становление процесса
сертификации ПТМ,
внесение предложений в программы работ головных учреждений в
системе Минобразования России по сертификации качества ПТМ, в области
сертификации ПТМ и определение приоритетных направлений их
деятельности по сертификации (ежегодно);
обсуждение отчетов головных учреждений в системе Минобразования
России по сертификации качества ПТМ и их утверждение (ежегодно);
согласование перечня документов и материалов, представляемых
заказчиком, а также требований к качеству ПТМ;
согласование методик экспертизы качества ПТМ;
утверждение формы бланка сертификата ПТМ;
разработка рекомендаций по совершенствованию процесса
сертификации ПТМ, в том числе определение приоритетных научно -
исследовательских работ по расширению и совершенствованию процесса и
системы сертификации ПТМ;
рассмотрение случаев апелляций со стороны заказчиков;
определение порядка оформления и выдачи сертификатов.
6. Координационный совет в соответствии с возложенными на него
задачами имеет право получать отчеты головных учреждений в системе
Минобразования России по сертификации качества ПТМ, документы и
материалы Минобразования России и другую необходимую информацию по
вопросам разработки и использования тестов.
7. Члены Координационного совета и члены экспертных групп должны
соблюдать принцип конфиденциальности по отношению к содержательной
части ПТМ, представленных на экспертизу, и результатам экспертизы для
внешних пользователей.
8. Работа Координационного совета проводится по плану. Заседания
Координационного совета проводятся не реже одного раза в два месяца.
Решения Координационного совета принимаются большинством голосов
членов совета, если на заседании присутствует не менее 2/3 членов
совета. |