Разработка информационного обеспечения персонализированного тестирования с использованием экспертного оценивания

Игрунова С.В.

Разработка информационного обеспечения персонализированного тестирования с использованием экспертного оценивания

09.04.03 Прикладная информатика

Информатика

Дипломы

Вуз: Белгородский государственный университет - национальный исследовательский университет (НИУ «БелГУ»)

ID: 5c1a5af67966e104f6f854a4

UUID: 80a4eb30-e5cb-0136-feec-525400005860

Язык: Русский

Опубликовано: больше 5 лет назад

Просмотры: 13

Игрунова С.В.

Источник: Федеральное государственное автономное образовательное учреждение высшего образования «Белгородский государственный национальный исследовательский университет»

Комментировать 0

Рецензировать 0

Скачать - 2,6 МБ

Поделиться работой

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «БЕЛГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ» (НИУ «БелГУ») ИНСТИТУТ ИНЖЕНЕРНЫХ ТЕХНОЛОГИЙ И ЕСТЕСТВЕННЫХ НАУК КАФЕДРА ПРИКЛАДНОЙ ИНФОРМАТИКИ И ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ РАЗРАБОТКА ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ ПЕРСОНАЛИЗИРОВАННОГО ТЕСТИРОВАНИЯ С ИСПОЛЬЗОВАНИЕМ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ Выпускная квалификационная работа обучающегося по направлению подготовки 09.04.03 Прикладная информатика очной формы обучения, группы 07001633 Игруновой Светланы Васильевны Научный руководитель к.т.н., доцент Гахова Н.Н. Рецензент к.т.н., доцент кафедры информационнотелекоммуникационных систем и технологий Девицына С.Н. БЕЛГОРОД 2018

СОДЕРЖАНИЕ ВВЕДЕНИЕ .............................................................................................................. 3 1 Анализ предметной области ............................................................................... 9 1.1 Особенности деятельности коммерческих учебных заведений в области практической психологии ...................................................................................... 9 1.2 Тестирование как метод в психологии ......................................................... 13 1.3 Функциональная модель системы тестирования вуза ................................. 19 1.4 Постановка задачи исследования .................................................................. 23 2 Разработка информационного обеспечения персонализированного тестирования с использованием экспертного оценивания ............................... 26 2.1 Общая методология разработки тестов ........................................................ 26 2.2 Методы экспертной оценки в тестировании ................................................ 29 2.3 Метод персонализированного тестирования с использованием экспертного оценивания ....................................................................................... 32 2.4 Сравнительный анализ информационного обеспечения для разработки персонализированного тестирования .................................................................. 47 3 Программная реализация информационного обеспечения персонализированного тестирования с использованием экспертного оценивания ............................................................................................................. 58 3.1 Разработка концептуальной модели системы .............................................. 58 3.2 Разработка интерфейса ................................................................................... 60 3.3 Тестирование интерфейса автоматизированной подсистемы .................... 66 ЗАКЛЮЧЕНИЕ ..................................................................................................... 72 СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ........................................... 74 ПРИЛОЖЕНИЕ А ................................................................................................. 81 ПРИЛОЖЕНИЕ Б .................................................................................................. 83 2

ВВЕДЕНИЕ В российской системе высшего профессионального образования в последние годы, прослеживается усиление интереса к современным методам объективного контроля полученных знаний в результате обучения на основе применения методов принятия решений. Это отражает современные мировые взгляды на контрольно-оценочную систему в образовании, в которой контроль, оценка и обучение являются составляющими единого образовательного процесса, на ее возможное влияние на сам процесс обучения. «Эти перемены имеют также в качестве одной из причин массовую компьютеризацию (активное внедрение Интернет-технологий) образовательных учреждений, а также «корпоративных университетов» систем профессиональной переподготовки кадров внутри современных корпораций. Этот процесс создает материально-технические предпосылки для использования стандартизированных процедур (тестов) как средства автоматизации системы контроля. Прикладное затрагивает в применение настоящее производственные тестов время предприятия, не профессиональных достижений только и крупные условиях научно- вынужденные вузы, в но технической революции постоянно заниматься процессами переподготовки персонала и самим осуществлять контроля качества переподготовки. Развитие непрерывного образования выражается в постоянной работе профессионала над своими профессиональными знаниями. Тесты профессиональных достижений в этих условиях являются одним из основных инструментов для объективной обратной связи об эффективности результатов этого непрерывного образования» [34]. В нашей стране в последние два десятилетия технологии контроля в виде тестов стали основой не только общефедеральных государственных проектов как Единый государственный экзамен (ЕГЭ), но и внедряются на 3

всех уровнях отдельных образовательных учреждений: школ, вузов, сузов, отдельных дисциплин. Как отмечает автор исследований в сфере образовательных технологий Чумаков А.А., это «обусловлено несколькими факторами, к числу которых можно отнести: а) переходом России к рыночной экономике, в рамках которой востребованы более объективные и одновременно более дешевые по реализации процедуры контроля за уровнем подготовки профессиональных кадров, б) глобальной микрокомпьютерной революцией и значительным ростом числа пользователей (как отдельных лиц, так и целых сообществ), использующих для решения профессиональных задач среду Интернет, позволяющей значительно ускорить и автоматизировать многие этапы разработки и применения тестовых технологий» [36]. Широко используемые для оценки образовательных достижений студентов сетевые инструментально-измерительные технологии позволяют расширить возможности способов проверки полученных знаний, сделать проверку комплексной, учитывающей особенности направления подготовки, дают возможность работать с современным материалом, с реальными данными в режиме онлайн. Одним из наиболее оправданных направлений применения тестовых технологий является процесс обучения студентовпсихологов. Психолог - «это специалист, который занимается изучением проявлений и форм психических явлений личности в различных областях человеческой деятельности. Практикующий психолог использует свои знания для прикладных задач, а также с целью оказания психологической помощи, поддержки и сопровождения» [24]. При обучении по данной специальности необходим большой экспериментальный материал, используемый для проведения анализа и, чем больше практических заданий, выполняемых под контролем преподавателя, тем будет более подготовлен специалист. В процессе подготовки психологов требуется решение ситуационных задач, желательно «основанных на реальных событиях», для этого 4

необходимы люди или, например, данные реально пройденных тестов. Эти данные должны храниться таким образом, чтобы не нарушалась конфиденциальность. В связи с этим возникает вопрос разработки информационного обеспечения персонализированного тестирования, позволяющего оценивать результат прохождения теста с возможностью сохранения данных. Эти данные могут быть подвержены дальнейшей обработке, позволяющей выявить валидность вопросов теста, откорректировать тесты, следовательно, необходима четкая и научно обоснованная психолого-педагогическая концепция создания и внедрения компьютеризированных тестовых методик контроля знаний. Актуальность темы исследования. На сегодняшний день информационные технологии применяются практически во всех сферах деятельности человека, включая образование. Они используются для автоматизации существующих процессов в традиционных формах обучения и для реализации новых методов обучения. Также, большую роль современные информационные технологии играют в психологическом исследовании, которое может проводиться в образовательных учреждениях, занимающихся подготовкой психологов. Психологическое тестирование позволяет выявить сильные и слабые стороны студентов, использовать их для налаживания отношений, создание социальной, сплоченной группы. Сфера психологического тестирования (психодиагностики) – выявление профессионально важных качеств личности, существенно влияющих на эффективность профессиональной деятельности человека, на возникновение эмоциональных состояний и, соответственно, на когнитивную сферу человека. С помощью компьютерных технологий повышается эффективность работы, так как появляется возможность проводить тестирование одновременно целой группы людей, существенно уменьшить рутинную бумажную работу и повысить точность результатов, практически исключив человеческий фактор. 5

Также, компьютерные технологии позволяют повысить эффективность подготовки самих психологов. Применяя разнообразные формы проведения тестирования, комбинируя и интегрируя различные методики, тем самым обучая новых специалистов в данной области. Объектом исследования является процесс проведения персонализированного психологического тестирования с использованием экспертного оценивания. Предметом исследования являются методы проведения персонализированного психологического тестирования. Целью исследования в квалификационной работе является совершенствование процесса обучения студентов-психологов в результате применения информационного обеспечения персонализированного тестирования с использованием экспертного оценивания. Для достижения поставленной цели сформулированы следующие задачи:  провести анализ особенности деятельности коммерческих учебных заведений в области практической психологии;  провести анализ существующих методов проведения тестирования с использованием современных информационных технологий и средств автоматизации в процессе обучения студентов-психологов;  разработать информационную модель психологического тестирования с использованием экспертного оценивания;  выполнить программную реализацию системы на основании информационной модели и протестировать ее. Методы исследования основываются методе тестирования, методе моделирования бизнес-процессов, методах экспертного оценивания. Положения, выносимые на защиту: 1. Комплексность исследования к проведению процедуры психологического тестирования пользователей, позволяет собрать банк 6

ответов, за счет совместного использования методов тестирования и экспертных оценок; 2. Использование возможностей методологического аппарата теории принятия решений при тестировании пользователей сайта позволяет разработать функциональную и структурную модели автоматизированной системы психологического тестирования с использованием экспертного оценивания. Научная новизна исследования: 1. Предложен подход к экспертному оцениванию процесса проведения тестирования, предусматривающий комплексность исследования к проведению процедуры психологического тестирования пользователей, позволяет собрать банк ответов, за счет совместного использования методов тестирования и экспертных оценок. 2. Разработана автоматизированная система поддержки принятия решений по оцениванию вопросов тестов, отличающаяся от существующих аналогов возможностью обработки различных типов информации. Практическая квалификационной разработанного значимость работы состоит информационного в результатов выпускной возможности использования обеспечения персонализированного тестирования с использованием экспертного оценивания в образовательном процессе студентов-психологов для повышения эффективности процесса обучения. Анализ проводился на исходных данных Воронежского института практической психологии и психологии бизнеса. Краткое содержание глав. Во введении обоснована актуальность темы исследования, изложены предмет и объект, цель и задачи исследования, методы исследования, научная новизна, гипотеза, этапы исследования и описание апробации системы. В первом разделе проведен анализ особенностей деятельности коммерческих учебных заведений в области практической психологии. 7

Проанализированы этапы подготовки студентов-психологов, возможность применения в учебном процессе средств автоматизации, в частности компьютерного тестирования. Построена функциональная модель системы тестирования. Во втором разделе проведен анализ существующих методов проведения тестирования с использованием современных информационных технологий и средств автоматизации в процессе обучения студентовпсихологов. Изучены способы экспертного оценивания, определены особенности для психологического тестирования. На основе проведенного анализа, для реализации поставленных задач и намеченной цели выбрано программное обеспечение. В третьем информационного разделе описан обеспечения процесс программной персонализированного реализации тестирования с элементами экспертного оценивания: разработана концептуальная модель системы, разработан интерфейс, проведено тестирование разработанной автоматизированной подсистемы. Апробация результатов исследования. Результаты исследования были опубликованы в международном научно-практическом журнале «Теория и практика современной науки» (январь, 2018); докладывались на Международной заочной научно-практической конференции «Актуальные направления научных исследований XXI века: теория и практика» (г. Воронеж, 2017 г.), на Международной научно-практической конференции «Наука и образование: отечественный и зарубежный опыт» (г. Белгород, 2018г.) на научных семинарах робототехнических систем НИУ «БелГУ». 8 кафедры информационных и

1 Анализ предметной области 1.1 Особенности деятельности коммерческих учебных заведений в области практической психологии В научных работах многих авторов психолого-педагогической литературы (Аванесов, 1998; Гильбух, 1976; Зинченко, 1982; Клайн, 1994; Майоров, 2000; Талызина, 1975; Шмелев, 1999) достаточно часто обращается внимание на трудности и проблемы, связанные с оценкой знаний: «недостаточная сформулированность целей образования и, следовательно, критериев оценки, субъективизм производящего оценивание, отсутствие четких критериев, по которым производится оценка», и т.п. Попытки решения указанных проблем предпринимались с разных позиций во многих работах психологов, педагогов, компьютерщиков. Но, на наш взгляд, отдельно взятая тестовая технология, даже разработанная по всем правилам математической теории тестов, не может снять ряд специфических психологических проблем, связанных «информационно-коммуникативной применения тестов, психологического которая отчуждения среды бы с в такой организацией процессе снимала преподавателей создания негативный от и эффект образовательного процесса» [32]. Тестирование - это достаточно быстрый и в зависимости от контекста применения эффективный полученных знаний, способ который, контролирования на наш взгляд, и должен оценивания дополнять сложившиеся формы контроля успеваемости, что «позволит достигнуть, как минимум, три следующие методические и педагогические цели: а) Получение объективных статистических данных о результативности учебных курсов и трудностях в усвоение определенных элементов содержания образования. 9

б) Повышения мотивации и ответственности в отношении студентов к контролю их образовательных достижений. в) Совершенствование традиционной схемы приема экзаменов - в случае обнаружения резких расхождений между оценками экзаменаторов и оценкам студентов по тестам следует производить, как минимум, дополнительное устное собеседование экзаменаторов с экзаменуемым по материалам курса» [40]. В процессе подготовки студентов-психологов, особенно в коммерческих учебных заведениях, большое внимание должно уделяться практическим навыкам. Студенты должны уметь работать с реальным материалом, уметь его обрабатывать и анализировать. В том числе нужны навыки при создании и анализе результатов тестирования. Психологическое психологических тестирование качеств и - свойств исследование личности путем определённых использования психологических тестов. Психологическое тестирование довольно популярно и в обыденной жизни, а также все шире и шире используется в различных сферах общественной практики. Достаточно большое количество людей самостоятельно проходят тесты «для себя», не всегда оставаясь удовлетворенными полученными результатами, но идти на встречу с психологом, который может дать более полную оценку полученных результатов тестирования, также для большинства затруднительно. В своей работе Чумаков А.А. выделил условия эффективного внедрения тестового контроля в работу образовательных учреждений, которые, на наш психометрического, обеспечения: взгляд отражают инженерного необходимость и «базовой все необходимые компоненты организационно-управленческого тестологической грамотности педагогического коллектива: преподаватели, использующие эту форму контроля, должны понимать сильные и слабые стороны тестового контроля, знать типологию тестовых заданий и смысл статистических процедур их отбора, понимать устройство тестовых шкал и статистические принципы 10

педагогической диагностики»; наличие информационного обеспечения; наличие организационно-управленческого решения, который обеспечивает «разумное сочетание тестового контроля с действующей в той или иной степени налаженной системой оценки образовательных достижений учащихся» [40]. Данный общий тезис изучается в настоящей работе методом социально-практического эксперимента - на опыте внедрения системы тестового контроля в практику работы одного образовательного сайта Псиблог.рф Воронежского института практической психологии и психологии бизнеса. Таким образом, образования к концептуальным целесообразно отнести вопросам вопрос развития создания сферы системы компьютерного тестирования, которая бы не отчуждала преподавателей от процесса контроля, но позволяла им активно влиять на образовательный процесс, способствовала эффективному усвоению учебного материала студентами, и использовалась, с одной стороны, преподавателем для промежуточного и итогового контроля знаний и, с другой стороны, учащимся для самооценки уровня подготовленности в процессе самостоятельной работы. Экспериментальное исследование проводится на базе Воронежского Института Практической Психологии и Психологии Бизнеса, который основан в 1989 году в г. Воронеже. С момента своего образования институт осуществляет подготовку психологов-практиков, для работы в области индивидуального психологического консультирования и групповой психотерапии. Авторская концепция Института решает задачи подготовки психологов посредством помощи студентам в их личностной и профессиональной самореализации. Подготовка и стажировка в институте проходят по авторской программе, продолжаются в течение 3 лет, по окончании которых студенты получают диплом установленного образца. 11

Выпускники могут проявить себя в различных сферах психологической практики, в том числе, в сфере индивидуального психологического, организационного консультирования, преподавания психологии, а также в сфере психологии бизнеса и работы с персоналом. Отделение Практической Психологии ведет подготовку психологов в области психологической помощи и реабилитации населения Российской Федерации, имеющих авторитет не только в г. Воронеже и на территории Российской Федерации, но и за рубежом, гарантирует высокое качество обучения, ориентированного, прежде всего на получение практических навыков психологического консультирования и групповой работы. Отделение Психологии Бизнеса открыто для подготовки специалистов в области обучения и развития персонала и организационного консультирования. Знания и профессиональные навыки, полученные в результате обучения по данному направлению, позволяют овладеть такими профессиями как менеджер по обучению и развитию персонала, тренингменеджер, бизнес-тренер, организационный консультант. Данная профессиональная область – одна из «зон роста» всех специалистов, работающих в сфере управления. Эти направления представлены практической деятельностью Института в рамках: - Консультационного центра – индивидуальное консультирование и тренинговая работа, направленная на реабилитацию и личностную самореализацию клиентов; - Центра Тренинга и Развития – организационное консультирование и базовые бизнес-тренинги, направленные на мотивацию и обучение персонала компаний; - Кадрового центра VORONEZH STAFF - подбор и оценка персонала. Практическая деятельность по этим направлениям позволяет обеспечить стажировку и супервизию студентов и слушателей Института. 12

Для привлечения студентов, слушателей и интересующихся проблемами психологии существует сайт образовательного учреждения. Объем практических занятий резко отличается от стандартных учебных программ по направлению «Психология». Институт – единственное образовательное учреждение, в котором в систематической форме и в значительном объеме предлагаются методики и отрабатываются на практике навыки индивидуального психологического и организационного консультирования (более 500 часов), а также навыки тренинговой работы (более 400 часов). В современных условиях всеобщей информатизации, а, также учитывая специфику обучающихся, возможность или даже необходимость дистанционного непрерывного обучения, руководством вуза было принято решение разработать отдельно образовательный сайт. С 2011 года начал работу сайт «Псиблог.рф», на котором собраны самые важные и актуальные исследования мира психологии, иностранных психологических переводы статей, и дайджесты которые больше последних нигде не публикуются в русскоязычном информационном пространстве (имеются уникальные соглашения с иностранными авторами), а также статьи российских авторов. Лучшие статьи «ПсиБлога» публикуются в Альманахе периодическом издании Воронежского Института Психологии. Альманах «Психология. Теория и практика» выходит с 2012 года. 1.2 Тестирование как метод в психологии Методы психологии являются основными путями и приемами научного показания психических явлений и их закономерностей. Одним из видов эмпирических методов является тестирование. Тест представляет собой кратковременное задание, задачей которого является не получение новых научных дачных, а испытание, проверка [33]. 13

Существуют тесты, направленные на оценку интеллектуальных, перцептивных способностей, двигательных функций, личностных особенностей, порога возникновения тревоги, досады в определенной ситуации или интереса, проявляемого к тому или иному виду активности. Теоретически обоснованные и экспериментально апробированные тесты имеют научное (дифференциация испытуемых по уровню развития того или иного свойства, особенностей) и, главное, практическое (профотбор) значение. Наиболее широко известны и популярны личностные тесты, направленные на определение уровня интеллектуального развития личности. При разработке первых тестов были определены основные требования, которым должны удовлетворять «хорошие» тесты: валидность и надежность. Валидность теста заключается в том, что он должен оценивать именно то качество, для которого предназначен. Надежность теста заключается в том, что его результаты воспроизводятся с хорошим постоянством у одного и того же человека. Также является важным требование нормализации теста. Это означает, что для него в соответствии с данными испытания эталонной группы должны быть установлены нормы. Такая нормализация может не только четко определить группы лиц, к которым может быть применен данный тест, но и располагать результаты, получаемые при тестировании испытуемых, на кривой нормального распределения эталонной группы. Одна из наиболее удачных классификаций предложена американским психологом Розенцвейгом психодиагностики на С. три в 1950 группы: году. Он субъективные, разделил методы объективные и проективные. Субъективные методы (опросники и автобиографии) требуют от субъекта наблюдения за собой как за объектом. Объективные методы требуют исследования через наблюдение 14 за внешним поведением.

Проективные методы основываются на анализе реакций испытуемого на кажущийся личностно-нейтральным материал. Американский психолог Оллпорт Г.У. предложил различать в психодиагностике прямые и непрямые методы. В прямых методах выводы о свойствах и отношениях испытуемого делаются исходя из его сознательного отчета. В непрямых методах выводы делаются на основании идентификаций испытуемого. В отечественной психологии все психодиагностические методики принято подразделять на формализованные и малоформализованные. Для формализованных методик характерна жесткая регламентация процедуры обследования. диагностическую Эти информацию методики в короткие позволяют сроки, собирать количественно и качественно сравнивать результаты большого числа испытуемых. Малоформализованные методики дают ценные сведения об испытуемом в тех случаях, когда изучаемые явления плохо поддаются объективизации или чрезвычайно изменчивы. Малоформализованные методы требуют высокого профессионализма психолога, значительных затрат времени. Всю группу формализованных методик иногда называют тестами. В данной классификации они включают в себя четыре класса методик: тесты, опросники, проективные техники и психофизиологические методики. К малоформализованным методикам относятся: наблюдение, беседа, анализ продуктов деятельности. Методики, основанные на использовании принципа самооценки, называют субъективными. Субъективные методики в психодиагностике представлены опросниками – психодиагностическими методиками, задания которых представлены в виде вопросов. По процедуре использования опросники сближаются с анкетированием. Исследуемый читает предлагаемые ему вопросы и фиксирует ответы. Это дает возможность 15 проведения массового

психодиагностического исследования с помощью опросников. В отличие от анкет, выполняющих функцию сбора информации любой направленности, опросники нацелены на выявление личностных особенностей. Анкетирование обычно анонимно, тестирование с помощью опросника – персонифицировано. Анкетирование формально, ответы респондента не приводят ни к каким непосредственным последствиям, тестирование – личностно. Анкетирование более свободно по процедуре сбора информации, тестирование подразумевает непосредственный контакт с тестируемым. Опросник – это тест для выявления индивидуально-психологических различий на основе самоописания их проявлений испытуемыми. Вопросник – это совокупность последовательно задаваемых вопросов, закладываемая в анкету или опросник при их конструировании. Опросник включает инструкцию испытуемому, вопросник, ключи для обработки получаемых данных, сведения по интерпретации результатов. По сфере преимущественного применения различают узкопрофильные опросники и опросники широкого применения. Узкопрофильные опросники делятся на клинические, профориентационные, сферы обучения, сферы менеджмента и работы с персоналом. Некоторые опросники созданы для вузовской и школьной психодиагностики (опросник диагностики уровня школьной тревожности Филлипса), психодиагностики в сфере менеджмента (опросники самооценки деловых и личностных качеств менеджеров различных уровней, выявления степени лояльности к фирме) [36]. В зависимости от того, к какой категории относится исследуемое с помощью опросника явление, выделяют опросники состояний и опросники свойств. Существуют также комплексные опросники. В зависимости от степени охвата свойств личностные опросники делятся на реализующие принцип черт и типологические. Опросники, одномерные и реализующие многомерные. принцип черт, Одномерные подразделяются личностные на опросники направлены на выявление наличия либо степени выраженности одного 16

свойства. Многомерные личностные опросники направлены на измерение более чем одного свойства. Типологические опросники создаются на основе выделения личностных типов – целостных образований, не сводимых к набору отдельных свойств. По оцениваемой подструктуре личности выделяют: опросники темперамента, опросники характера, опросники способностей, опросники направленности личности, смешанные опросники. В рамках объективного подхода диагноз выносится на основании информации об особенностях выполнения деятельности и ее результативности. Эти показатели в минимальной степени зависят от представлений испытуемого о себе и от мнения лица, проводящего тестирование и интерпретацию. В зависимости от предмета тестирования существует следующая классификация объективных тестов:  тесты личности;  тесты интеллекта (вербальные, невербальные, комплексные);  тесты способностей (общих и специальных);  тесты креативности;  тесты достижений (тесты действия, письменные, устные) [2]. В рамках проективного диагностического подхода получение информации основано на анализе особенностей действий испытуемого с внешне нейтральным материалом, становящимся в силу его слабой структурированности и неопределенности объектом проекции. Методики, основанные на использовании принципа проекции, называются проективными. Испытуемый, как правило, не ограничивается в выборе ответов, и ответы не оцениваются как «правильные» или «ошибочные». Благодаря этим особенностям проективные методики нередко используются на начальных этапах психологической работы с клиентом или в начале комплексного 17

психологического тестирования личности, поскольку позволяют установить контакт и вызвать интерес к обследованию. Компьютерное тестирование – относительно молодое направление психодиагностики, связанное с использованием средств электронно- вычислительной техники. Если в прошлые годы автоматизировались отдельные стадии исследования, например, предъявление материала, обработка данных, интерпретация результатов, то на современном этапе все чаще можно встретить программы, которые берут на себя все обследование целиком вплоть до постановки диагноза, что сводит необходимость присутствия психолога к минимуму. Среди существующих компьютерных тестов можно выделить:  по структуре (аналоги бланковых тестов и собственно компьютерные тесты);  по количеству тестируемых (тесты индивидуального и группового тестирования);  по степени автоматизации тестирования (автоматизирующие один или несколько этапов обследования и автоматизирующие все обследование);  по задаче (диагностические и обучающие);  по адресату (профессиональные, полупрофессиональные и непрофессиональные). Под надежностью теста принято понимать устойчивость результатов к воздействию случайных факторов, внешних и внутренних. Чем теснее коррелируют результаты начального и повторного проведения теста, тем он надежнее. Валидность означает пригодность теста измерять то свойство, для измерения которого он предназначен. Чем больше на результат выполнения теста или отдельного задания влияет измеряемое свойство и чем меньше другие переменные, тем тест валиднее. Тест валиден, если на его результаты влияет лишь измеряемое свойство. Существуют следующие виды валидности теста: 18

 очевидная (тест считается валидным, если у испытуемого складывается впечатление, что он измеряет то, что должен измерять);  конкретная (тест должен хорошо коррелировать с тестами, измеряющими конкретное свойство либо близкое ему по содержанию, и иметь низкие корреляции с тестами, измеряющими заведомо иные свойства);  прогностическая (тест должен коррелировать с отдаленными по времени внешними критериями);  содержательная (тест должен охватывать всю область изучаемого поведения);  конструктная (полное описание измеряемой переменной, выдвижение системы гипотез о связях ее с другими переменными, эмпирическое подтверждение этих гипотез). Стандартизация теста заключается в приведении процедуры оценок к общепринятым нормативам. Стандартизация предполагает преобразование нормальной или искусственно нормализованной шкалы первичных оценок в шкальные оценки. Тестовые нормы, полученные в ходе стандартизации, представляют собой систему шкал с характеристиками распределения тестового балла для различных выборок. Они не являются «внутренними» свойствами теста, а лишь облегчают его практическое применение. 1.3 Функциональная модель системы тестирования вуза Для разработки функциональных моделей в данной работе был использован инструмент моделирования AllFusion Process Modeler r7. Это CASE-средство применяется для анализа, документирования и реорганизации сложных бизнес-процессов. С помощью данного программного продукта формируется целостная картина функционирования системы. AllFusion Process Modeler r7 поддерживает три методологии: IDEF0, IDEF3 и DFD. В данной работе использована методология IDEF0 и IDEF3. 19

На основе нотации IDEF0 была разработана контекстная диаграмма, отражающая входные и выходные ресурсы, правила управления и механизм USED AT: AUTH OR: DATE: 22.04.2018 WOR KING PROJECT: Чу рсина REV: DRAFT 16.05.2018 управления показана на рисунке 1.1. READ ER DATE CON TEXT: TOP REC OMMEND ED NOT ES: 1 2 3 4 5 6 7 8 9 10 PUBLICATION Алгоритм пров ерки прав дост упа Руководство для поль зователя Регистрационные данные Данные для авторизации Резу льтаты Сопровождение образовательной деят ельности в ВУЗе Ответы Консультация Обращения 0 р. 0 Студент направления "Психолог-консультант" Поль зователь Веб- сайт Администрат ор NOD E: TITLE: A-0 Автоматизированная система Сопровождение образовательной деятельности в ВУЗе Рисунок 1.1 – Контекстная диаграмма NUMBER: Входной информацией в системе являются регистрационные личные данные, вводимые пользователем при регистрации, и выбираемые им ответы при прохождении тестирования, а также, данные для авторизации в подсистеме и обращения пользователей, заключающиеся в получении консультации студента-психолога. Выходной информацией являются результаты тестирований и консультации психологов по обращениям пользователей. Управление процессами (верхняя стрелка) осуществляется с помощью руководства для пользователей и алгоритма проверки прав доступа. Исполнителями система, веб-сайт, (нижняя студент стрелка) являются направления автоматизированная «Психолог-консультант», администратор, пользователь. Детализация контекстной диаграммы, методологии IDEF0, приведена на рисунке 1.2. 20 выполненной на основе

USED AT: AUTH OR: DATE: 22.04.2018 WOR KING PROJECT: Чу рсина REV: DRAFT 16.05.2018 READ ER DATE CON TEXT: REC OMMEND ED NOT ES: 1 2 3 4 5 6 7 8 9 10 PUBLICATION A-0 Алгоритм проверки прав досту па Руководство для поль зователя Регистрация Регистрационные данные 0 р. 1 Авторизация Данные для авторизации 0 р. 2 Информация о поль зователе Резу льтаты Работа с подсистемой Ответы Обращения 0 р. Администрат ор Поль зователь NOD E: Веб- сайт Автоматизированная система Студент направления "Психолог-консультант" Сопровождение образовательной контекстной деятельности в ВУЗедиаграммы Рисунок 1.2 – Детализация TITLE: A0 Консультация 3 NUMBER: Детализация контекстной диаграммы представляет собой более подробное описание процесса «Сопровождение образовательной деятельности в вузе». На данном этапе определены три процесса: «Регистрация», «Авторизация» и «Работа с подсистемой». Регистрационная информация является входной для блока «Регистрация». На рисунке 1.3 приведена детализация процесса «Регистрация», выполненная по методологии IDEF3. Рисунок 1.3 – Детализация процесса «Регистрация» 21

Для блока авторизация входными являются данные для авторизации. Ответы и обращения поступают в процесс «Работа с подсистемой». После авторизации пользователя в системе, информация о нем также поступает в блок «Работа с подсистемой», где используется для идентификации пользователя. Для регистрации в системе пользователь должен указать следующую информацию:  логин;  email-адрес;  пароль и его подтверждение  фамилия и имя  телефон. Для успешной регистрации в системе все вышеперечисленные данные обязательны для ввода. Детализация процесса «Авторизация» представлена на рисунке 1.4. Процесс «Авторизация» включает блоки «Ввод логина и пароля», «Проверка логина и пароля», «Проверка прав доступа». NOTES: 1 2 3 4 5 6 7 8 9 10 PUBLICATION Руководство для пользователя Данные для авторизации A0 Алгоритм проверки прав доступа Ввод логина и пароля Введенные данные 0 р. 1 Проверка логина и пароля 0 р. Проверенные данные 2 0 р. Пользователь NODE: 3 Веб-сайт Авторизация Рисунок 1.4 – Детализация процесса «Авторизация» TITLE: A2 Информация о пользователе Проверка прав доступа Неверные данные NUMBER: 22

На рисунке 1.5 приведена детализация процесса «Работа с подсистемой», выполненная по методологии IDEF0 и включающая блоки U SED AT: AU TH OR: DATE: 15.05.2018 WORKIN G PROJEC T: Чу рсина REV: DRAFT 16.05.2018 READER DATE C ON TEXT: «Психологическое тестирование» и «Консультация». REC OMMENDED N OTES: 1 2 3 4 5 6 7 8 9 10 PU BLIC ATION A0 Алгорит м проверки прав досту па Ру ководство для пользоват еля Ответы П сих ологическое тест ирование Резу льт ат ы Информация о пользователе 0 р. 1 Консу льтация Консу льтация Обращения 0 р. П ользователь N ODE: Веб-сайт 2 Администратор Автомат изированная сист ема Работа с подсистемой Рисунок 1.5 – Детализация процесса «Работа с подсистемой» TITLE: A3 С тудент направления "П сихолог-консультант " N UMBER: На данном этапе работы построена функциональная модель системы для более полного и детального понимания функционирования системы. 1.4 Постановка задачи исследования Автоматизированные информационные системы органично дополняют традиционные методы, расширяют возможности взаимодействия психолога с другими участниками образовательного процесса (преподавателями, студентами). Использование современной компьютерной техники предоставляет качественно новые возможности для проведения диагностики личности и группы. С помощью компьютерного инструментария возможно формирование и предъявление тестируемому гораздо большего количества стимулов, их контекстная коррекция в зависимости от сделанного выбора. 23

Значительно упрощается фиксация и обработка ответов респондента при одновременном снижении вероятности ошибок на данном этапе диагностики (которые при ручной обработке практически неизбежны). Резко увеличивается оперативность предоставления результатов диагностики и возрастает «пропускная способность», что важно при проведении массовых обследований. Компьютерные системы освобождают пользователя от трудоемких рутинных операций содержательных и позволяют профессиональных сосредоточиться задач. Их на решении использование дает потенциальную возможность не только «протестировать» личность, но и соотнести полученные результаты с несколькими выборками стандартизации теста, обеспечивая полную оценку. Разработанная система тестирования в процессе обучения студентовпсихологов коммерческого учебного заведения позволит работать с реальными данными, что значительно повысит уровень подготовки студентов. Использование информационных технологий позволит поднять уровень психологической культуры всех участников образовательного процесса. Проект «ПсиБлог» позволяет пользователю получить знания в области психологии, определить оценку своего психологического состояния на основе получаемых результатов тестирования. Помимо положительных сторон проекта «ПсиБлог», можно выделить и недостатки. Во-первых, результатом психологического тестирования пользователя является общие оценка психологического состояния и рекомендации испытуемому. Процедура тестирования может создать у пользователя впечатление, что психолог мало заинтересован в нем лично, в его проблемах и трудностях. Во-вторых, отсутствует связь между обычными пользователями сайта и студентами-психологами. Чтобы разрешить данные проблемы, необходимо усовершенствовать проект. Пользователи должны 24

иметь возможность получения более детальной и углубленной оценки результатов психологического тестирования, для этого необходимо включить в интерфейс веб-сайта обратную связь. Для реализации вышеуказанного функционала необходимо разработать информационную систему для обработки обращений пользователей и предоставления им консультаций студентами направления «Психологконсультант» под руководством квалифицированных психологов. Выводы по первому разделу. Определены особенности деятельности коммерческих учебных заведений в области психологии. Определены основные методы функциональные психологического модели процесса тестирования. тестирования. Построены Предлагаемое информационное обеспечение процесса обучения студентов-психологов коммерческого учебного заведения позволит работать с реальными данными, что значительно повысит уровень подготовки студентов. 25

2 Разработка информационного обеспечения персонализированного тестирования с использованием экспертного оценивания В настоящее время разработке тестов уделяется достаточно много внимания. Все больше ресурсов тратится на то, чтобы создать качественную методику, стандарты качества постоянно корректируются, требования к тестам возрастают. 2.1 Общая методология разработки тестов Разработка методики оценивания практически в любой сфере обязательно должна проходить через ряд этапов. Это позволяет достичь определенного качества создаваемой методики. Этапы не являются строго упорядоченными, и нередко они применяются в другом порядке, но, в той или иной степени, создание любой методики проходит через них. При разработке теста принято опираться на следующую последовательность [42]: cоставление общего плана теста, определение содержания, составление спецификации теста, разработка заданий, разработка дизайна теста, выпуск теста, проведение теста, проверка психометрических характеристик, установление пороговых значений (проходных баллов), предоставление результатов, формирование банка заданий, составление технического отчета по тесту. Некоторые из этих этапов являются специфичными для тестов достижений (например, установление проходных баллов), однако в большинстве случаев каждый из этих этапов в той или иной степени должен быть пройден при разработке хорошей методики. Опишем эти этапы подробнее. Первый этап. Составление общего плана теста. В этот этап входит разработка основной информации о тесте, сюда же включается проработка методов оценки валидности, основные возможные 26

интерпретации результатов, психометрические модели, контроль качества и т.д. Самый главный вопрос, который нужно решить на первом этапе разработки теста - это вопрос о том, какой конструкт нужно измерять. Также важно определиться, какие типы вопросов будут использоваться, как будут интерпретироваться результаты тестирования, как будет проводиться тестирование (в бланковой или компьютерной форме). Этот этап является одним из самых главных этапов при разработке теста, так как именно от него зависят все дальнейшие шаги и качество итогового инструмента. Точное определение целей тестирования и его основных параметров дает возможность ясно представить результат своей работы и избежать многих возможных ошибок. Второй этап. Определение содержания Этот этап также является ответом на основополагающий вопрос любой тестовой методики: какой конструкт должен быть измерен? Это особенно важный вопрос для тестов достижений и педагогических тестов, который определяет возможную интерпретацию тестовых баллов, однако и психологические методики также нуждаются в определении содержательной базы. Если содержание теста определено неточно, все дальнейшие этапы работы над тестом будут сделаны неверно. Третий этап. Составление спецификации теста Создание спецификации теста подразумевает определение не только базовых параметров будущего теста, что было сделано на первом этапе, но и достаточно точное описание всего теста, подразумевающее полную проработку концепции инструмента. Основными частями спецификации являются: форма тестовых заданий, их число и их точный тип (если это задание с выбором одного правильного ответа, то сколько предполагается вариантов ответов и т.д.), таксономия для оценки когнитивного уровня (например, таксономия Блума), наличие или отсутствие визуальных стимулов в тестовых материалах, правила оценивания выполнения заданий, правила интерпретации результатов, затраты времени на каждый вопрос. В более 27

простом варианте спецификация может содержать только количество тестовых вопросов по каждой содержательной области и уровню таксономии. Детализированность спецификации связана с тем, какие последствия будут иметь результаты тестирования. В целом, третий этап является результатом обобщения решений, принятых на этапах 1 и 2, и по его результатам будет составлен итоговый план будущего теста. Спецификация впоследствии может подвергаться изменениям, однако ее основные пункты остаются неизменными, и на них базируются все следующие этапы создания теста. На этом этапе могут использоваться экспертные оценки - при переходе от списка необходимых содержательных элементов, определенных на этапе 2, к спецификации. Экспертные оценки в данном случае используются для оценки степени важности темы и уровня ее освоения, чтобы впоследствии можно было распределить тестовые вопросы в соответствии с рекомендациями. Четвертый этап. Разработка заданий Разработка заданий является очень важным этапом создания теста. При разработке заданий необходимо учитывать ряд параметров, которые могут повлиять на результаты тестирования, например, формулировки тестовых вопросов, вариантов ответа и т.д. При разработке тестовых вопросов может возникнуть ряд трудностей, делающих процесс разработки теста еще более трудоемким. Эти сложности будут описаны в следующей главе. Пятый этап. Составление дизайна теста Следующим важным шагом после разработки заданий становится разработка дизайна теста. Хорошие задания не всегда складываются в хороший тест, и валидность окончательного инструмента зависит от того, как были скомпонованы полученные вопросы. Общий дизайн теста, выполненный на первом этапе разработки, представляет собой основу для деятельности на этом этапе, так как дизайн теста зависит от его целей и возможностей интерпретации. Большое влияние также оказывает и форма 28

проведения тестирования (к примеру, будет ли это бумажная или компьютерная форма, или будет ли тестирование обычным или адаптивным и т.д.). На этом же этапе происходит корректировка заданий с целью облегчения чтения и уменьшения когнитивных усилий, не связанных с измеряемым конструктом. Кроме этого, необходимо сбалансировать ключи (оптимальным является равномерное распределение номеров правильных ответов). Шестой этап.. Выпуск теста В этот этап входят такие действия как распечатка теста при бланковой форме тестирования, или подготовка компьютерной версии. На этом этапе обычно производится последняя проверка тестовых материалов. Также проверяется качество печати и другие технические параметры, которые, при некачественном исполнении, также могут повлиять на результаты тестирования. В проведении теста (седьмой этап) и последующей работе с ним существует множество тонкостей, в том числе, административных. Одним из самых трудоемких этапов работы является работа над созданием и совершенствованием тестовых вопросов, так как они составляют основу для всего теста. 2.2 Методы экспертной оценки в тестировании Способы использования экспертных оценок в тестировании. По словам А.И. Орлова: «Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов» [32]. То есть, в самом определении метода не обозначается узконаправленная область его применения. Однако в тестировании и разработке тестов экспертные оценки используются, чаще всего, на этапе оценивания респондентов. Одним из самых привычных способов использования экспертных оценок в России - это 29

оценка результатов части «С» в ЕГЭ. Основным параметром для отнесения задания к категории «экспертное оценивание» является политомический характер оценки, чаще всего это относится к заданиям со свободно конструируемым ответом. Однако экспертные оценки используются не только для анализа ответов респондентов на открытые задания. Другим популярным методом использования экспертных оценок является выставление пороговых баллов в рамках классической теории тестирования. Для этого существует несколько методов, одним из которых является модифицированный метод Ангофф [53]. Кроме этого, известно использование экспертных оценок для определения DIF, содержательной валидности [55]. При этом нужно учитывать, что не каждая область, в которой используют экспертные оценки, действительно в этом нуждается, и не всегда использование экспертов является необходимым или самым оптимальным решением, так как экспертные оценки имеют как свои преимущества, так и недостатки, о которых будет сказано позже. В частности, экспертные оценки используются для выравнивания вариантов теста разных лет [44]. В данном случае использование экспертных оценок уменьшает затраты на выравнивание, так как, по мнению автора, отпадает необходимость в общих заданиях или испытуемых. В данном исследовании эксперты ранжировали работы респондентов от лучшей к худшей (не зная их баллов), и результаты показали, что такой метод позволяет сопоставлять баллы, полученные в разные годы тестирования. Кроме этого, известно использование экспертных оценок для оценки трудности заданий [54]. По результатам этого исследования было выяснено, что эксперты дают согласованную оценку трудности заданий (на примере теста по языку MELAB) без предварительного обучения оцениванию заданий. Эксперты показали высокие корреляции и значимую связь с результатами тестирования. Метод экспертной оценки - это разновидность исследования, в котором респондентами являются эксперты - специалисты в определенной области 30

деятельности. Основное назначение метода экспертной оценки - выявление сложных аспектов исследуемой проблемы, повышение надежности информации, выводов. Отличительная особенность метода состоит в том, что он предполагает компетентное участие экспертов (экспертизу) в анализе и решении проблем исследования. Основные нормативные требования к проведению экспертной оценки:  тщательность подбора экспертов;  оценка надежности представленной экспертами информации;  создание условий для продуктивного использования экспертов в ходе исследования;  учет факторов, влияющих на суждения экспертов;  сохранение информации экспертов без искажения на всех этапах исследования. В общем случае, в качестве критериев подбора экспертов определяют:  степень компетентности, показателями которой могут служить наличие у эксперта ученой степени, ученого звания, стаж работы по специальности, служебное положение, число опубликованных работ и т. д.;  способность ориентироваться в последних достижениях современной науки в тех областях, которые являются предметом экспертизы;  сочетание узкой специализации и общего кругозора эксперта;  способность к анализу и синтезу изучаемых проблем, умение перерабатывать и усваивать качественно новую информацию;  высокие моральные качества;  сочетание психологически приемлемых друг для друга в группе экспертов различного возраста, различных научных школ и т. д. Экспертная группа не может быть многочисленной. В качестве методов отбора экспертов авторы в общем случае выделяют: объективный и субъективный. Под объективным методом подразумевают использование 31

специальных методик отбора, а субъективный предполагает привлечение к процедуре отбора самих потенциальных экспертов. 2.3 Метод персонализированного тестирования с использованием экспертного оценивания Сущность метода персонализированного тестирования с использованием экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Экспертное оценивание персонализированного экспертные позволит тестирования. оценки, как решить Это научный позволило коллизии использовать инструмент процедуры персонализированного тестирования:  научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов,  применение количественных методов, как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Особой разновидностью метода экспертной оценки является экспертный опрос (разновидность опроса, в ходе которого респондентами являются эксперты - высококвалифицированные специалисты в определенной области деятельности). Эксперт - это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования. Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы. 32

В практике психологических и социологических исследований используется для:  прогноза развития того или иного явления;  оценки существующего состояния какого-либо явления;  сбора предварительной информации о проблеме исследования (зондаж);  оценки психолого-педагогических характеристик учащихся;  оценки коллектива;  аттестации персонала (в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия). Рисунок 2.1 – Этапы проведения экспертного оценивания Метод экспертного оценивания количественной оценки качества формализуемой проблемной относится альтернатив ситуации. Основные к в инструментарию условиях этапы слабо- проведения экспертного оценивания показаны на рисунке 2.1. Первые три этапа относятся к подготовке экспертизы. При подготовке экспертизы важно сформулировать ее задачи, т.е., основываясь на информации о проблемной ситуации, определить, какие проблемы требуется решить и какой ожидается результат. 33

На основе сформулированных задач формируется аналитическая группа, в задачи которой входит: - разработка методов опроса; - отбор экспертов и формирование экспертной группы; - проведение опроса экспертов; - анализ результатов опроса и их интерпретация. Аналитическая группа, в зависимости от сложности и специфики проблемной ситуации, может быть сформирована на первом этапе. В этом случае помимо перечисленных задач на нее возлагается также определение задач экспертизы. В случаях особенной сложности проблемной ситуации, неопределенности среды и большого масштаба требуемых изменений, что характерно при решении стратегических проблем, может потребоваться привлечение к организации процесса экспертизы внешних консультантов по управлению. Принимая решения о каком-либо диагнозе, мы обычно предполагаем, что информация, используемая для его обоснования, достоверна и надежна. Но для многих педагогических и психологических задач — это предположение не удается доказать. Практика показывает, что основные трудности, возникающие при поиске и выборе решений, касающихся различных психологических ситуаций, обусловлены, прежде всего, недостаточно высоким качеством и неполнотой имеющейся статистической информации или невозможностью в принципе ее получения. Тогда и приходит на помощь метод экспертов, который позволяет взглянуть на проблему широко и увидеть возможное решение. Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений. Результаты опроса групп экспертов существенно отличаются от решений, формируемых в результате дискуссий на заседаниях 34

комиссий, где может возобладать мнение авторитетных или всего лишь «напористых» участников. Это не означает, что индивидуальное мнение конкретного специалиста или решение такой комиссии не значимо. Однако надлежащим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной. Данный метод применить не удастся, когда:  исходная статистическая информация недостаточно достоверна;  некоторая часть информации имеет качественный характер и не поддается количественной оценке;  в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств;  существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать. Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов. Сложной проблемой является формирование системы характеристик эксперта, которые могут существенно повлиять на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Отбор экспертов, формирование экспертных групп - достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений. Подбор специалистов для участия в экспертном опросе начинается с определения научных, технических и административных проблем, непосредственно связанных с решением поставленной задачи. Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов. Эксперт в полном смысле 35

этого слова - активный участник научного исследования. Попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования. Формирование группы потенциальных экспертов начинается с метода «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы. Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. Слишком большое число экспертов затрудняет формирование согласованного мнения. Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными. В то же время привлечение большого числа экспертов позволяет хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов. Принципиальное значение имеет возможность обеспечения «равноправия» учёных-специалистов различных направлений, различного уровня компетентности с учётом специфики исследуемой проблемы. Тем не менее, можно установить некоторые общие требования, подразумевающие реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:  компетентность потенциального эксперта в исследуемой области,  эрудированность в смежных областях,  стаж научной или практической работы в определённой сфере,  должностное положение,  принципиальность,  объективность,  способность творчески мыслить,  интуиция. 36

Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию:  экспериментальный (с использованием тестирования, проверки эффективности их прежней экспертной деятельности);  документальный (на основе социально-демографических данных);  при помощи голосования (на основе аттестации потенциальных экспертов их коллегами);  при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом). Кроме указанных способов возможен расчёт достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. Для этого рассчитывают степень надёжности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще, делится на количество сбывшихся прогнозов). Понятие надёжности и точности эксперта базируется на предположении о том, что существует класс задач, для решения которых эксперт либо подходит, либо не подходит. Оценивание тестируемого в рамках разных типов тестов предлагается осуществлять на основе объективных данных о характеристиках рассматриваемого объекта, трансформированных при помощи специальных оценочных шкал в показатели (измеренные в баллах) и обобщенных с использованием экспертных суждений об относительной значимости частных показателей. Схема оценивания как процедуры определения результирующего показателя тестов в результате обработки начальной информации о тестируемом приведена на рисунке 2.2. 37

Рисунок 2.2 – Схема процедуры оценивания тестов Сбор начальной информации о тестируемом осуществляется на основе данных, представленных в регистрационной форме, а также на основе предыдущих результатов тестирования, которые должны храниться в базе данных. Формирование оценочных шкал, позволяющих перейти от качественных значений ответов тестируемого к их безразмерным балльным показателям, производится преподавателем-тьютором, исходя из типа тестов. Приведем определение понятия «тест». Тест - система заданий, позволяющих измерить уровень развития определенного психологического качества (свойства) личности (Исследовательская деятельность). Тест - англ. test - проба, испытание, проверка) - в психологии - фиксированное во времени испытание, предназначенное для установления количественных (и качественных) индивидуально-психологических педагогической психологии). 38 различий (Словарь по

Тесты мы рассматривали, во-первых, как комплекс взаимосвязанных разных видов тестов, предназначенных для достижения некоторых целей в рамках определенных типов тестов. А во-вторых, с точки зрения категории системы – тест, как единство взаимосвязанных и взаимовлияющих психологических факторов, совместно действующих на объект. Для проведения тестирования необходимо рассмотреть каждый тип теста, его характеристики выявления типа личности. В связи с тем, что характеристикам типов теста присущи качественные и количественные показатели, эти характеристики следует трансформировать при помощи специальных оценочных шкал в показатели, измеряемые в баллах и обобщённых показателях, формируемых согласно экспертным суждениям об относительной важности показателей. Процедура оценивания ответов испытуемого содержит основные этапы, общие для аналогичных процедур, рассматриваемых с точки зрения информационного моделирования. Однако в рамках каждого из этапов отражается специфика изучаемого типа теста. Нами были выделены принципы, которые целесообразно использовать при построении информационных моделей теста определения типа человека, это показано на рисунке 2.3. Наряду с общими принципами, адекватность описания, соответствие цели исследования, обеспечение достоверности результатов моделирования, минимальная сложность использования модели, для отражения особенностей этих типов тестов при построении их информационных предлагается использовать следующие принципы: - иерархичность описания, - использование нескольких типов представления данных; - использование нескольких измерительных шкал. 39 моделей

Рисунок 2.3 - Информационная модель В соответствии с предложенными принципами информационная модель имеет вид InfMod =<TypeMan, w>, в качестве единицы информации рассматривался формальный индикатор следующего вида: TypeMan = < NameTest, Valabs, Valverb, Valrel, Scale(abs,verb), Scale(verb,point)>, где NameTest – название теста; Valabs – абсолютное числовое (выраженное в абсолютных единицах измерения) значение индикатора; Valverb- вербальное (выраженное терминами подмножества естественного языка) значение индикатора; Valrel - относительное числовое (выраженное в баллах) значение индикатора; Scale(abs,verb) – шкала перевода значений из абсолютной числовой шкалы в вербальную шкалу; Scale(verb,rel) – шкала перевода значений из вербальной шкалы в относительную балльную шкалу. Использование трех типов значений формального индикатора дает возможность преобразования значений в зависимости от способа получения и цели использования данных. 40

Рисунок 2.4 - Схема преобразования абсолютных значений показателя в относительные значения Использование трех типов значений формального показателя, показанного на рисунке 2.4, дает возможность преобразования значений в зависимости от способа получения и цели использования данных. Преобразование количественных показателей в относительные числовые значения может быть проведено по двум направлениям: или отнесение рассматриваемого значения к тому или иному подинтервалу (с заданным балльным значением) неравномерного разбиения интервала возможных числовых значений показателя; или перевод абсолютного количественного значения показателя к вербальному (качественному) значению с последующим переходом к относительному количественному значению. В случае неравномерного разбиения интервала возможных числовых значений тестового вопроса перевод абсолютного числового значения перевод осуществляется способом, представленным на рисунке 2.5. 41

Рисунок 2.5 - Пример преобразования абсолютных значений ответа в относительные значения Использование трех типов значений формального показателя дает возможность преобразования значений в зависимости от способа получения и цели использования данных Под измерением оценочных показателей тестовых вопросов предполагается не только определение абсолютных значений (ValAbs), но и экспертное оценивание (ValVerb) этих значений в некоторой вербальной шкале (<очень мало, мало, ниже среднего значения показателя, среднее значение, выше среднего, много, очень много>), отражающее значимость конкретного абсолютного значения показателя (снижение затрат на оказание плановой хирургической помощи пациентам на 15%) в контексте проекта в соответствии с правилом перехода Scale(abs, verb). Однако использование значений показателей в общей иерархии оценивания требует перехода от вербальных значений к относительным числовым значениям (ValRel), для чего используется правило Scale(verb, rel). По шкале <1…7>. Для определения относительных значений показателей используется иерархия тестовых вопросов, показанная на рисунке 2.6. 42

N уровень Indn ... ... ... ... ... Ind10 Ind20 I уровень Indr1 Ind11 ... Indk0 ... Indp0 Indp+10 ... Inds0 0 уровень Рисунок 2.6 – Иерархическая структура определения типа личности Indkn = w1n-1 Ind1n-1 + w2n-1 Ind2n-1 +…+ wkn-1 Indkn-1 (1), где w1n-1, w2n-1,…, wkn-1 - весовые коэффициенты отражающие относительные значимости отдельных вопросов теста. Функциональный подход, в рамках которого используется функциональная зависимость, аргументами которой являются относительные значения показателей предыдущего уровня. Относительное значение составного показателя определяется как взвешенное среднее арифметическое относительных значений показателей предыдущего уровня по формуле: (2) Подход, основанный на использовании методов принятия решений, в рамках которого выбор значения составного показателя производится экспертами на основе значений показателей предыдущего уровня. Относительное значение показателя нулевого уровня определяется методом парных сравнений: (3) 43

Коэффициенты матрицы парных сравнений Aij , отражающие степень значимости показателей Indi по сравнению с показателем Indj принимают значения из множества (1/9, 1/8, …, 1, 2, …, 9). Относительное значение показателя нулевого уровня определяется методом ранжирования: (4) Оценка согласованности суждений экспертов основывается на использовании понятия компактности, наглядное представление о котором дает геометрическая интерпретация результатов экспертизы. Оценка каждого эксперта представляется как точка в некотором пространстве, в котором имеется понятие расстояния. Если точки, характеризующие оценки всех экспертов, расположены на небольшом расстоянии друг от друга, т.е. образуют компактную группу, то, очевидно, можно это интерпретировать как хорошую согласованность мнений экспертов. Если же точки в пространстве разбросаны на значительные расстояния, то согласованность мнений экспертов невысокая. Возможно, что точки - оценки экспертов - расположены в пространстве так, что образуют две или несколько компактных групп. Это означает, что в экспертной группе существуют две или несколько существенно отличающихся точек зрения на оценку объектов. Конкретизация изложенной идеи оценки согласованности мнений экспертов производится в зависимости от использования количественных или качественных шкал измерения и выбора меры степени согласованности. При использовании количественных шкал измерения и оценке всего одного параметра объекта все мнения экспертов можно представить, как точки на числовой оси. 44

Рисунок 2.7 - Разработка специализированной процедуры экспертного оценивания В качестве демонстрации методов решения перечисленных выше задач рассмотрим задачу определения согласованности мнений экспертов. При оценке объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности позволяет более обоснованно интерпретировать причины расхождения мнений. Эти точки можно рассматривать как реализации случайной величины и поэтому для оценки группировки и разброса точек использовать хорошо разработанные методы математической статистики. Центр группировки точек можно определить, как математическое ожидание (среднее значение) 45

или как медиану случайной величины, а разброс количественно оценивается дисперсией случайной величины. Мерой согласованности оценок экспертов, т.е. компактности расположения точек на числовой оси, может служить отношение среднеквадратического отклонения к математическому ожиданию случайной величины. Если объект оценивается несколькими числовыми параметрами, то мнение каждого эксперта представляется как точка в пространстве параметров. Центр группировки точек опять определяется как математическое ожидание вектора параметров, а разброс точек - дисперсией вектора пара метров. Мерой согласованности суждений экспертов служит в этом случае сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат. Мерой согласованности может также служить количество точек, расположенных в радиусе средне-квадратического отклонения от математического ожидания, ко всему количеству точек. Различные методы определения согласованности количественных оценок на основе понятия компактности рассматриваются в теории группировок и распознавания образов. При измерении объектов в порядковой шкале согласованность оценок экспертов в виде ранжировок или парных сравнений объектов также основывается на понятии компактности. При ранжировке объектов в качестве меры согласованности мнений группы экспертов используется дисперсионный коэффициент конкордации (коэффициент согласия). Коэффициент конкордации равен 1, если все ранжировки экспертов одинаковы, и равен нулю, если все ранжировки различны. Коэффициент конкордации является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распределение частот для различных значений числа экспертов d и количества объектов m. Распределение частот для W при различных значениях m и d может быть определено по известным статистическим таблицам. При числе объектов m > 7 оценка значимости коэффициента 46

конкордации может быть произведена по критерию χ2 . Величина d*(m-1)=W имеет χ2 = распределение с ν = m-1 степенями свободы. При наличии связанных рангов χ2 = распределение с ν = m-1 степенями свободы имеет значение. Наряду с дисперсионным коэффициентом конкордации используется в качестве меры согласованности суждений экспертов энтропийный коэффициент конкордации. 2.4 Сравнительный анализ информационного обеспечения для разработки персонализированного тестирования Система управления контентом (CMS) является достаточно мощным средством, используемым для организации содержания интернет ресурса, по желанию разработчика. На сегодня существует три основных ведущих систем управления контентом веб сайта: WordPress, Drupal и Joomla. Все они с открытым исходным кодом, а это означает, что можно свободно скачивать и изменять их, следуя личным потребностям. Что общего у WordPress, Joomla и Drupal. Все три популярных CMS имеют много общего с точки зрения технологии, философии и сообщества: Joomla, Drupal, WordPress являются бесплатным программным обеспечением с открытым исходным кодом. Все три написаны на PHP. Все три используют MySQL в качестве СУБД. WordPress поддерживает только MySQL, в то время как Joomla и Drupal поддерживают другие системы управления базами данных. Все три используют темы и шаблоны для визуального оформления сайтов и подключаемые плагины, модули для расширения функционала. В качестве программного обеспечения с открытым исходным кодом, все они являются проектами, развиваемыми сообществом. 47 и поддерживаемыми

Но в ряде аспектов эти системы отличаются друг от друга. У них разная концепция относительно того, что включать в ядро платформы, как обрабатывать модули и шаблоны, как обеспечивать безопасность и т.д. Более того, в представленных CMS поддерживаются расширения, которые не оставят в замешательстве веб-разработчика, особенно если он новичок. Сообщества WordPress, Drupal и Joomla предоставляют всевозможные дополнения, в которых каждый сможет найти то, что его интересует, вне зависимости от типа веб-ресурса, будь то блог, портал или форум. Кроме того, всегда есть возможность обратиться к сообществу за помощью по вопросам настройки CMS. Большинство людей, создающих свои сайты, являются обычными пользователями. Удобство в использовании является наиболее важным фактором для большинства из них. Рассмотрим Преимущества и недостатки CMS WordPress, Drupal или Joomla, логотипы программ показаны на рисунке 2.8. Рисунок 2.8 – Логотипы сравниваемых программ WordPress. На сегодняшний день WordPress является самой популярной платформой в блогосфере. Это система с открытым исходным кодом, распространяемая под GNU GPL. WordPress предоставляет огромное количество возможностей, позволяющих разработчику быстро и легко управлять содержимым сайта. К ним относятся: известная «5-ти минутная» установка; публикация статей с помощью сторонних программ и сервисов; 48

поддержка Atom, RSS, pingback, trackback; возможность подключать дополнительные плагины; выбор множества отличных аудио плееров для блога; огромное количество тем на различные тематики, позволяющие быстро изменить внешний вид сайта и многие другие. Кроме того, WordPress содержит такие функции, как комментарии, трекбэки, блоггер профилей и пингование услуг, что очень удобно использовать для анализа трафика и таким образом контролировать функционирование сайта. С другой стороны, WordPress не относится к «developer-friendly» системам и сообщество данной CMS значительно меньше по сравнению с Drupal или Joomla. Помимо этого, определенное программное обеспечение WordPress и плагин обновления, как показали случаи, могут нарушить защиту компьютера. Поэтому необходимо проверять обновления на наличие вирусов и читать отзывы при обновлении WordPress или установки плагинов. В целом, WordPress является эффективной системой для любого новичка или опытного пользователя, что делает ее очень универсальной CMS. WordPress известен своей установкой за пять минут. Большинство хостеров также предлагают установку WordPress в один клик. Это позволяет новым пользователям довольно просто создать свой сайт. На рисунке 2.9 показано главное окно WordPress. Рисунок 2.9 – Начало работы 49

Опыт пользователей после установки WordPress также намного лучше, чем у Joomla или Drupal. Пользователь получает в свое распоряжение понятный интерфейс с меню, в котором представлены разделы для создания записей, страниц или настройки внешнего вида и тем. Drupal. Систему Drupal называют еще «CMS разработчика». Это система с гибким кодом и продвинутыми функциями, ориентирована на комплексный сайт, и любой девелопер, в том числе эксперт, сможет насладиться удобством модификации кода без каких-либо вопросов. Данная CMS рекомендуется для тех, кому важна приоритетность кода по сравнению с использованием WYSIWYG-редакторов (видим то, что получаем). Drupal имеет большое сообщество разработчиков, которые смогут помочь, если Вы захотите создать сайт, фокусируемый на обтекаемости кода и расширенности функций управления. Обратной стороной Drupal является нехватка инструментов в плане дизайна. Это не дизайнерская и не пользовательско-ориентированная CMS, здесь главный акцент делается на расширенной функциональности. Опубликование контента на Drupal может стать трудоемким и даже дорогим процессом для новичка. Но, если Вы веб-разработчик, для которого важны расширенные возможности и навыки «жесткого» кодирования для обеспечения функциональности Вашего веб-сайта, то Drupal станет просто незаменимым инструментом. Drupal также предлагает дистрибутивы. Они предварительно разбиты на пакеты с модулями и конфигурацией для создания сайтов определенного типа. Для новичков эта CMS немного сложнее. Пользователям будет трудно понять, как работать с административной частью. В Drupal очень просто добавлять контент, но процесс изменения внешнего вида и добавления элементов не так прозрачен. 50

Установка Drupal, диалоговое коно установки показано на рисунке 2.10, похожа на Joomla и WordPress. Просто загрузите пакет и запустите скрипт установки: Рисунок 2.10 – Окно установки Drupal Joomla - это CMS с открытым исходным кодом для веб-разработчиков и дизайнеров, с легко настраиваемым интерфейсом, которую удобно использовать в качестве основы для веб-ресурса. Для тех, кто использует эту систему, нет никаких ограничений в плане администрирования, так как она позволяет персонализировать сайт, настроить его по своему усмотрению, благодаря чему, даже начинающие разработчики смогут легко модифицировать систему без редактирования исходного кода, сохраняя ее основную функциональность. Более того, здесь имеется доступ ко многим бесплатным плагинам, что позволяет создавать веб-сайты с подключением дополнительных особенностей. Joomla является дизайнерски- ориентированной системой и это несомненно оценит любой веб-дизайнер. Установка Joomla проходит не так быстро, как у WordPress, но она включает в себя похожие этапы. Многие хостинг-провайдеры также предлагают пакет установки Joomla в один клик, на рисунке 2.11 показано окно установки. 51

Рисунок 2.11 – Окно установки Joomla После установки пользователь попадает в панель управления, которая не столь проста, как у WordPress. В ней слишком много различных разделов меню, в которые нужно перейти, чтобы настроить свой сайт. Joomla гораздо мощнее, чем WordPress, но это может немного испугать новичка. Главные недостатки Joomla: кодирование не будет гибким, особенно при сохранении основного ядра системы. Разработчики, у которых нет достаточного опыта в создании веб-сайтов, могут столкнуться со сложностями в процессе интеграции программного обеспечения. Тем не менее, если разработчик настроен использовать мощную CMS и у него есть определенный опыт в сайтостроении, то Joomla подойдет. Кроме этого, Joomla позволяет создавать мощные и гибкие интернет-магазины, благодаря бесплатному плагину Virtuemart. Таким образом, лучшими параметирами обладает WordPress. Проведем сравнение систем по имеющимся темам и плагинам. Все три популярных CMS поддерживают возможность установки тем и плагинов/модулей, как способ расширить функционал и изменить внешний вид. WordPress позволяет изменять внешний вид сайта, используя темы. Платформа поставляется с несколькими темами, предустановленными по 52

умолчанию. В любое время можно нажать на кнопку «Добавить новую» на странице «Дизайн» и установить бесплатные темы из официального каталога на WordPress.org. Также имеется множество премиум-тем для, созданных сторонними разработчиками тем. Эти платные темы поставляются с премиум-опциями поддержки. Реальная сила WordPress заключается в плагинах. В официальном каталоге плагинов WordPress насчитывается более 38000 бесплатных плагинов. Также можно купить премиум-плагины, которые поставляются с поддержкой, предоставляемой разработчиками. WordPress или Joomla. Joomla поставляется с шаблонами и расширениями. Существуют отличные расширения, которые позволяют делать что угодно: от создания интернет-магазина до управления электронной почтой: Тем не менее, количество этих шаблонов и расширений не так велико, как у WordPress. Поэтому найти идеальный шаблон и расширение немного сложнее. По умолчанию Joomla не содержит функцию, которая позволяет пользователям искать и устанавливать расширения и шаблоны из панели администрирования. Существует дополнение, которое позволяет добавить функции для установки расширений из веб-интерфейса. Что касается шаблонов, то пользователям все равно придется искать их вручную, а затем устанавливать. Drupal. У Drupal та же проблема с доступностью тем и модулей. Пользователям нужно покинуть свой сайт, чтобы найти модуль или тему, которую они хотят добавить, а затем определить URL-адрес zip-файла проекта. Затем нужно ввести URL на странице модулей или тем, чтобы осуществить установку: Существуют модули Drupal для чего угодно, и регулярно появляются новые. Тем не менее, общее количество модулей меньше, чем у WordPress. WordPress обладает лучшими характеристиками по данному критерию. 53

Доступность справки и поддержки - важный критерий для начинающих пользователей. WordPress имеет сильное сообщество пользователей. Можно найти справку по WordPress на официальных форумах поддержки, в документации, справочниках, кодексе, через Slack, Stack Exchange и почти на любом форуме, посвященном веб-дизайну и разработке: Также можно получить платную поддержку таких платформ, как Upwork, Fiverr и Elance, где можно нанять профессионалов в сфере WordPress со всего мира, чтобы быстро решить проблему по разумной цене. Joomla, как и WordPress имеет большое активное сообщество. На сайте Joomla доступна обширная документация, которая является ценным ресурсом для начинающих. Для получения дополнительной интерактивной поддержки пользователи могут использовать форумы, списки рассылки, IRC-чаты и т.д. Помимо поддержки сообщества, существуют сторонние ресурсы, а также проекты по вопросам развития, которые могут оказать вам помощь. В отличие от WordPress найти квалифицированную помощь по доступным ценам для Joomla намного труднее. Это может обойтись вам намного дороже, чем в случае с WordPress. Drupal имеет активное сообщество фанатов и пользователей. Так же, как для WordPress и Joomla, здесь можно найти все варианты поддержки сообщества. Доступна обширная документация, форум поддержки, списки рассылки, группы пользователей, IRC-чаты. Везде можно получить консультацию и бесплатную помощь: Drupal пытается связывать пользователей с разработчиками и компаниями, предлагающими профессиональные услуги на Drupal Marketplace. WordPress оказался лучшим по предоставлению справки. Рассмотрим такую характеристику для сравнения, как поддержка локализации и мультиязычность. Большой процент сайтов создаются не только на английском языке. Многие новички будут искать CMS, которая 54

может обрабатывать несколько языков или имеет поддержку для различных регионов и на различных языках. WordPress стала отличной платформой для создания многоязычных сайтов. Он не поддерживает несколько языков по умолчанию, но существует целый ряд плагинов, которые позволяют создавать многоязычные сайты. WordPress доступен более чем на 53 языках. Новые языки можно установить в панели администрирования всего одним кликом мыши: Самые популярные темы и плагины также доступны на нескольких языках. Разработчики активно ищут помощь в переводе своих пакетов на другие языки. Все эти усилия сделали WordPress отличной платформой для создания сайтов сразу на нескольких языках. Joomla позволяет создать мультиязычный сайт по умолчанию без установки какого-либо расширения. Просто зайдите в менеджер языков и добавьте нужный язык контента: Для интерфейса администратора также доступны переводы на многие языки, их можно установить прямо из панели администрирования. Drupal поставляется со встроенной поддержкой не английских или многоязычных сайтов. Вам нужно будет включить локальные настройки и перевод содержимого модулей. После этого можете добавить сайт и язык интерфейса администратора из раздела конфигурации Drupal: В данной номинации нет победителя - все три платформы поддерживают многоязычные сайты и доступны на нескольких языках Наиболее важным фактором при выборе CMS для сайта является безопасность. Так как WordPress является самой популярной CMS в мире, то сайты, работающие на базе этой платформы, часто становятся мишенью для хакеров. Тем не менее, WordPress построен на безопасном коде, и он быстро реагирует на уязвимости в системе. WordPress также имеет механизм автоматического обновления, который позволяет обновлять платформу, когда появляется исправление системы безопасности. 55

Сайты, работающие на базе WordPress, могут быть дополнительно оснащены системой двухфакторной автоматического аутентификации, а создания также резервных другими копий, продвинутыми технологиями. Также существует встроенный механизм, который сообщает о появлении обновлений для тем и плагинов WordPress. Это позволяет быстро реагировать на любые уязвимости в системе безопасности. В вопросах безопасности отличия Joomla от WordPress минимальны. Платформа оперативно реагирует на любые уязвимости в системе и очень быстро исправляет их. В то же время поддержка сайта и установка обновлений все также остается слабее, чем в WordPress. Существуют расширения, предназначенные для резервного копирования сайта, работающего на базе CMS Joomla. Вы также можете усилить безопасность сайта, применив те же передовые практики, что и для WordPress. Drupal серьезно относится к безопасности. Разработчики публикуют информацию об обнаружении и устранении уязвимостей. Существует мнение, что Drupal является более безопасной платформой, потому что мы не так часто слышим о взломе сайтов на Drupal. Но это связано с тем, что Drupal не так популярен, как Joomla или WordPress. Сравнение Drupal Joomla и WordPress - все три платформы соответствуют современным стандартам безопасности. Таким образом, можно сделать вывод о том, что и Drupal, и Joomla, и WordPress являются надежными системами управления контентом. Drupal и Joomla по умолчанию поставляются с большим количеством встроенных функций, чем WordPress. Тем не менее, WordPress побеждает их простотой в использовании, большим количеством плагинов и тем, а также более развитым сообществом. Большинству пользователей будет намного проще работать с WordPress, нежели с Joomla или Drupal. 56

Выводы по второму разделу. На основе проведенного анализа литературных источников определены этапы проведения экспертного оценивания. Изучены способы экспертного оценивания, определены особенности для психологического тестирования. На основе проведенного анализа, для реализации поставленных задач и намеченной цели выбрано программное обеспечение WordPress. 57

3 Программная реализация персонализированного тестирования информационного с использованием обеспечения экспертного оценивания 3.1 Разработка концептуальной модели системы На первом этапе построения концептуальной модели системы сформированы общие представления о предметной области, выделены основные сущности и связи. Далее детализированы представления о свойствах сущностей и связей, определены внешние ключи. На третьем этапе выполнена детализация предметной области и представлений определен о характеристиках окончательный состав объектов атрибутов сущностей. В таблице 3.1 приведены характеристики рассматриваемых объектов предметной области (сущностей). Таблица 3.1 – Объекты предметной области Объект предметной области Пользователь Студент Администратор Консультация Тест Тестирование Варианты ответов Вопросы Ответы пользователя Характеристики id_пользователя, фамилия, имя, логин, телефон, почта, пароль id_студента, фамилия, имя, отчество, группа, телефон id_администратора, фамилия, имя, отчество id_консультации, id_пользователя, id_администратора, id_студента, дата консультации, обращение пользователя, ответ пользователю id_теста, название, описание id_тестирования, id_пользователя, id_теста, дата, баллы, комментарий id_варианта, id_вопроса, количество баллов, id_теста, текст id_вопроса, текст вопроса id_ответа, id_варианта, id_тестирования Для построения концептуальной модели использован инструмент AllFusion ERwin Data Modeler. На рисунке 3.1 приведена созданная модель системы. 58

Сущность «Пользователи» представляет всех лиц, зарегистрированных в системе (сайт www.псиблог.рф). Сущность «Студент» представляет собой всех зарегистрированных в системе студентов Воронежского Института Практической Психологии и Психологии Бизнеса. Рисунок 3.1 – Концептуальная модель системы Сущность ответственных «Администратор» за обработку представляет и собой предоставление всех лиц, психологических консультаций пользователям. В контексте данной предметной области в роли администратора выступает квалифицированный психолог, под руководством и контролем которого студенты осуществляют работу по оказанию консультационной поддержки пользователям. Сущность «Тест» – все психологические тесты, доступные для прохождения в системе. Сущность «Консультация» представляет собой консультации, оказываемые пользователям системы студентами под руководством администратора. Сущность «Тестирование» – все тестирования, зафиксированные после прохождения пользователями тестов в системе. Сущность «Варианты ответов» – варианты ответов, используемые в вопросах. Сущность «Вопросы» – вопросы, составляющие 59 тесты. Сущность «Ответы

пользователя» – ответы пользователей, выбираемые при прохождении тестирования. В данной работе разработана база данных с одной таблицей «users», соответствующая сущности «Пользователи». Структура таблицы приведена на рисунке 3.2. В программе была создана база данных «id3952919_testirovanie». Рисунок 3.2 – Таблица «users» На данном этапе работы построена концептуальная модель предметной области, описывающая основные понятия и связи между ними. Для разработки и управления структурой базы данных использована программа phpMyAdmin. В дальнейшей работе по разработке данной автоматизированной подсистемы тестирования предполагается расширение базы данных (добавление новых таблиц). 3.2 Разработка интерфейса Сайт состоит из 10 основных страниц: «Главная страница», «Мы», «Статьи», «Тесты», «Методики», «Термины», «Новости», «Видео», «Контакты» и «Поиск». Структура карты сайта показана на рисунке 3.3. 60

Разветвление получает страница «Статьи», так как психологические статьи сгруппированы по темам наиболее популярным. Рубрика «Статьи» обновляется с периодичностью раз в неделю, в связи с уникальностью размещаемых статей и сложностью их перевода, обработки в соответствии с заключенными договорами с авторами. Рисунок 3.3 - Структура карты сайта Данная структура сайта является удобной в использовании для обычных пользователей, так как имеет доступный интерфейс. В ходе реализации практической части магистерской диссертации было использовано средство WordPress. Встроенные готовые модули позволяют 61

быстро сконструировать страницу. На рисунке 3.4 показаны основные модули Visual Divi Builder. Встроенные готовые модули позволяют быстро сконструировать страницу. Рисунок 3.4 – Модули Visual Divi Builder Отвечает за работу сайта целая группа, в которую входят: редактор, 2 переводчика, 2 технических специалиста и 5 авторов. Подготовкой и размещением контента занимается главный переводчик, а также всеми процессами подготовки статей других авторов. Категория – термины, публикуется раз в неделю, содержит в себе один из терминов психологии. 62

На следующих рисунках будут представлены все этапы разработки, модернизации и уже готовые страницы сайта «ПсиБлог.рф». Рисунок 3.5 - ПсиБлог.рф. Консоль На рисунке 3.5 отображена «Консоль», имеющая панель настройки, содержащую следующие пункты меню: «Записи», «Тесты», «Комментарии», «Профиль», «Инструменты» и «Свернуть меню». В окне отображаются группы информационных панелей, содержащие описание количества записей, комментариев, страниц в панели «На виду». Панель «Активность» показывает недавно опубликованные комментарии. «Быстрый черновик» позволяет создать предварительную версию новой страницы. Панель 63

«Новости и мероприятия WordPress» позволяет контролировать участие в мероприятиях, а также следить за новостями. Рисунок 3.6 – Окно редактирования тестов Показанное на рисунке 3.6 диалоговое окно редактирования текстов позволяет удобно работать с настройкой тестов, их наполнением, заданием шкалы, настройкой обработки результатов, отнесение к той или иной категории тестов. Также здесь фиксируется дата опубликования теста, сообщения-комментарии к пройденным тестам. Также в этом окне есть вкладки, позволяющие фильтровать и сортировать информацию, что также положительно сказывается на настройке и обработке тестовых вопросов. 64

Это окно также позволяет создавать новые тесты, редактировать тестовые вопросы. Рисунок 3.7 – Добавление записи На рисунке 3.7 представлено диалоговое окно «Добавить запись», содержащее большое количество встроенных инструментальных средств, сгруппированных по своим особым свойствам и назначению, а также позволяет выбрать определенный формат. 65

3.3 Тестирование интерфейса автоматизированной подсистемы Разработанное информационное обеспечение – сайт «Псиблог.рф», содержит большое количество уникальной информации, ориентированной на широкий круг пользователей: обычные пользователи, интересующиеся психологическими проблемами в различных сферах жизнедеятельности, преподаватели, желающие ознакомиться с последними достижениями и новейшими изысканиями мнениями как в нашей стране, так и за рубежом, а также студенты, обучающиеся по соответствующим направлениям психологии. Рассмотрим основное окно сайта, показанное на рисунке 3.8. Рисунок 3.8 – Главное окно ПсиБлог.рф 66

Здесь собраны самые важные и актуальные исследования мира психологии, переводы и дайджесты свежих психологических статей, которые не встретить больше нигде в русскоязычном информационном пространстве. На данном сайте размещают только уникальный контент, пример статьи представлен на рисунке 3.9. Рисунок 3.9 – Пример статьи Категория видео - обновляется по мере появления интересного контента в рамках психологии, страница с видеоматерилами показана на рисунке 3.10. Видеоматериалы подбираются также из эксклюзивных материалов, это могут быть выступления известных ученых как российский, так и иностранных. Периодически свои видео выступления выкладывает ректор Воронежского института практической психологии и психологии бизнеса. 67

Рисунок 3.10 – Страница с видеоматериалами Студенты психологических факультетов используют публикации для написания курсовых и дипломных работ, так как на данном сайте приводятся ссылки на реальные исследования с указанием авторов. Также, материалы сайта пользуются популярностью у творческой молодежи, предпринимателей, научных сотрудников и огромной аудитории, которой интересна психология. Лучшие статьи ПсиБлога публикуются в Альманахе - периодическом издании Воронежского Института Психологии. Альманах «Психология. 68

Теория и практика» выходит с 2012 года. В 2016 году вышел первый номер в цвете. Альманах -официально зарегистрированное издание. Плата за публикацию статей в Альманахе с авторов не взимается -сотрудничество происходит на безвозмездной основе. Альманах выходит тиражом 1000 экземпляров и распространяется бесплатно на выставках, тренингах, конференциях, в библиотеках и вузах, торговых и бизнес-центрах. В Альманахе есть раздел «Анонс встреч», где публикуется информация о предстоящих событиях в психологическом сообществе Воронежа и Москвы. Рисунок 3.11 – Пример теста Страница «Тесты», пример которой показан на рисунке 3.11, обновляется приблизительно один раз в месяц, так как формирование теста, проверка на валидность требует некоторых временных затрат. Категория тестов - публикуется по мере готовности новых тестов, которые прошли одобрение главного редактора. Подготовкой тестов занимается отдельный человек. Обычно один раз в месяц происходит добавление нового теста. Результаты тестирования 69

хранятся в базе данных, и после прохождения теста, доступны по специальной ссылке, там же можно посмотреть и комментарии, оставленные пользователями и экспертами, это показано на рисунке 3.12. Рисунок 3.12– Копия экрана с комментариями по конкретному тесту На сегодняшний день насчитывается более 12 000 результатов прохождения тестов посетителями. Публикуемые психологические тесты подразумевают одну или несколько шкал, по которым можно сделать подсчет, и зависимо от условий, выдать конкретный ответ. Добавление тестов осуществляется техническим специалистом, так как является усложнённой формой публикации материала, но новый тест может добавить 70

любой пользователь с правами автора (права распределяет администратор сайта после согласования с главным редактором). Таким образом, в работе реализована возможность регистрации и авторизации в автоматизированной подсистеме психологического тестирования. Выводы по третьему разделу. В результате проведенной работы разработано информационное тестирования с концептуальная элементами модель обеспечение экспертного системы, оценивания: разработан тестирование автоматизированной подсистемы. 71 персонализированного интерфейс, разработана проведено

ЗАКЛЮЧЕНИЕ Прикладное затрагивает в применение настоящее производственные тестов время предприятия, не профессиональных достижений только и крупные условиях научно- вузы, вынужденные в но технической революции постоянно заниматься процессами переподготовки персонала и самим осуществлять контроля качества переподготовки. Развитие непрерывного образования выражается в постоянной работе над своими профессиональными знаниями. Тесты профессиональных достижений, на наш взгляд, могут быть одним из основных инструментов для объективной обратной связи об эффективности результатов этого непрерывного образования. Тесты позволяют сделать проверку комплексной, учитывающей особенности направления подготовки, дают возможность работать с современным материалом, с реальными данными в режиме онлайн, а это особенно необходимо для оценки образовательных достижений студентов-психологов. Особенно с учетом того, что по данной специальности необходим большой экспериментальный материал, используемый для проведения анализа и, чем больше практических заданий, выполняемых под контролем преподавателя, тем будет более подготовлен специалист. Разработанное информационное обеспечение состоит, в том числе, из базы данных, в которой хранится информация о результатах реально пройденных тестов, обеспечивается безопасность хранения конфиденциальной информации. Данные результатов тестирования могут быть подвержены дальнейшей обработке, позволяющей выявить валидность вопросов теста, откорректировать тесты. Для достижения поставленной цели были сформулированы и решены все поставленные задачи. Проведен анализ особенностей деятельности коммерческих учебных заведений в области практической психологии. Проанализированы существующие классы и виды тестов, в том числе в 72

области психологии. Проведен анализ существующих методов проведения тестирования с использованием современных информационных технологий и средств автоматизации в процессе обучения студентов-психологов. Разработано тестирования с информационное использованием обеспечение экспертного психологического оценивания. Проведено тестирование разработанной подсистемы. Таким образом, цель исследования достигнута в результате разработки информационного использованием обеспечения экспертного персонализированного оценивания и тестирования апробировано на базе Воронежского института практической психологии и психологии бизнеса. 73 с

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 1. Постановления Правительства России от 24 октября 2011 года № 861 «О федеральных государственных информационных системах, обеспечивающих предоставление в электронной форме государственных и муниципальных услуг (осуществление функций)» [Электронный ресурс] // Официальный сайт компании «КонсультантПлюс».- Режим доступа: http://www.consultant.ru/document/cons_doc_LAW_120963/ 2. Концепция проведения административной реформы в Российской Федерации в 2006-2010 годах [утверждена распоряжением Правительства Российской Федерации от 25 октября 2005 г. № 1789-р]. [Электронный ресурс] // Официальный сайт компании «КонсультантПлюс».- Режим доступа: http://www.consultant.ru/document/cons_doc_LAW_56259/ 3. Распоряжение Правительства Российской Федерации от 6 мая 2008 г. № 632-р «О Концепции формирования в Российской Федерации электронного правительства до 2010 года» [Электронный ресурс] // Гарант.РУ Информационно-правовой портал.- Режим доступа: http://www.garant.ru/products/ipo/prime/doc/93274/ 4. Постановление Правительства Российской Федерации от 28 января 2002 г. № 65 «О федеральной целевой программе «Электронная Россия (2002-2010 годы)» [Электронный ресурс] // Официальный сайт компании «КонсультантПлюс».- Режим доступа: http://www.consultant.ru/ document/cons_doc_LAW_56456/ 5. Маклаков, А.Г. Общая психология: учебник [Текст] / А.Г. Маклаков.– СПб.:Питер, 2012.–583 с. 6. Шаповаленко, И.В. Возрастная психология (Психология развития и возрастная психология): учебник [Текст] / И.В. Шаповаленко. – М.: Гардарики, 2015. – 349 с. 74

7. Гахов, Р.П. Методы и средства проектирования информационных систем и технологий: Учебно-методический комплекс [Электронный ресурс] / Р.П. Гахов. – Электрон.текстовые дан. – Белгород, 2013. – Режим доступа: http://pegas.bsu.edu.ru/course/view.php?id=5906. 8. Михелев, В.М. Методы и средства программирования для Интернет: Учебно-методическое пособие [Электронный ресурс] / В.М. Михелев. – Белгород, – 2014. Режим доступа: http://pegas.bsu.edu.ru/course/view.php?id=6618. 9. Жихарев, А.Г. Технологии проектирования и программирования для Интернет: Учебно-методический комплекс [Электронный ресурс] / А.Г. Жихарев, В.В. Муромцев. – Электрон. текстовые дан. – Белгород, 2013. – Режим доступа: http://pegas.bsu.edu.ru/course/view.php?id=6160. 10. Прохоренок, Н. А. HTML, JavaScript, PHP и MySQL. Джентльменский набор Web-мастера [Текст] / Н. А. Прохоренок. – СПб.: БХВ-Петербург, 2014. – 912 с. 11. Хеник, Б. HTML и CSS: путь к совершенству [Текст] / Б. Хеник. – СПб.:Питер, 2016. 12. Мейер, Э. CSS – Каскадные таблицы стилей. Подробное руководство [Текст] / Э. Мейер. – СПб.: Символ-Плюс, 2008. 13. Вуль, В. А. Электронные издания. – СПб. : БХВ-Петербург, 2013. – С. 560. 14. Матросов А., Сергеев А., Чаунин М. HTML 4.0.: наиболее полное руководство //СПб.: БХВ-Петербург. – 2014. 15. Матросов А., Сергеев А., Чаунин М. HTML 4.0 Новый уровень создания HTML-документов. – 2013. 16. Анисимов А. М. Работа в системе дистанционного обучения Moodle. Учебное пособие. – 2012. 17. Домненко В.М., Бурсов М.В. Создание образовательных интернет-ресурсов //Учебное пособие./ В.М. Домненко, М.В. Бурсов – СПбГИТМО (ТУ). – 2012. 75

18. Леонтьев Б. К. Web-дизайн: Тонкости, хитрости и секреты. – Солон-Пресс, 2013. 19. Дуванов А. А. Web-конструирование. Элективный курс. – БХВ- Петербург, 2016. 20. Миронов Д. Ф. Компьютерная графика в дизайне. – БХВ- Петербург, 2016. 21. Дронов В. А. JavaScript в Web-дизайне. – БХВ-Петербург, 2015. 22. Дженкинс С. Web-дизайн. – Litres, 2017. 23. Шибут И. П. Мультимедийные технологии коммуникации [Электронный ресурс]: учебно-методический комплекс. – 2014. 24. Соловов А. В. Технологические средства электронного обучения //Электронный сборник статей–М.: ГНИИ ИТТ «Информика. – 2012. 25. Чувиков Д. А., Феоктистов В. П., Остроух А. В. Исследование 3D форматов хранения данных в интеллектуальных системах виртуальной реальности //Международный журнал экспериментального образования. – 2015. – №. 3-3. 26. Валитов Р. А., Устюгова В. Н. Технические вопросы и проблемы, возникающие при создании и эксплуатации системы дистанционного обучения на базе Moodle //Образовательные технологии и общество. – 2014. – Т. 14. – №. 4. 27. Мелащенко А. О., Перевозчикова О. Л., Скарлат Е. С. Формат долгосрочного хранения электронных документов //Компьютерная математика. – 2011. – №. 1. – С. 106-115. 28. Поддубная Н. А. Проектирование многофункциональных электронных образовательных ресурсов средствами информационных и коммуникационных технологий //Вестник Северо-Кавказского федерального университета. – 2015. – №. 3. – С. 208-212. 29. Ситников В. П. Техника и технология средств массовой информации: Периодическая печать/М //Фак-т журн. МГУ. – 2012. – Т. 1. – С. 75. 76

30. Зарипова М. Ж., Тайиров А. Х., Мирсабурова У. М. Особенности создания и использования электронных учебных пособий с помощью программы MicrosoftPublisher //Гаудеамус. – 2012. – Т. 2. – №. 20. 31. Семикин В. А. Семантическая модель контента образовательных электронных изданий :дис. – Тюмень : [Тюмен. гос. ун-т], 2014. 32. Евсюткин А. С. Развитие методов и моделей формирования интеллектуального контента: автореферат дис.… канд. экон. наук. – 2012. 33. Гончаренко, О. Г. Информационная поддержка портала верстки электронных книг. – 2016. 34. Сырбу, А. Н. Применение CGI-технологии для создания и использования Web-приложений в качестве интерактивного распределенного информационного образовательного ресурса //Ученые записки ИУО РАО. – 2005. – №. 17. – С. 251-256. 35. WordPress [Электронный ресурс]. – Режим доступа: https://ru.wordpress.org/ (Дата обращения 02.02.2018) 36. доступа: Обзор конструктора DiviBuilder [Электронный ресурс]. – Режим https://divithemes.ru/doc/divi-builder-review/ (Дата обращения 02.02.2018) 37. Термины. Психолог. "Национальной энциклопедической службы России" [Электронный ресурс] / Словарь психолога.– Режим доступа: https://vocabulary.ru/pravila.html (Дата обращения 02.02.2018) 38. Чумаков А. А. Методика конструирования тестов профессиональных достижений с использованием интернет-технологий //автореф. дис… канд. психол. наук. – 2007.- 24 с. 39. измерения Использование компетентности результатов студентов экспертного и оценивания выпускников для технических университетов / Берестнева О.Г. и др. //Известия Томского политехнического университета. – 2014. – Т. 315. – №. 5.- С.56-66. 77

40. Самохвалов, Ю. Я. Экспертное оценивание. Методический аспект/ Ю.Я. Самохвалов, Е.М Науменко Е.М. //К.: ДУIКТ. – 2017. – Т. 362.С. 41. Математическое обеспечение обработки рейтинговой информации в задачах экспертного оценивания / Козлов В. Е. и др. //Мир измерений. – 2012. – №. 9. – С. 42-49. 42. Берестнева О. Г., Марухина О. В. Компьютерная система принятия решений по результатам экспертного оценивания в задачах оценки качества образования //Образовательные технологии и общество. – 2012. – Т. 5. – №. 3. 43. Гуцыкова С. Метод экспертных оценок. Теория и практика. – Litres, 2018. 44. Марухина О. В., Берестнева О. Г. Анализ и обработка информации в задачах оценивания качества обучения студентов вуза //Известия Томского политехнического университета. Инжиниринг георесурсов. – 2014. – Т. 307. – №. 4. 45. Коробов, В. Б. Некоторые проблемы применения экспертных методов на практике //Научный диалог. – 2013. – №. 3 (15). 46. Чванова, М. С., Киселева И. А., Молчанов А. А. Проблемы использования экспертных систем в образовании //Вестник Тамбовского университета. Серия: Гуманитарные науки. – 2013. – №. 3 (119). 47. Фрумкин А. А. Психологический отбор в профессиональной и образовательной деятельности //СПб.: Речь. – 2014. – Т. 226. 48. Савельева, А.С. Формальное описание электронных образовательных услуг: процедура защиты кандидатской диссертации / А.С. Савельева.-Санкт-Петербург, 2012.– 45 с. 49. Сахаров, П. Rational Rose, BPwin и другие – аспект анализа бизнес-процессов [Электронный ресурс] / П. Сахаров // Директору информационной службы: элек-трон. журн. – 2000. – N 11. – Режим доступа: http://www.osp.ru/cw/cio/ 2000/011_0.htm. 78

50. Описание стандартов семейства IDEF [Электронный ресурс]. – Режим доступа: http://idef.ru/. (Дата обращения 04.02.2018) 51. Бизнес процесс [Электронный доступа:http://center-yf.ru/data/ip/Biznes-process.php. ресурс]. (Дата – Режим обращения 02.03.2018) 52. Малыхина, М. П. Базы данных: основы, проектирование, использование (учеб. пособие для вузов по спец. «Информатика и вычисл. Техника») / М.П. Малыхина. – СПб.: БХВ-Петербург, 2006 . – 517 с. 53. Хендерсон, К. Профессиональное руководство по SQL Server. Структура и реализация / К. Хендерсон. – М., 2006. – 1056 с. 54. Кузин, А. В. Разработка баз данных в системе Microsoft Access (учеб. для сред. проф. образования) / А.В. Кузин, В.М. Демин. – М. : Форум ИНФРА-М, 2005. – 223 с. 55. Карпова, Т.С. Базы данных: модели, разработка, реализация / Т.С.Карпова . – СПб. : Питер, 2002 . – 304 с. 56. Зайцева, Т.В. Методические рекомендации по подготовке и защите выпускных квалификационных работ (для магистров направления подготовки 09.04.03 Прикладная информатика) / Т.В. Зайцева, Н.П. Путивцева, О.П. Пусная. – Белгород: Изд-во ГИК, 2017. – 52 с. 57. Цветков, В.Я. Электронные ресурсы и электронные услуги / В.Я. Цыетков, С.Г.Семушкина // Современные проблемы науки и образования. – 2009. - N 6-1. – С. 39-40. 58. Поляков А.А. Прикладная информатика: В 2-х частях: / А.А. Поляков, В.Я. Цветков : под общ. ред. А.Н. Тихонова. Часть.1. - М.: МАКС Пресс, 2008. – С. 788. 59. Дубейковский, В. И. Эффективное моделирование с CA ERwin Process Modeler (BPwin; AllFusion Process Modeler) / В.И.Дубейковский.– М.: Диалог –МИФИ, 2009. – 384 с. 79

60. Маторин С.И. Теория систем и системный анализ: учебное пособие [Электронный документ] / С. И. Маторин, О. А. Зимовец; рец.: В.А. Ломазов, Н.И. Корсунов. – Белгород: «БУКЭП», 2016. – 259 с. 80

ПРИЛОЖЕНИЕ А Примеры страниц образовательного сайта Псиблог.рф Рисунок А.1 – Страница сайта Псиблог.рф «Статьи» Рисунок А.2 – Пример психологической статьи на сайте Псиблог.рф 81

Рисунок А.3 – Пример психологического теста на определение способности выражать собственные эмоции вербально Рисунок А.4 – Страница выбора вида получения результатов теста 82

ПРИЛОЖЕНИЕ Б Примеры окон настройки теста Рисунок Б.1 – Окно редактирования вопросов теста Рисунок Б.2 – Окно настройки для качественных вопросов теста 83

Рисунок Б.3 – Установка допустимых баллов при ответе на вопросы теста Рисунок Б.4 – Настройка числовой шкалы теста Рисунок Б.5 – Настройка параметров теста 84

Рисунок Б.6 – Анализ сформированного теста 85

Магистерская диссертация выполнена мной совершенно самостоятельно. Все использованные в работе материалы и концепции из опубликованной научной литературы и других источников имеют ссылки на них. «_____» _________________ _____ г. ______________________ ___________________________ 86

Рецензии:

Авторизуйтесь, чтобы добавить рецензию

- у работы пока нет рецензий -

Отзывы:

Авторизуйтесь, чтобы оставить отзыв