Архитектура на основе модели студента для интеллектуальных обучающихся сред

Интеллектуальная обучающая среда – относительно новый вид интеллектуальной образовательной системы, которая объединяет особенности традиционных Интеллектуальных Систем Обучения (ИСО) и обучающих сред. Традиционные ИСО способны поддерживать и контролировать обучение студента на нескольких уровнях, но не представляют возможности для обучения и приобретения знаний, управляемых студентом. Интеллектуальная обучающаяся среда (ИОС) включает специальный компонент, чтобы поддерживать обучение, управляемое студентом – модуль среды. "Термин среда используется, чтобы указать на часть системы, которая определяет или поддерживает действия, выполняемые студентом, и способы, доступные студенту для выполнения этих действий" (Burton R.R., 1988). Некоторые недавние ИСО и ИОС включают также специальный компонент (мы называем его "руководство"), который обеспечивает доступ к структурированному инструктирующему материалу. Студент может работать с руководством через запросы справочной информации или через специальные инструментальные средства просмотра, исследуя инструктирующий материал самостоятельно. Интегрированная ИОС, которая включает компоненты среды и руководства в дополнение к обычному обучающему компоненту, может поддерживать изучение как процедурных, так и декларативных знаний и обеспечить как управляемые системой, так и управляемые студентом стили обучения.

Наши исследования в Московском Государственном университете и международном Центре Научно-технической Информации (ICSTI), сосредоточены на двух проблемах создания интегрированной ИОС: проблеме адаптации и проблеме интегрирования. Что касается адаптации, проблема состоит в том, чтобы сделать все компоненты интегрированной ИОС адаптивными. Большинство ИСО и обучающих компонентов ИОС могут приспособить свою работу (обучение) к данному студенту, однако очень немногие компоненты среды и руководства могут сделать это. Это была одна из наших целей – создать адаптивные компоненты среды и руководства ИОС. Что касается интеграции, наша позиция такова: интегрированная система должна быть не просто суммой, а реальным интегрированием ее компонентов. В частности это требует непрерывность работы студента в интегрированной ИОС. Результаты работы студента с любым из компонентов в течение сеанса должны быть приняты во внимание другими компонентами, чтобы приспособить их работу к измененному уровню знаний и текущему интересу конкретного студента.

Как решение вышеупомянутых двух проблем мы предлагаем подход к построению интегрированной ИОС, основанный на модели студента. Этим подходом все компоненты ИОС, включая среду и руководство, используют одну и ту же центральную модель студента, традиционную часть ИСО, чтобы приспособить ее поведение к данному студенту. Мы также разработали простую архитектуру ИОС, основанную на модели студента. С 1985 мы применяли этот подход и архитектуру, основанную на модели студента, в нескольких ИОС, разработанных нашей группой для различных областей. Мы используем эти ИОС, чтобы исследовать различные аспекты и проблемы интегрированной ИОС. Мы считаем наш подход плодотворным и эффективным, однако годы опыта дают нам возможность найти ограничения нашей первоначальной архитектуры. Недавно мы улучшили архитектуру, основанную на модели студента для ИОС, которую мы используем в нашей последней ИОС.

В этой статье мы представляем наш первоначальный подход и простую архитектуру, основанную на модели студента для ИОС, сообщаем о некоторых проблемах и ограничениях нашей первоначальной архитектуры, и предоставляем улучшенную открытую архитектуру, основанную на модели студента для ИОС

Предыдущий опыт

Первая цель такого подхода состоит в том, чтобы создать действительно адаптивную ИОС, где все компоненты могут динамически приспособиться к уровню студента. Следующие характеристики могут быть приняты во внимание компонентами ИОС, чтобы приспособить ее поведение к данному студенту: личные факторы, способы распознавания, стратегии, личные знания (Van der Veer G.C., 1990). Ключевой (и наиболее изменчивой) характеристикой студента с образовательной точки зрения являются знания студента по данной теме. В нашей работе мы, в основном, рассматриваем компонент общей модели студента, которая представляет знания студента.

Здесь хорошие основы обеспечены исследованиями интеллектуальных систем обучения (Wenger E., 1987). Особенностью многих ИСО является то, что они выводят модель текущего уровня понимания предмета студентом и используют эту индивидуализированную модель, чтобы приспособить обучение к потребностям студента. Область ИСО – хороший источник идей, как проектировать модели студента и как использовать ее (модель) обучающими и тренирующими компонентами ИОС (Self J., 1987; VanLehn K., 1988). В то же время она предоставляет мало идей, как использовать её компонентами среды и руководства.

Идеи о создании адаптивного руководства могут быть найдены в области интеллектуальных систем справки (ИСС), которая имеет глубокие корни в исследовании ИСО (Breuker J., 1990). Цель ИСС – поддерживать пользователя, работающего с прикладной системой. ИСС обеспечивает пользователя пассивной помощью (отвечает на вопросы студента) и активной помощью (обнаруживает неправильное и неоптимальное поведение и с приращением расширяет знания студента). ИСС использует оверлейные модели пользователей для адаптации ответов и объяснений к уровню знания каждого индивидуального пользователя.

Идеи, как использовать модель студента компонентом среды ИОС могут быть найдены в области адаптивных интерфейсов пользователя¹ (Dieterich et al., 1993). Эта относительно новая область (по сравнению с ИСО) изучает интерфейсы, которые адаптируются к характеристикам пользователя. Ключевая часть адаптивного интерфейса – модель пользователя, которая представляет те особенности пользователя, которые являются важными для адаптации. Модель знания пользователя об области – важная часть общей модели пользователя. Благодаря схожести этих данных и содержащихся в ИСО, Benyon D.R. и Murray D.M. (1993) рассматривают эту часть модели пользователя как модель студента.

Идеи из области адаптивных интерфейсов могут быть использованы для создания компонент адаптивной среды ИОС. Для этого надо рассматривать среду как обычную прикладную систему и студента – как пользователя этой системы (Brusilovsky P.L., 1993). Можно спорить, что компонент среды, основанный на идеях адаптивных интерфейсов, может приспособиться к знаниям студента об изучаемой среде, а не изучаемой области. Однако, обратите внимание, что любая существенная особенность образовательной среды представляет немного знаний об области.

Обобщенные области ИСО, ИСС и адаптивных интерфейсов формируют хорошую основу, чтобы достичь первой цели нашего подхода, то есть сформировать адаптивную ИОС, где все компоненты могут динамически приспособиться к изменяющимся знаниям студента. Вторая цель подхода состоит в том, чтобы иметь единое представление знаний студента в модели студента ИОС, которое может использоваться всеми компонентами ИОС. Эта особенность обеспечивает непрерывность: результаты работы студента с любым из компонентов, которые могут влиять на уровень знаний студента, немедленно отражаются в модели студента и могут быть учтены другими компонентами, которые приспосабливают свою работу к изменившимся знаниям студента. Для достижения этой цели мы должны спроектировать единую модель студента-пользователя и, обобщая, спроектировать архитектуру ИОС, основанную на модели студента, которая обеспечивает моделирование студента и совместное использование модели студента. Следующий раздел представляет простую архитектуру, основанную на модели студента, которую мы использовали прежде в наших нескольких ИОС. Последующий раздел представляет улучшенную архитектуру, основанную на модели студента, которую мы используем теперь.

Простая архитектура на основе модели студента

В нашей работе по разработке ИОС на основе модели студента мы шли от ИСО, т.е., принимая традиционную архитектуру ИСО в качестве базы для архитектуры ИОС, основанной на модели студента. Традиционная архитектура ИСО включает три основных компонента: компонент экспертизы, обучающий компонент и компонент моделирования студента. Каждый из компонентов содержит один из трех видов знаний, важного для интеллектуального обучения: знания об области, знания об обучении и знания о студенте и его моделировании (Wenger E., 1987). Согласно этой архитектуре, модель студента представляет понимание студентом материала, который будет преподан. Модель студента используется обучающим компонентом, чтобы обеспечить адаптивное обучение на различных уровнях. Результаты работы студента с обучающими операциями возвращаются компоненту моделирования (диагностики) студента и используются, чтобы обновить модель студента. Это называют циклом моделирования студента.

Чтобы использовать опыт ИСО по моделированию студента, мы решили применить обычную модель студента, используемую обучающим компонентом ИОС в качесиве центральной модели студента-пользователя всей ИОС. В наших первых системах обучающий компонент совершает обычный цикл моделирования студента, в то время как другие компоненты ИОС только используют эту центральную модель студента для адаптации. Единственная проблема состояла в том, чтобы выбрать тип модели студента, которая может использоваться всеми компонентами.

Как мы можем видеть из предыдущей главы, ИСО, ИСС и адаптивные интерфейсы используют модели студента или пользователя для одной и той же цели – адаптации, что также приводит к подобию примененных моделей. Если мы рассматриваем компонент знаний студента моделей студента или пользователя, мы найдем подобные оверлейные модели, базирующиеся на модели структуры области, где область является или темой, которая будет преподана, или прикладной системой. Для каждого элемента знаний области модель студента (пользователя) хранит некоторые данные о компетентности студента (пользователя) и предыдущем опыте работы с этим элементом.

В нашей архитектуре, основанной на модели студента, модель области является сетью, узлы которой соответствуют элементам знаний предмета (зависящей от предмета) и чьи связи отражают виды отношений между узлами. Мы используем оверлейную модель, которая содержит одно целое число (счетчик) для каждого элемента знаний темы, измеряющее понимание студента этого элемента. Этот вид оверлейной модели является мощным и достаточно общим, чтобы использоваться различными компонентами ИОС. Модель студента обновляется специальным оценивающим модулем, который анализирует результаты студенческой деятельности при решении задач. Если ИОС содержит тренирующий компонент, который может следовать за пошаговым решением задач студентом, то может быть применена определенная технология, прослеживающая модель (Corbett A.T., Anderson J.R., 1992), в противном случае используется разновидность дифференциального моделирования (Wenger E., 1987) для обновления счетчиков понятий, связанных с проблемой. Изменения распространяются по связям сети.

Вышеупомянутая оверлейная модель доступна для всех модулей ИОС и может использоваться каждым из них для адаптации их поведения к знаниям студента. Однако, чтобы избежать использования бессмысленных чисел и обеспечить большую гибкость, мы предложили методику порогов. Каждый из компонентов ИОС может различить несколько отличных состояний знаний для каждого элемента знаний. Каждое из этих состояний имеет специальное значение для модуля с точки зрения адаптации. Чем больше состояний модуль может учитывать, тем более сложную адаптацию он может обеспечить. Простые модули могут отличать только два состояния, например, неизвестно и известно, в то время как самый адаптивный модуль обучения может отличать шесть состояний (Brusilovsky P.L., 1992a). Чтобы отобразить определенное целочисленное значение оверлейной модели в набор состояний, каждый модуль использует целочисленные пороги, которые делят возможный диапазон значений счетчика на требуемое количество интервалов, соответствующих состояниям знаний, распознаваемым модулем. Таким образом, простые модули используют только один порог, в то время как обучающий модуль использует пять порогов. Каждый модуль использует собственный набор порогов в центральной модели студента. Эти пороги могут быть различными для различных элементов знаний и различных студентов. Пороговая методика обеспечивает хорошую гибкость, давая способ адаптировать механизм моделирования студента к элементам знаний различной сложности и к различным классам студентов.

Мы применяли вышеупомянутую архитектуру на основе модели студента в нескольких ИОС для различных областей. Эти ИОС имеют общую архитектуру, но используют различные наборы модулей и демонстрируют несколько возможных способов применения оверлейной модели студента для адаптации. Ниже мы кратко описываем некоторые ИОС, разработанные нашей группой на базе простой архитектуры, основанной на модели студента.

ITEM/IP – ИОС для изучения вводного программирования (Brusilovsky P.L., 1992b). Элементы знаний проблемной области в ITEM/IP – общие понятия и структуры программирования изучаемого языка программирования. ITEM/IP содержит следующие адаптивные модули: модуль стратегии, который поддерживает адаптивную последовательность обучающих операций, визуальный интерпретатор, который использует текущий уровень знаний студента, чтобы обеспечить адаптивную обработку ошибок и адаптивную визуализацию, и модуль презентации, который генерирует адаптивное описание понятия или структуры при их введении или повторении. Все эти модули обращаются к одним и тем же шести состояниям знаний (пять порогов) для каждого элемента знаний проблемной области в его правилах адаптации². Подробности об этих компонентах могут быть найдены в (Brusilovsky P.L., 1992a; Brusilovsky P.L., 1993).

ILED – это ИОС для приобретения навыков в дифференциальном исчислении (Brusilovsky V., 1993). Элементы знаний проблемной области в ILED – правила дифференцирования. ILED включает следующие адаптивные модули: структурный редактор формулы, который играет роль исследовательской среды, обучающая программа, которая может предложить студенту наилучшее действие для обучения (проблема или пример), и тренер, который пошагово следует за действиями студента, диагностируя ошибки и обновляя модель студента. Новыми особенностями ILED по сравнению с ITEM/IP являются: адаптивный редактор структуры³, адаптивный тренер и способность обучающей программы генерировать (а не выбирать) наилучшее действие для обучения на основе модели студента. Редактор структуры различает два состояния для правил дифференцирования – не приобретенный и приобретенный. Обучающая программа и тренер различают четыре состояния для правил дифференцирования – неизвестный, введенный, известный и приобретенный.

ISIS-Tutor (Brusilovsky P., Pesin L., 1994) – это ИОС для поддержки изучения языка форматирования печати информационно-поисковой системы CDS/ISIS. ISIS-Tutor напоминает архитектуру ITEM/IP во многих деталях. Новый адаптивный компонент ISIS-Tutor – гипермедийное руководство, которое происходит от модуля презентации ITEM /IP. Этот компонент поддерживает как адаптивное представление понятия, так и адаптивную гипермедийную навигацию. Компонент гипермедиа ISIS-Tutor различает три состояния знаний для каждого понятия: "не готов быть изученным", "готов быть изученным" и известный (понятие готово быть изученным, если все предыдущие понятия известны студенту).

Методы адаптации, используемой в вышеупомянутых проектах, довольно просты. Цель не состояла в том, чтобы улучшить известные методы адаптации различных компонентов, а сформировать систему, где большинство модулей может использовать одну и ту же модель студента, чтобы различными способами адаптации своей работы к знаниям данного пользователя. На последующих шагах некоторые простые методы адаптации могут быть заменены более сложными технологиями, разработанными в областях интеллектуальных интерфейсов и интеллектуальных систем справки. Некоторые примеры: адаптированные к пользователю объяснения естественного языка (Paris C.L., 1988), интеллектуальная справка на базе стратегии (Breuker J., 1990), адаптивная гипермедийная справка (Böcker H.-D.; Hohl H.; Schwab T. 1990).

Извлеченные уроки

Наш опыт разработки некоторых ИОС на базе подхода, основанного на модели студента, доказывает, что это, в общем, является хорошим путем для создания интегрированной ИОС. Теперь мы чувствуем, что модель студента может играть роль ядра ИОС. Мы продемонстрировали, что в нескольких областях можно создать ИОС, где большинство модулей может использовать центральную модель студента для адаптации.

С другой стороны, наш опыт показал серьезные проблемы и ограничения нашей простой архитектуры на основе модели студента. Эти ограничения становятся ясными, когда мы начинаем работать над нашими недавними ИОС – ISIS-Tutor (Brusilovsky P., Pesin L., 1994) и ITEM /PG (Brusilovsky P., Zyryanov M., 1993). Обе системы применяют гипермедийное руководство как компонент для управляемого студентом просмотра знаний проблемной области. Гипермедиа обеспечивает новое качество, и студенты, работающие с этими системами (в отличие от первоначальной ITEM /IP), проводят много времени, обучаясь с помощью гипермедиа самостоятельно. Было очевидно, что результаты работы студента в гиперсреде должны быть отражены в модели студента. Проблема является более общей: в адаптивной обучающей среде каждый модуль ИОС может не только использовать модель студента для адаптации, но и влиять на модель студента, отражая опыт, который студент демонстрировал при работе с этим модулем. Таким образом, диагностирующий компонент должен освободиться от традиционной ИСО монополии в обновлении модели студента. К сожалению, весьма трудно координировать несколько источников обновления модели студента в простой архитектуре. Мы пробовали сделать это в ISIS-Tutor, но не были удовлетворены результатом.

Другая проблема состоит в том, что модель студента классической ИСО, которую мы унаследовали простым подходом, была разработана, чтобы накопить и обработать информацию о студенте согласно потребностям обучающего модуля. Информация, хранящаяся в центральной модели уместна для целей обучающего или тренирующего модулей, но наш опыт показал, что другие модули ИОС могут нуждаться в совсем другой информации о студенте в зависимости от вида адаптации, который они обеспечивают. Часть этой проблемы может быть решена нашей пороговой методикой. Однако основная проблема состоит в том, что обработка информации о студенте в форму, ориентированную для одного из модулей, часто ведет к потере информации, важной для какого-нибудь другого модуля. Например, компонент гипермедиа нуждается в информации о том, как часто обучающий компонент показывает конкретную страницу гипермедиа студенту. Эта информация использовалась, чтобы обновить какой-нибудь счетчик в модели студента, и затем была стерта. Теперь она не может быть восстановлена из модели студента.

С третьей проблемой мы столкнулись, когда мы пытались сделать модель студента изменяемой студентом. Причина для студента изменить модель студента состоит в том, чтобы настроить адаптацию конкретного компонента. Однако любые изменения в модели студента приводят к изменениям поведения всех компонентов, что не является целью студента.

Вышеупомянутые соображения заставили нас пересмотреть простую архитектуру на основе модели студента. Мы сделали это за несколько шагов, немедленно применяя и проверяя новые решения в наших ITEM/PG и ITEM/IP-II средах. Следующий раздел представляет улучшенную архитектуру, основанную на модели студента для ИОС, где каждый из компонентов (модулей) может использовать и/или модифицировать модель студента без потери информации.

Улучшенная архитектура, основанная на модели студента

Архитектура, основанная на модели студента, делит модель студента на две части – основную модель студента и проекции (рисунок 1). Основная модель студента (далее просто модель студента) находится в центре среды и собирает информацию о данном студенте из различных источников. О взаимодействии студента с любым из компонентов системы сообщают модели студента. Примеры: "в момент времени T1 студент посещает гиперузел понятия C1 в течение S1 секунд", "в момент времени T2 студенту показали пример решения задачи, который касается понятий C1, ..., C_n", "работая с редактором в момент времени T3, студент успешно использовал понятия C1, ..., С_м". Эти сообщения помечаются временем и хранятся в форме стандартных событий, непосредственно связанных с узлами модели проблемной области. Никакая дальнейшая обработка не выполняется, чтобы избежать потери важной информации. Основная модель студента объединяет всю информацию о студенте, которая может использоваться для адаптации.

Рисунок 1: Улучшенная архитектура, основанная на модели студента

Примечание: Это не тот рисунок, что показан в статье 1994 (к которому я не имею источника), а подобный рисунок из статьи AIED' 95

Компоненты ИОС не используют непосредственно модель студента, а вместо этого используют локальные виды студента, которые мы называем проекциями. Проекция представляет ту информацию о студенте, которая является существенной для компонента, чтобы приспособить его работу к студенту. Компонент имеет настолько полную проекцию, насколько требуется для адаптации. Проекция создается и обновляется из основной модели студента специальным набором правил названных проектором. Каждый компонент имеет свою собственную проекцию и проектор, что обеспечивает интерфейс между компонентом и основной моделью студента. Одна часть правил проектора используется, чтобы проецировать основную модель студента в локальную проекцию. Эти правила обращаются к модели студента в их левых сторонах и содержат команды для модификации проекций в их правых сторонах. Пример: "если студент читает описание структуры Ci, и студент просматривает работу структуры Ci с первым уровнем визуализации более 15 раз, тогда установить второй уровень визуализации для структуры Ci". Другая часть правил проектора используется, чтобы обеспечить обратное проецирование: проецировать результаты работы студента с компонентом в форму стандартных событий, используемых основной моделью студента. Например: "если в момент времени T1 студент посещает гиперузел для понятия Ci на более чем 30 секунд, тогда, если в момент времени T1, студент читает описание понятия Ci". Больше примеров использования проекций в реальной ИОС может быть найдено в (Brusilovsky P., Zyryanov M., 1993).

С нашей точки зрения, модель студента классической ИСО – только одна из локальных проекций: та, что используется обучающим компонентом. Другие компоненты системы (такие, как микромир) могут использовать совсем другие проекции. Основная модель студента хранит частично обработанную информацию о студенте, потому что дальнейшая обработка может потерять информацию, важную для одного из компонентов. Модель студента – это больше, чем традиционная "хронология", но она менее формализована, чем классическая оверлейная модель. Скорее, это a-структурированная хронология. Дальнейшая обработка и проецирование к более традиционной оверлейной форме делаются отдельно проекторами согласно требованиям различных компонентов.

Мы считаем, что предложенная архитектура на основе модели студента является хорошим базисом для создания интегрированной обучающей среды или любой другой интегрированной адаптивной системы, которая состоит из набора различных компонентов. Использование проекций и правил обеспечивает открытую архитектуру с хорошей степенью гибкости. Так как работа компонента зависит от проекции, мы можем настроить работу для конкретного использования, изменяя правила проектора (или даже проекцию непосредственно), без влияния на другие компоненты. Новый компонент может быть легко интегрирован в среду, создав набор правил, которые соединяют центральную модель с данным компонентом и его локальным видом студента. Если новый компонент требует новых форм взаимодействия, которые не могут проецироваться в существующий набор стандартных событий, этот набор может быть расширен. Например, событие "в момент времени T1 студент слушал объяснение понятия C_i из мультимедийной записи" может быть спроецировано в событие "в момент времени T1, студент читает описание понятие C_i" или может быть зарегистрировано как новый вид события. Если конкретный модуль должен принять во внимание новый вид событий для лучшей адаптации, его проектор может быть дополнен. Таким образом, открытая архитектура локализирует и максимизирует изменения в развивающейся системе.

Мы должны обратить внимание, что подобные архитектуры были предложены другими авторами для моделирования пользователя в различных областях (Kay J., 1990; Sukaviriya P., Foley D., 1993; Kobsa A.; Müller D.; Nill A., 1994). Это дает нам явную уверенность, что наша улучшенная архитектура является достаточно общей, чтобы использоваться во множестве областей.

Обсуждение

Важная проблема, которая должна быть обсуждена в контексте предложенной архитектуры, основанной на модели студента – уместность адаптации. Система может использовать очень сложные стратегии, чтобы обеспечить студента "оптимальным" следующим обучающим воздействием, уровнем визуализации или подробностью справки. Проблема состоит в том, соглашается ли студент с выбором. Студент мог предпочесть другое воздействие, более (менее) насыщенную визуализацию, или более (менее) подробную справку. Чтобы справиться с этой проблемой, мы думаем, что адаптация не должна быть навязчива, и студент должен хотя бы быть обеспечен выбором: принять обеспечиваемую системой автоматизированную адаптацию или выключить адаптацию. Наш опыт с заданием последовательности задач (Brusilovsky P.L., 1992a) показывает, что новички имеют тенденцию соглашаться с выбором системы, в то время как опытные студенты часто предпочитают делать свой выбор из полного списка уместных обучающих воздействий. В ITEM/IP студент имеет выбор между адаптивной и подробной визуализацией, между адаптированной и полной справкой в реальном времени.

Следующий шаг – обеспечить студента возможностью "приспособить адаптацию" или настроить механизм адаптации, если он не удовлетворен адаптацией. Модель студента обеспечена хорошим средством высокого уровня, чтобы студент мог управлять адаптацией. Это ведет нас к области просматриваемых (или исследуемых) и изменчивых моделей студента. Эти идеи сейчас становятся все более популярными в области ИСО (Self J., 1988; Corbett A.T., Anderson J.R., 1992). Множество работ в этом направлении было сделано в области адаптивных интерфейсов (Kay J., 1990; Böcker, Hohl, Schwab, 1990). Книга (Schneider-Hufschmidt M.; Kuehme T.; Malinowski U., 1993) обеспечивает хорошее обобщение этих усилий и предлагает таксономию различных видов совместной адаптации, где часть работы делается системой и другая часть студентом.

Мы счиаем, что предложенная улучшенная архитектура на основе модели студента обеспечивает хорошую базу для различных видов совместной адаптации. Эта архитектура дает возможность студенту отдельно управлять механизмами адаптации различных компонентов системы. Настройка конкретной проекции или механизма адаптации не повлияет на другие части системы. Несколько хороших идей о настройке механизма адаптации для гипермедиа могут быть найдены в (Kaplan C.; Fenwick J; Chen J., 1993).

(Benyon D.R., Murray D.M., 1993) Benyon D.R., Murray D.M. Applying user modeling to human-computer interaction design. AI Review 6: 43-69.

(Böcker H.-D.; Hohl H.; Schwab T. 1990) Böcker, H.-D.; Hohl, H.; and Schwab, T. Individualizing Hypertext. In Proceedings of the Third International Conference on Human-Computer Interaction, INTERACT'90, 931-936. Amsterdam: North-Holland.

(Breuker J., 1990) Breuker J. EUROHELP: Developing intelligent help systems. Final Report on the P280 ESPRIT Project EUROHELP. Brussles: EC.

(Brusilovsky P.L., 1992a) Brusilovsky P.L. A framework for intelligent knowledge sequencing and task sequencing. In Proceedings of the Second International Conference on Intelligent Tutoring Systems, ITS'92, 499-506. Berlin: Springer-Verlag.

(Brusilovsky P.L., 1992b) Brusilovsky P.L. Intelligent Tutor, Environment and Manual for Introductory Programming. Educational and Training Technology International 29(1): 26-34.

(Brusilovsky P., 1993) Brusilovsky P. Student as user: Towards an adaptive interface for an intelligent learning environment. In Proceedings of World Conference on Artificial Intelligence and Education, AI-ED'93, 386-393. Charlottesville: AACE

(Brusilovsky P.; Pesin L.; Zyryanov M., 1993) Brusilovsky P.; Pesin L.; Zyryanov M. Towards an adaptive hypermedia component for an intelligent learning environment. In Bass, L.J; Gornostaev, J; and Unger, C. eds. Human-Computer Interaction., 348-358. Berlin: Springer-Verlag.

(Brusilovsky P., Zyryanov M., 1993) Brusilovsky P., Zyryanov M. Intelligent Tutor, Environment and Manual for Physical Geography. In Proceedings of the Seventh International PEG Conference, PEG'93, 63-73. Edinburgh.

(Brusilovsky V., 1993) Brusilovsky V. Task sequencing in an intelligent learning environment for calculus. In Proceedings of the Seventh International PEG Conference, PEG'93, 57-62. Edinburgh.

(Brusilovsky P., Pesin, L., 1994) Brusilovsky P., Pesin, L. ISIS-Tutor: An adaptive hypertext learning environments: In Proceedings of Japan-CIS Symposium on knowledge based software engineering, 83-87. Tokyo: Isshinsa, Ltd.

(Burton R.R., 1988) Burton R.R. The environment module of intelligent tutoring systems. In Polson, M.C. and Richardson, J.J. eds. Foundations of intelligent tutoring systems. Hillsdale: Lawrence Erlbaum Associates.

(Corbett A.T., Anderson J.R., 1992) Corbett A.T., Anderson J.R. Student modeling and mastery learning in a computer-based programming tutor. In Proceedings of the Second International Conference on Intelligent Tutoring Systems, ITS'92, 413-420. Berlin: Springer-Verlag.

(Schneider-Hufschmidt M.; Kuehme T.; Malinowski U., 1993) Schneider-Hufschmidt M.; Kuehme T.; Malinowski U. Adaptive User Interfaces: Principles and Practice. Amsterdam: North Holland Elsevier.

(Kaplan C.; Fenwick J; Chen J., 1993) Kaplan C.; Fenwick J; Chen J. Adaptive Hypertext Navigation Based on User Goals and Context. User Modeling and User Adapter Interaction 3(3): 193-220.

(Kay J., 1990) Kay J. um: A toolkit for user modelling. In Proceedings of the second international workshop on user modelling, 1-11. Honolulu.

(Kobsa A.; Müller D.; Nill A., 1994) Kobsa A.; Müller D.; Nill A. KN-AHS: An adaptive hypertext client of the user modeling system BGP-MS. This volume.

(Paris C.L., 1988) Paris C.L. Tailoring object description to a user's level of expertise. Computational Linguistics 14(3): 64-78.

(Self J., 1987) Self J. Student Models: What Use are they? In Ercoli, P. and Lewis R. eds. Artificial Intelligence tools in education. Amsterdam: North-Holland.

(Self J.. 1988) Self J. Bypassing the intractable problem of student modelling. In Proceedings of the Intelligent Tutoring Systems conference, ITS'88, 18-24. Montreal.

(Sukaviriya P., Foley D., 1993) Sukaviriya P., Foley D. A built in provision for collection individual task usage information in UIDE: the User Interface Design Environment. In Schneider-Hufschmidt, M.; Kuehme, T.; Malinowski, U. eds. Adaptive User Interfaces: Principles and Practice, 225-240. Amsterdam: North Holland Elsevier.

(Van der Veer G.C., 1990) Van der Veer G.C. Human-computer interaction: learning, individual differences, and design recommendations. Alblasserdam: Haveka.

(VanLehn K., 1988) VanLehn K. Student models. In Polson, M.C. and Richardson, J.J. eds. Foundations of intelligent tutoring systems. Hillsdale: Lawrence Erlbaum Associates.

(Wenger E., 1987) Wenger E. Artificial intelligence and tutoring systems. Computational approaches to the communication of knowledge. Los Altos: Morgan Kaufmann.