Реферат: Адаптивные обучающие системы в World Wide Web: обзор имеющихся в распоряжении технологий

Реферат: Адаптивные обучающие системы в World Wide Web: обзор имеющихся в распоряжении технологий

Петр Леонидович Брусиловский

Эта статья представляет краткий обзор технологий и их возможностей в адаптивных обучающих системах в Web. Системы рассмотрены в соответствии с применяемыми технологиями адаптации.

Введение

В настоящее время обучение через Web является горячей областью исследований и разработок (Khan, 1997). Польза от использования Web для обучения очевидна: независимость расположения обучаемых и независимость от платформы. Приложение, установленное и поддерживаемое в одном месте, может использоваться тысячами обучаемых по всему миру, имеющих компьютер с любым видом подключения к Internet. Тысячи Web курсов и других обучающих приложений стали доступны в Web за последние пять лет. Проблема заключается в том, что большинство из них являются ничем иным, как просто сетью статичных гипертекстовых страниц. Перспективной целью является разработка передовых образовательных приложений, основанных на Web, которые смогут предложить нечто значительное в плане интерактивности и адаптивности. Адаптация исключительно важна для образования в Web, по меньшей мере, по двум основным причинам. Во-первых, большинство Web приложений используются множеством таких различных пользователей, что не предполагалось при разработке локальных приложений. Web приложения, спроектированные для специфичного класса пользователей не будут подходить другим пользователям. Во-вторых, во многих случаях пользователь работает “один” с Web “наставником” или “курсом” (возможно из дома). Вот почему помощь, которую адаптивно предоставляют коллеги и учителя в обычном классном помещении, недоступна.

Обучающие адаптивные системы в широком контексте 

Обучающие адаптивные системы (ОАС) в Web не являются полностью новыми или уникальными. Исторически, ОАС в Web являются наследниками двух более ранних разновидностей ОАС: интеллектуальных обучающих систем (ИОС) и адаптивных гипермедиа систем. Традиционно проблемы разработки ОАС исследовались в области интеллектуальных обучающих систем (Burns & Capps, 1988). ИОС используют знания о предметной области, об обучаемом и стратегиях обучения для поддержки гибкого индивидуализированного изучения и обучения. Адаптивность была одной из целевых особенностей любой ИОС. Адаптивная гипермедиа более новая область исследований (Brusilovsky, 1996). Адаптивные гипермедиа системы применяют различные виды моделей пользователя для адаптации содержания и связывания гипермедиа страниц. Обучение одна из основных областей приложения адаптивных гипермедиа сред, и много обучающих адаптивных гипермедиа систем было создано еще до “Web Rush”. С системной точки зрения современные АОС могут рассматриваться просто как ИОС или адаптивные гипермедиа системы реализованные в Web. Однако контекст WWW дает серьезный импульс для проектирования и реализации этих систем, заставляет нас относить их в отдельный подкласс. Например, очень немногие локальные ИОС используют адаптивную гипермедиа, тогда как едва ли не все ОАС могут быть классифицированы либо как ИОС, либо как адаптивные гипермедиа системы. Это объясняется воздействием “гипертекстовой” природы Web.

В другом контексте, ОАС в Web лишь одна из существующих разновидностей адаптивных систем для Web. WWW показывает что может являться хорошей платформой для разработки и тестирования различных адаптивных приложений. С одной стороны, это перспективно: системы в Web действительно нуждаются в адаптации, так как они работают с более значительно отличающимися пользователями, чем более ранние системы, предназначенные для установки непосредственно на машину пользователя. С другой стороны, заманчиво, что Web дает комплексным ИИ адаптивным системам прекрасный шанс дотянуться до многих реальных пользователей. В то время как адаптивная система установлена на мощном сервере, который обслуживается и обновляется хорошо осведомленным персоналом, тысячи пользователей могут подсоединяться к ней через дешевые компьютеры или киоски. Пользователи Web также могут помочь разрешить наболевшие проблемы оценивания, так как все данные о взаимодействии пользователей с адаптивной Web системой могут быть записаны на централизованном сервере и использованы для обстоятельного анализа.

Рабочий семинар “Адаптивные системы и моделирование пользователя в WWW” (http://www.contrib.andrew.cmu.edu/~pbl/UM97_workshop/) показал, что существующие адаптивные Web системы могут быть разделены на три группы: адаптивные информационные системы, которые служат для персонализации информации в режиме on-line, например, AVANTI (Fink, Kobsa & Schreck, 1997) или PUSH (Heek, 1997); адаптивные фильтрующие системы, которые помогают пользователю находить релевантные “просмотры” в океане доступной информации, например, ifWeb (Asnicar & Tasso, 1997) или WebTagger&trade (Keller et al., 1996); и обучающие адаптивные системы. ОАС самая большая группа: больше половины существующих адаптивных систем в Web являются ОАС. Здесь мы перечислим некоторые возможные причины этого. Во-первых, края между этими группами очень неясные. Информационная on-line система, такая как энциклопедия, которая используется для обучения (Signore, Bartoli & Fresta, 1887) или адаптивная фильтрующая система, применяемая в образовательном контексте (Nomoto et al., 1997), могут быть классифицированы как ОАС. Во-вторых, ОАС объединяет очень много типов различных систем, по сравнению со второй группой, поэтому больше исследователей из разных областей проявляют интерес к работе над ними. И наконец, разработчики ОАС могут полагаться на технологии (и даже компоненты) использованные и одобренные в более ранних локальных ИОС и адаптивных гипермедиа системах. Многие из существующих ОАС в Web, например, такие как ELM-ART, CALAT, WITS и Belvedere, были разработаны на базе более ранних ИОС.

Что может быть адаптировано в обучающих Web системах

Этот раздел представляет краткий обзор текущих исследований по обучающим адаптивным системам в Web. Целью обзора является демонстрация того, что может быть адаптировано в такого рода системах. Для сохранения преемственности с предыдущими статьями по адаптивной гипермедиа (Brusilovsky, 1996) и ИОС в Web (Brusilovsky, 1995) мы называем по существу разные способы адаптации технологиями адаптации. В настоящее время все технологии адаптации, применяемые в ОАС в Web, адаптированы, либо из области ИОС (адаптивное планирование – curriculum sequencing, интеллектуальный анализ решений обучаемого, поддержка интерактивного решения задач, поддержка решения задач на примерах и поддержка совместной работы), либо из области адаптивной гипермедиа (поддержка адаптивного представления и адаптивной навигации). В ближайшем будущем мы ожидаем появления новых технологий адаптации, например адаптивная поддержка совместной работы, специально спроектированная для обучения в Web.

Целью технологии адаптивного планирования (также называемая технологией учебного планирования) является предоставление обучаемому самой подходящей индивидуально спланированной последовательности модулей знаний для обучения и работы с определенным порядком следования обучающих заданий (примеров, вопросов, задач и т.п.). Другими словами, она помогает обучаемому найти “оптимальный путь” сквозь обучающий материал. Классический пример из области обучения программированию система BIP (Barr, Beard & Atkinson, 1976), новые примеры ITEM-IP (Brusilovsky, 1992b) и SCENT-3 (Brecht, McCalla & Greer, 1989). Это придает смысл различению двух техник адаптивного планирования. Высокоуровневое упорядочение или упорядочение знаний определяет следующую концепцию или тему, которая будет заучена. Низкоуровневое упорядочение или упорядочение заданий определяет следующее обучающее задание (задачу, пример, тест) в текущей теме (Brusilovsky, 1992a). В контексте обучения в Web технология адаптивного планирования становится очень важной для управления обучаемым в гиперпространстве доступной информации. В настоящее время она является старейшей и наиболее популярной технологией для ОАС в Web. Адаптивное планирование реализовано в различных формах в следующих ОАС: ELM-ART (Brusilovsky, Schwarz, & Weber, 1996), CALAT (Nakabayashi et al., 1997), InterBook (Brusilovsky & Schwarz, 1997) AST (Specht et al., 1997), MANIC (Stern, Woolf & Kuroso, 1997), Medtec (Eliot, Neiman & Lamar, 1997) и DCG (Vassileva, 1997).

Интеллектуальный анализ решений обучаемого имеет дело с окончательными ответами студента на обучающие задания (которые могут колебаться от простых вопросов до сложных задач программирования) без разъяснения причин, по которым ответ был получен. В отличие от не интеллектуальных проверяющих программ, которые не могут сказать ничего более чем ответ правильный или нет, интеллектуальные анализаторы могут сказать, что именно неправильно или неполно и какие отсутствующие или неверные знания ответственны за ошибку. Интеллектуальные анализаторы могут предоставлять обучаемому интенсивную обратную связь об ошибках и корректировать модель обучаемого. Классический пример из области обучения программированию PROUST (Johnson, 1986), новые примеры: CAMUS-II (Vanneste, 1994) и ELM-PE (Weber & Mellenberg, 1995). Интеллектуальный анализ решений очень подходящая технология для медленных сетей. При этой технологии необходимо только одно взаимодействие между браузером и сервером для окончательного решения. Она может предоставлять интеллектуальную обратную связь и выполнять моделирование студента, когда другие интерактивные техники использовать затруднительно. В настоящее время существуют, по меньшей мере, две ОАС в Web, которые реализуют интеллектуальный анализ решений обучаемого адаптивно в WWW (т.е. обучаемые с различными моделями могут получать различную обратную связь): ELM-ART, ИОС для программирования на LISP (Brusilovsky et al., 1996) и WITS, ИОС для дифференциального исчисления (Okazaki, Watanabe & Kondo, 1996; Okazaki, Watanabe & Kondo, 1997).

Целью поддержки интерактивного решения задач является предоставление обучаемому интеллектуальной помощи на каждом шаге решения – от предоставления намеков до исполнения следующего шага за обучаемого. Системы, которые реализуют эту технологию, могут наблюдать за действиями обучаемого, понимать их и использовать это понимание для предоставления помощи и корректирования модели обучаемого. Классический пример из области программирования LISP-TUTOR (Anderson & Reiser, 1985); новые примеры: ACT Programming Tutor (Corbett & Anderson, 1992) и GRACE (McKendree, Radlinski & Atwood, 1992). Поддержка интерактивного решения задач не так популярна в Web системах, как в локальных системах так как на сегодняшний момент сервер приложения для WWW не достаточно “интерактивны” для поддержки наблюдения за обучаемым и предоставления ему помощи на каждом шагу. Каждое взаимодействие между браузером и сервером может приводить к заметным временным задержкам и необходимость в них на каждом шаге может разрушить процесс решения задачи. Ситуация возможно измениться, когда Java технология станет более зрелой. Тем не менее, три системы демонстрируют, что технология поддержки интерактивного решения задач может работать в WWW. PAT-Online (Brusilovsky, Ritter & Schwarz, 1997; Ritter, 1997) использует серверный подход (интерфейс CGI) и позволяет обучаемым предоставлять шаги решения нескольких задач на проверку в одной транзанкции (т.е. это комбинация поддержки интерактивного решения задач и интеллектуального анализа решений студента). Belvedere (Suthers &Jones 1997) и ADIS (Warendorf & Tan, 1997) используют Java технологию для поддержания настоящей интерактивности. D3-WWW-Trainer (Faulhaber &Reinhardt, 1997) использует и Java и серверный подход. Достаточно маленький Java апплет предоставляет хороший интерактивный интерфейс. Интеллектуальная и адаптивная часть, тем не менее, расположена на сервере. Апплет предусматривает связь с сервером по средствам CGI интерфейса.

В контексте решения задач на примерах, обучаемые решают новые задачи, используя в качестве помощи примеры из своего ранее полученного опыта. В этом контексте ИОС помогает обучаемым, предлагая им самые подходящие варианты (примеры, объясненные им или задачи, решенные ими ранее). Пример из области обучения программированию ELM-PE (Weber & Mellenberg, 1995). Решение задач на примерах не требует интенсивного взаимодействия клиент-сервер и может естественно использоваться в ОАС в Web. Единственная система, использующая эту технику в WWW ELM-ART (Brusilovsky et al., 1996).

Целью технологии адаптивного представления является адаптация содержания гипермедиа страницы под задачи пользователя, знания и другая информация хранятся в модели пользователя. В системе с адаптивным представлением страницы не статичны. Они адаптивно генерируются или монтируются из частей для каждого пользователя. Например, при применении техники адаптивного представления хорошо подготовленный пользователь будет получать более детализированную и углубленную информацию, а новичок получит больше дополнительных пояснений. Пример из области обучения программированию техника “условного текста”, использованная в ITEM/IP (Brusilovsky, 1992b). Адаптивное представление очень важно для WWW, где одна и та же “страница” приспосабливается к очень разным обучаемым. Только две ОАС в Web полностью реализовали адаптивное представление: C-Book (Kay & Kummerfeld, 1994) и адаптивный курс De Bra’s в Hypertext (Calvi & De Bra, 1997). Обе эти системы применяют технику условного текста. Некоторые другие системы используют адаптивное представление в особом контексте. Medtec (Eliot et al., 1997) способен адаптивно генерировать резюме по главе книге. ELM-ART, AST и InterBook используют адаптивное представление для предоставления адаптивных предупреждений об обучающем статусе страницы. Например, если страница еще не готова для изучения ELM-ART и AST вставляют текстовое предупреждение в ее конец, InterBook вставляет предупреждающее изображение в виде красной полосы.

Таблица 1. Технологии адаптации, применяемые в обучающих системах в Web ( в InterBook тип поддерживаемого упорядочивания зависит от области – это оболочка)

Адаптивная поддержка совместной работы очень новая технология в ИОС, которая была разработана за последние 3 года параллельно с разработкой сетевых обучающих систем. Целью адаптивной поддержки совместной работы является использование знаний системы о различных пользователях (хранимых в моделях пользователя) для формирования сбалансированной группы для совместной работы. Существующие примеры содержат формирование групп для совместного решения задач в настоящий момент времени (Hoppe, 1995; Ikeda, Go & Mizoguchi, 1997) или нахождение самого компетентного обучаемого для ответа на вопрос по теме (то есть нахождение персоны с моделью, демонстрирующей хорошие знания по данной теме) (Bishop, Greer & Cooke, 1997; McCalla et al., 1997). В настоящее время мы не увидели каких-либо примеров использования этой технологии в Web. Однако эта технология полностью готова для применения в Web, и мы ожидаем, что в ближайшие годы она станет довольно популярной.

Целью технологии адаптивной поддержки навигации является оказание помощи обучаемому в ориентации и навигации в гиперпространстве, изменяя появление видимых ссылок. В отдельных случаях система может адаптивно сортировать, аннотировать или частично прятать ссылки на текущей странице для облегчения выбора пользователем следующей ссылки. Адаптивная поддержка навигации (АПН ) может рассматриваться как дополнение к адаптивному планированию в контексте гипермедиа. Она участвует в решение той же задачи – помочь обучаемому найти “оптимальный путь” в обучающем материале. В тоже время адаптивная поддержка навигации направляет обучаемого менее настойчиво, по сравнению с традиционным адаптивным планированием: она направляет обучаемого косвенным образом, разрешая выбрать следующий фрагмент заданий для изучения или следующую задачу для решения. Два примера АПН локальных систем из области обучения программированию: ISIS-Tutor (Brusilovsky & Pesin, 1994), которая использует адаптивное сокрытие и адаптивное аннотирование, и Hypadapter (Hohl, Becker & Gunzenheuser, 1996), которая использует адаптивное сокрытие и адаптивную сортировку. В WWW, где гипермедиа – основополагающая организационная парадигма, адаптивная поддержка навигации может быть использована очень естественно и эффективно. Самая популярная форма АПН в Web это аннотирование. Оно применено в ELM-ART (Brusilovsky et al., 1996), InterBook (Brusilovsky & Schwarz, 1997), WEST-KBNS (Brusilovsky, Eklund & Schwarz, 1997) и AST (Specht et al., 1997). InterBook также поддерживает адаптивную сортировку. Другой популярной технологией является блокировка – вариант сокрытия, при котором ссылки остаются видимыми, но пользователь не может перейти по ним до тех пор, пока не будет готов изучить страницу, вызываемую по этой ссылке. Так же ссылки делают полностью нефункционирующими (когда пользователь нажимает на нее ничего не происходит), как в адаптивном курсе De Bra’s в Hypertext (Calvi & De Bra, 1997) и в системе (Anjaneyulu, 1997) или показывают пользователю список страниц, которые необходимо прочитать перед переходом на выбранную страницу, как это сделано в Albatros (Lai, Chen & Yuan, 1995).

Таблица 2. Технологии адаптации и основные направления разработки обучающих систем для Web. “Возможно” означает что технология может быть применена в этом направлении, но на сегодняшний день примеров этого нет. “na” означает что технология не соответствует этому направлению.

Место технологий адаптации в контексте обучающих Web систем

Адаптивные технологии могут способствовать исследованиям и разработкам в некоторых направлениях обучающих Web систем (Таблица 2). Адаптивное представление может улучшить удобство и простоту использования представления материала в курсах. Адаптивная поддержка навигации и адаптивное планирование могут использоваться для всеобъемлющего управления курсом и для помощи обучаемому в выборе наиболее подходящих тестов и задач. Поддержка решения задач и интеллектуальный анализ решений могут значительно усовершенствовать работу с задачами, предоставляя, как в интерактивный режим работы, так и интеллектуальную обратную связь. Адаптивная поддержка совместной работы открывает новые возможности для общения и сотрудничества. В настоящее время все эти технологии относятся к исследовательским разработкам в соответствующих областях, но в скором будущем мы можем ожидать движение исследованных технологий на уровень прикладных разработок. Например, система CALAT, с хорошо спроектированным адаптивным планированием, будет коммерчески использоваться в 1998 году.

Список литературы

Anderson, J. R. and Reiser, B. (1985) The LISP tutor. Byte 10 (4), 159-175.

Anjaneyulu, K. (1997) Concept Level Modelling on the WWW. In: P. Brusilovsky, K. Nakabayashi and S. Ritter (eds.) Proceedings of Workshop "Intelligent Educational Systems on the World Wide Web" at AI-ED'97, 8th World Conference on Artificial Intelligence in Education, Kobe, Japan, 18 August 1997, ISIR, pp. 26-29, http://www.contrib.andrew.cmu.edu/~plb/AIED97_workshop/Anjaneyulu.html.

Asnicar, F. A. and Tasso, C. (1997) ifWeb: A prototype of user model-based intelligent agent for document filtering and navigation in the World Wide Web. In: P. Brusilovsky, J. Fink and J. Kay (eds.) Proceedings of Workshop "Adaptive Systems and User Modeling on the World Wide Web" at 6th International Conference on User Modeling, UM97, Chia Laguna, Sardinia, Italy, June 2, 1997, Carnegie Mellon Online, pp. 3-11, http://www.contrib.andrew.cmu.edu/~plb/UM97_workshop/Tasso.html.

Barr, A., Beard, M., and Atkinson, R. C. (1976) The computer as tutorial laboratory: the Stanford BIP project. International Journal on the Man-Machine Studies 8 (5), 567-596.

Bishop, A. S., Greer, J. E., and Cooke, J. E. (1997) The co-operative peer response system: CPR for students. In: T. Mьldner and T. C. Reeves (eds.) Proceedings of ED-MEDIA/ED-TELECOM'97 - World Conference on Educational Multimedia/Hypermedia and World Conference on Educational Telecommunications, Calgary, Canada, June 14-19, 1997, AACE, pp. 74-79.

Brecht, B. J., McCalla, G. I., and Greer, J. E. (1989) Planning the content of instruction. In: D. Bierman, J. Breuker and J. Sandberg (eds.) Proceedings of 4-th International Conference on AI and Education, Amsterdam, 24-26 May 1989, Amsterdam, IOS, pp. 32-41.

Brusilovsky, P. (1995) Intelligent tutoring systems for World-Wide Web. In: R. Holzapfel (ed.) Proceedings of Third International WWW Conference, Darmstadt, Darmstadt, April 10-14, 1995, Fraunhofer Institute for Computer Graphics, pp. 42-45.

Brusilovsky, P. (1996) Methods and techniques of adaptive hypermedia. In P. Brusilovsky and J. Vassileva (eds.), Spec. Iss. on Adaptive Hypertext and Hypermedia, User Modeling and User-Adapted Interaction 6 (2-3), 87-129.

Brusilovsky, P., Eklund, J., and Schwarz, E. (1997) Adaptive Navigation Support in Educational Hypermedia on the World Wide Web. In: S. Howard, J. Hammond and G. Lindgaard (eds.) Human-Computer Interaction. (Proceedings of INTERACT97, The 6th IFIP World Conference on Human-Computer Interaction, Sydney, Australia, 14-18 July, 1997) New York: Chapman & Hall, pp. 278-285.

Brusilovsky, P. and Pesin, L. (1994) ISIS-Tutor: An adaptive hypertext learning environment. In: H. Ueno and V. Stefanuk (eds.) Proceedings of JCKBSE'94, Japanese-CIS Symposium on knowledge-based software engineering, Pereslavl-Zalesski, Russia, May 10-13, 1994, EIC, pp. 83-87.

Brusilovsky, P., Ritter, S., and Schwarz, E. (1997) Distributed intelligent tutoring on the Web. In: B. du Boulay and R. Mizoguchi (eds.) (Proceedings of AI-ED'97, 8th World Conference on Artificial Intelligence in Education, 18-22 August 1997) Amsterdam: IOS, pp. 482-489.

Brusilovsky, P. and Schwarz, E. (1997) User as student: Towards an adaptive interface for advanced Web-based applications. In: A. Jameson, C. Paris and C. Tasso (eds.) (Proceedings of 6th International Conference on User Modeling, Chia Laguna, Sardinia, Italy, June 2-5, 1997) Wien: Springer-Verlag, pp. 177-188.

Brusilovsky, P., Schwarz, E., and Weber, G. (1996) ELM-ART: An intelligent tutoring system on World Wide Web. In: C. Frasson, G. Gauthier and A. Lesgold (eds.) Intelligent Tutoring Systems. Lecture Notes in Computer Science, Vol. 1086, (Proceedings of Third International Conference on Intelligent Tutoring Systems, ITS-96, Montreal, June 12-14, 1996) Berlin: Springer Verlag, pp. 261-269.

Brusilovsky, P. L. (1992a) A framework for intelligent knowledge sequencing and task sequencing. In: C. Frasson, G. Gauthier and G. I. McCalla (eds.) Intelligent Tutoring Systems. (Proceedings of Second International Conference on Intelligent Tutoring Systems, ITS'92, Montreal, June 10-12, 1992) Berlin: Springer-Verlag, pp. 499-506.

Brusilovsky, P. L. (1992b) Intelligent Tutor, Environment and Manual for Introductory Programming. Educational and Training Technology International 29 (1), 26-34.

Burns, H. L. and Capps, C. G. (1988) Foundations of intelligent tutoring systems: An introduction. In: M. C. Polson and J. J. Richardson (eds.): Foundations of intelligent tutoring systems. Hillsdale: Lawrence Erlbaum Associates, pp. 1-19.

Calvi, L. and De Bra, P. (1997) Using dynamic hypertext to create multi-purpose textbooks. In: T. Mьldner and T. C. Reeves (eds.) Proceedings of ED-MEDIA/ED-TELECOM'97 - World Conference on Educational Multimedia/Hypermedia and World Conference on Educational Telecommunications, Calgary, Canada, June 14-19, 1997, AACE, pp. 130-135.

Eliot, C., Neiman, D., and Lamar, M. (1997) Medtec: A Web-based intelligent tutor for basic anatomy. In: S. Lobodzinski and I. Tomek (eds.) Proceedings of WebNet'97, World Conference of the WWW, Internet and Intranet, Toronto, Canada, November 1-5, 1997, AACE, pp. 161-165.

Corbett, A. T. and Anderson, J. A. (1992) Knowledge tracing in the ACT programming tutor. In: Proceedings of 14-th Annual Conference of the Cognitive Science Society, .

Faulhaber, S. and Reinhardt, B. (1997) D3-WWW-Trainer: Entwiklung einer Oberflдche fьr die Netzanwendung.

Fink, J., Kobsa, A., and Schreck, J. (1997) Personalized hypermedia information provision through adaptive and adaptable system features: User modeling, privacy, and security issues. In: P. Brusilovsky, J. Fink and J. Kay (eds.) Proceedings of Workshop "Adaptive Systems and User Modeling on the World Wide Web" at 6th International Conference on User Modeling, UM97, Chia Laguna, Sardinia, Italy, June 2, 1997, Carnegie Mellon Online, pp. 43-53, http://www.contrib.andrew.cmu.edu/~plb/UM97_workshop/Fink.html.

Hohl, H., Bцcker, H.-D., and Gunzenhдuser, R. (1996) Hypadapter: An adaptive hypertext system for exploratory learning and programming. In P. Brusilovsky and J. Vassileva (eds.), Spec. Iss. on Adaptive Hypertext and Hypermedia, User Modeling and User-Adapted Interaction 6 (2-3), 131-156.

Hццk, K. (1997) Evaluating the utility and usability of an adaptive hypermedia system. In: J. Moore, E. Edmonds and A. Puerta (eds.) Proceedings of 1997 International Conference on Intelligent User Interfaces, Orlando, Florida, January 7-9, 1997, ACM, pp. 179-186.

Hoppe, U. (1995) Use of multiple student modeling to parametrize group learning. In: J. Greer (ed.) Proceedings of AI-ED'95, 7th World Conference on Artificial Intelligence in Education, Washington, DC, 16-19 August 1995, AACE, pp. 234-249.

Ikeda, M., Go, S., and Mizoguchi, R. (1997) Opportunistic group formation. In: B. d. Boulay and R. Mizoguchi (eds.) Artificial Intelligence in Education: Knowledge and Media in Learning Systems. (Proceedings of AI-ED'97, 8th World Conference on Artificial Intelligence in Education, Kobe, Japan, 18-22 August 1997) Amsterdam: IOS, pp.

Johnson, W. L. (1986), Intention-based diagnosis of novice programming errors. Pitman: Morgan Kaufmann.

Kay, J. and Kummerfeld, R. J. (1994) An individualised course for the C programming language. In: Proceedings of Second International WWW Conference, Chicago, IL, 17-20 October, 1994, http://www.ncsa.uiuc.edu/SDG/IT94/Proceedings/Educ/kummerfeld/kummerfeld.html.

Keller, R. M., Wolfe, S. R., Chen, J. R., Rabinowitz, J. L., and Mathe, N. (1996) A bookmarking service for organizing and sharing URLs. In: Proceedings of Sixth International World Wide Web Conference, Santa Clara, CA, April, 1997.

Khan, B. H. (ed.) (1997), Web Based Instruction. Englewood Cliffs, New Jersey: Educational Technology Publications.

Lai, M.-C., Chen, B.-H., and Yuan, S.-M. (1995) Toward a new educational environment. In: Proceedings of 4th International World Wide Web Conference, Boston, USA, December 11-14, 1995, http://www.w3.org/pub/Conferences/WWW4/Papers/238/.

McCalla, G. I., Greer, J. E., Kumar, V. S., Meagher, P., Collins, J. A., Tkatch, R., and Parkinson, B. (1997) A peer help sytem for workplace training. In: B. d. Boulay and R. Mizoguchi (eds.) Artificial Intelligence in Education: Knowledge and Media in Learning Systems. (Proceedings of AI-ED'97, 8th World Conference on Artificial Intelligence in Education, Kobe, Japan, 18-22 August 1997) Amsterdam: IOS, pp. 183-190.

McKendree, J., Radlinski, B., and Atwood, M. E. (1992) The Grace Tutor: a qualified success. In: C. Frasson, G. Gauthier and G. I. McCalla (eds.) Proceedings of Second International Conference, ITS'92, Berlin, Montreal, June 10-12, 1992, Springer-Verlag, pp. 677-684.

Nakabayashi, K., Maruyama, M., Kato, Y., Touhei, H., and Fukuhara, Y. (1997) Architecture of an intelligent tutoring system on the WWW. In: B. d. Boulay and R. Mizoguchi (eds.) Artificial Intelligence in Education: Knowledge and Media in Learning Systems. (Proceedings of AI-ED'97, World Conference on Artificial Intelligence in Education, Kobe, Japan, 18-22 August 1997) Amsterdam: IOS, pp. 39-46.

Nomoto, T., Matsuda, N., Hirashima, T., and Toyoda, J. i. (1997) Toward Learning from Surfing. In: P. Brusilovsky, K. Nakabayashi and S. Ritter (eds.) Proceedings of Workshop "Intelligent Educational Systems on the World Wide Web" at AI-ED'97, 8th World Conference on Artificial Intelligence in Education, Kobe, Japan, 18 August 1997, ISIR, pp. 40-46, http://www.contrib.andrew.cmu.edu/~plb/AIED97_workshop/Nomoto.html.

Okazaki, Y., Watanabe, K., and Kondo, H. (1996) An Implementation of an intelligent tutoring system (ITS) on the World-Wide Web (WWW). Educational Technology Research 19 (1), 35-44.

Okazaki, Y., Watanabe, K., and Kondo, H. (1997) An Implementation of the WWW Based ITS for Guiding Differential Calculations. In: P. Brusilovsky, K. Nakabayashi and S. Ritter (eds.) Proceedings of Workshop "Intelligent Educational Systems on the World Wide Web" at AI-ED'97, 8th World Conference on Artificial Intelligence in Education, Kobe, Japan, 18 August 1997, ISIR, pp. 18-25, http://www.contrib.andrew.cmu.edu/~plb/AIED97_workshop/Okazaki/Okazaki.html.

Ritter, S. (1997) Pat Online: A Model-tracing tutor on the World-wide Web. In: P. Brusilovsky, K. Nakabayashi and S. Ritter (eds.) Proceedings of Workshop "Intelligent Educational Systems on the World Wide Web" at AI-ED'97, 8th World Conference on Artificial Intelligence in Education, Kobe, Japan, 18 August 1997, ISIR, pp. 11-17, http://www.contrib.andrew.cmu.edu/~plb/AIED97_workshop/Ritter/Ritter.html.

Signore, O., Bartoli, R., and Fresta, G. (1997) Tailoring Web pages to users' needs. In: P. Brusilovsky, J. Fink and J. Kay (eds.) Proceedings of Workshop "Adaptive Systems and User Modeling on the World Wide Web" at 6th International Conference on User Modeling, UM97, Chia Laguna, Sardinia, Italy, June 2, 1997, Carnegie Mellon Online, pp. 85-90, http://www.contrib.andrew.cmu.edu/~plb/UM97_workshop/Signore.html.

Specht, M., Weber, G., Heitmeyer, S., and Schцch, V. (1997) AST: Adaptive WWW-Courseware for Statistics. In: P. Brusilovsky, J. Fink and J. Kay (eds.) Proceedings of Workshop "Adaptive Systems and User Modeling on the World Wide Web" at 6th International Conference on User Modeling, UM97, Chia Laguna, Sardinia, Italy, June 2, 1997, Carnegie Mellon Online, pp. 91-95, http://www.contrib.andrew.cmu.edu/~plb/UM97_workshop/Specht.html.

Stern, M., Woolf, B. P., and Kuroso, J. (1997) Intelligence on the Web? In: B. d. Boulay and R. Mizoguchi (eds.) Artificial Intelligence in Education: Knowledge and Media in Learning Systems. (Proceedings of AI-ED'97, 8th World Conference on Artificial Intelligence in Education, Kobe, Japan, 18-22 August 1997) Amsterdam: IOS, pp. 490-497.

Suthers, D. and Jones, D. (1997) An architecture for intelligent collaborative educational systems. In: B. d. Boulay and R. Mizoguchi (eds.) Artificial Intelligence in Education: Knowledge and Media in Learning Systems. (Proceedings of AI-ED'97, 8th World Conference on Artificial Intelligence in Education, Kobe, Japan, 18-22 August 1997) Amsterdam: IOS, pp. 55-62.

Vanneste, P. (1994). The use of reverse engineering in novice program analysis (PhD Thesis). Katholieke Universiteit Leuven.

Vassileva, J. (1997) Dynamic Course Generation on the WWW. In: B. d. Boulay and R. Mizoguchi (eds.) Artificial Intelligence in Education: Knowledge and Media in Learning Systems. (Proceedings of AI-ED'97, 8th World Conference on Artificial Intelligence in Education, Kobe, Japan, 18-22 August 1997) Amsterdam: IOS, pp. 498-505.

Warendorf, K. and Tan, C. (1997) ADIS - An animated data structure intelligent tutoring system or Putting an interactive tutor on the WWW. In: P. Brusilovsky, K. Nakabayashi and S. Ritter (eds.) Proceedings of Workshop "Intelligent Educational Systems on the World Wide Web" at AI-ED'97, 8th World Conference on Artificial Intelligence in Education, Kobe, Japan, 18 August 1997, ISIR, pp. 54-60, http://www.contrib.andrew.cmu.edu/~plb/AIED97_workshop/Warendorf/Warendorf.html.

Weber, G. and Mцllenberg, A. (1995) ELM-Programming-Environment: A Tutoring System for LISP Beginners. In: K. F. Wender, F. Schmalhofer and H.-D. Bцcker (eds.): Cognition and Computer Programming. Norwood, NJ: Ablex, pp. 373-408.