Поиск по сайту
Авторизация
Логин:
Пароль:
Забыли свой пароль?

Эффективность Онлайн-обучения

The Effectiveness of Online Learning:
Beyond No Significant Difference and Future Horizons

MERLOT Journal of Online Learning and Teaching
Vol. 11, No. 2, June 2015

Физический класс «brick and mortar» начинает терять свою монополию как место обучения. Интернет сделал онлайн-обучение возможным, и многие исследователи и преподаватели заинтересованы в онлайн-обучении, чтобы улучшить и улучшить результаты обучения учащихся, борясь с сокращением ресурсов, особенно в сфере высшего образования. Крайне важно, чтобы исследователи и преподаватели рассматривали эффективность онлайн-обучения по сравнению с традиционным форматом «лицом к лицу» и факторами, влияющими на эффективность онлайн-курсов. В этом исследовании рассматриваются доказательства эффективности онлайн-обучения путем организации и обобщения результатов и проблем онлайн-обучения на позитивные, негативные, смешанные и нулевые результаты. Особое внимание уделяется метаанализу эффективности онлайн-обучения, гетерогенным результатам обучения студентов и эндогенной проблеме выбора учебной среды. В целом, есть убедительные доказательства того, что онлайн-обучение, как правило, не менее эффективно, чем традиционный формат. Более того, этот объем литературы предполагает, что исследователи должны выйти за рамки феномена «без существенных различий» и рассмотреть следующий этап онлайн-обучения.

Ключевые слова: отсутствие существенных различий, онлайн-обучение, гибридное обучение, смешанное обучение, высшее образование, смещение отбора.

Введение

Физический класс «brick and mortar» начинает терять свою монополию как место обучения. Интернет и Всемирная паутина внесли существенные изменения практически во все аспекты нашей жизни, начиная от глобальной экономики, личных и профессиональных сетей до источников информации, новостей и обучения. Интернет сделал онлайн-обучение возможным, и многие исследователи и преподаватели заинтересованы в онлайн-обучении, чтобы улучшить и улучшить результаты обучения студентов, борясь с сокращением ресурсов, особенно в сфере высшего образования (Farinella, Hobbs, & Weeks, 2000; Kim & Bonk, 2006; Pape, 2010). Более того, также наблюдается рост спроса на онлайн-обучение у студентов из всех слоев общества. Учитывая экспоненту - некоторые скажут о стремительном росте онлайн-образования и его потенциала в области высшего образования, крайне важно, чтобы исследователи и преподаватели изучали эффективность онлайн-обучения в обучении студентов по сравнению с традиционным лицом к лицу.

Таким образом, в настоящем документе рассматривается вопрос: «В какой степени объем работы по онлайн-обучению указывает на то, что онлайн-обучение не менее эффективно в обучении студентов как традиционного формата?».

Определения

Онлайн-обучение - это форма дистанционного обучения или дистанционного обучения, которая уже давно входит в состав американской системы образования, и в последние годы она стала крупнейшим отделом дистанционного обучения (Bartley & Golek, 2004; Evans & Haase, 2001) , Для целей этого обзора литературы как гибридное, так и смешанное обучение и чисто онлайн-обучение считаются онлайн-обучением, поскольку большая часть литературы сравнивает эти два формата с традиционным лицом к лицу. Чисто онлайн-курсы - это курсы, которые проводятся полностью через Интернет, а гибридное или смешанное обучение сочетает в себе традиционные персональные занятия, обучение через Интернет и обучение, поддерживаемое другими технологиями (Bliuc, Goodyear и Ellis, 2007; Hoic-Bozic, Mornar, & Boticki, 2009; Osguthorpe & Graham, 2003).

Преимущества и использование интернет-обучения

Одна из причин, почему так много обсуждений в онлайн-обучении, заключается в том, что существует много предполагаемых преимуществ и использования онлайн-обучения. Некоторые из наиболее важных из них: его эффективность в обучении студентов, их использование в качестве профессионального развития, его экономическая эффективность для борьбы с ростом расходов на высшее образование, эквивалентность кредитов на уровне высшего образования и возможность предоставления образования мирового класса для любой, у кого широкополосное соединение (Bartley & Golek, 2004; De la Varre, Keane, & Irvin, 2011; Gratton-Lavoie & Stanley, 2009; Koller & Ng, 2014; Lorenzetti, 2013). То, что получило большую часть внимания к онлайн-обучению, является ареной послесреднего образования. В литературе хорошо документированы растущие расходы на получение высшего образования и важность степени последипломного образования. Продолжительный разрыв между выпускниками средних школ и выпускниками колледжей продолжает увеличиваться (Dynarski & Scott-Clayton, 2013). В то же время стоимость обучения в колледже растет быстрее, чем инфляция, и долги студенческого кредита быстро растут. По состоянию на 2014 год общий объем задолженности по студенческим ссудам составляет более одного триллиона долларов (Finaid.org, 2014). Многие ученые и педагоги считают, что онлайн-обучение может быть эффективным инструментом в борьбе с ростом расходов на высшее образование путем распространения стоимости класса на гораздо большее количество студентов по сравнению с традиционными условиями, деля стоимость на десятки или сотни тысяч студентов в отличие от десятков (Bowen, 2013; Bartley & Golek, 2004; Jung & Rha, 2000; Koller & Ng, 2014; Tucker, 2007). Более того, предельные издержки ученика в онлайн-настройке незначительны по сравнению с традиционными методами обучения (например, подготовка к школе мытищи), что обязательно ограничивается рядом факторов, таких как размер и доступность физического класса.

Тесно связанные с этим вопросом стоимости и послесреднего образования являются необходимыми кредитами для получения более поздней степени. Традиционно, студенты должны получить большую часть кредитов в колледже в учреждении, прежде чем они получат степень бакалавра в этом учреждении. Смысл раздумий заключается в том, как онлайн-классы будут играть роль в присуждении кредитов или удостоверений, а многие преподаватели, подключенные к онлайн-обучению, надеются, что для некоторых онлайн-классов будет эквивалентность кредитов. Например, Дафна Коллер и Эндрю Нг, создатели Coursera, работали с Американским советом по образованию, чтобы рекомендовать кредитную эквивалентность для некоторых онлайн-курсов (Koller & Ng, 2012). Цели этого начинания состоят в том, чтобы увеличить коэффициент завершения, сократить время до достижения степени, сократить расходы на высшее образование и предоставить больший доступ к нетрадиционным студентам. С 2013 года Американский совет по вопросам образования утвердил пять онлайн-курсов для получения кредитов в колледже (Kolowich, 2013). Тем не менее, существует озабоченность по поводу того, согласятся ли колледжи с рекомендацией, и есть также озабоченность по поводу размывания традиционной степени из-за перехода (Kolowich, 2013; Lorenzetti, 2013).

И последнее, но не менее важное: есть надежда, что онлайн-обучение сможет обеспечить образование мирового класса кому угодно, где угодно и в любое время, если у них есть доступ к Интернету. Ряд веб-сайтов и компаний - Khan Academy, Udacity, edX и Coursera - одни из самых выдающихся - основаны на этой предпосылке, и многие уважаемые ученые и предприниматели имеют большие надежды и ожидания для онлайн-обучения, особенно для массовых открытые онлайн-курсы (Bowen, 2013; Fisher, 2012; Koller & Ng, 2012; Lewin, 2012; Selingo, 2013). Центральное значение для этой конкретной выгоды - по сути, к большинству предполагаемых преимуществ онлайн-обучения - это эффективность онлайн-формата в обучении студентов. Если онлайн-обучение обычно менее эффективно, чем обычный формат «лицом к лицу», то некоторые из вышеупомянутых претензий и преимуществ онлайн-обучения очень подозрительны. В этом и заключается суть проблемы, фундаментальная проблема онлайн-обучения и фокус настоящего документа: эффективность онлайн-формата в обучении студентов по сравнению с традиционным форматом. Для решения этой проблемы будут рассмотрены положительные, отрицательные и смешанные и нулевые результаты эффективности онлайн-обучения по сравнению с традиционным форматом.

Позитивные выводы

Существует большое количество исследований, которые находят положительные статистически значимые эффекты для результатов обучения студентов в онлайн-или гибридном формате по сравнению с традиционным лицом к лицу. Некоторые из положительных результатов обучения - это улучшение обучения, измеряемое результатами тестов, участие учащихся в материалах класса, улучшенное восприятие обучения и онлайн-формат, более сильное чувство сообщества среди учащихся и сокращение выхода или неудачи. Рассмотрим следующую иллюстрацию, основанную на исследовании Риффелла и Сибли (2005). Жан-Люк был археологом, которому нужно было пройти курс общей науки для выпускников. Он не хорошо выступал на традиционном курсе науки, и когда он увидел, что существует гибридный курс по экологической биологии, который включал двухнедельные онлайн-задания вместо традиционной лекции, он думал, что это может сработать для него лучше. Он обнаружил, что онлайн-задания дали ему время подумать и подумать о материалах лучше, чем традиционные лекции. Это привело его к более глубокому пониманию идей, которые позволили ему больше участвовать в личных упражнениях активного обучения. Он также чувствовал, что у него были более значимые интерактивные и личные взаимодействия с профессором, поскольку он смог участвовать больше, чем обычно, в классе науки. В результате у Жан-Люка было более глубокое понимание экологической биологии, и он преуспел в этом классе, выше среднего показателя своей личной стороны и намного выше ожидаемого от него самого. Этот простой пример иллюстрирует рассказы, которые можно рассказать в этих позитивных исследованиях.

Из более систематического анализа Наварро и Шумейкер (2000) обнаружили, что результаты обучения учащегося для онлайн-учащихся были такими же хорошими или лучше, чем традиционные ученики, независимо от их характеристик и что студенты были очень довольны онлайн-обучением. Ровай и Джордан (Rovai and Jordan, 2004) изучили взаимосвязь чувства сообщества между традиционным классом и смешанным форматом, и они обнаружили, что учащиеся в смешанном формате имеют более сильное чувство сообщества, чем студенты в традиционном формате. В исследовании, в котором сравниваются результаты обучения для студентов, которые были выбраны самостоятельно в онлайн-формате для курса макроэкономики, исследователи обнаружили, что после исправления смещения выборки результаты тестов для студентов онлайн-формата были на четыре пункта выше, чем для традиционного формата (Harmon & Lambrinos, 2006). В методически строгом исследовании, проведенном в Ithaka (Bowen & Ithaka, 2012), ученики были рандомизированы на традиционный формат (контроль) и гибридный интерактивный онлайн-формат обучения, который проводился раз в неделю, когда студенты делали большую часть работы в Интернете (лечение) , Исследователи обнаружили, что для обеих групп существуют сопоставимые результаты обучения, и с течением времени для гибридного курса есть обещание сократить издержки и повысить производительность. Кроме того, ожидается, что эти улучшения в обучении и снижение издержек будут увеличиваться по мере того, как постоянно разрабатываются и тестируются новые инструменты и программное обеспечение для онлайн-обучения.

Исследователи обнаружили, что студенты, использующие смешанные методы, используя методы PeerWise - недавно созданный онлайн-педагогический инструмент, который позволяет студентам писать, делиться, отвечать, обсуждать и оценивать вопросы с несколькими вариантами ответов, практически без ввода инструктора, - лучшие результаты обучения и улучшенное восприятие обучения, а также мотивация к обучению (Feeley & Parris, 2012). Для дальнейшего развития использования и эффективности PeerWise исследование влияния виртуальных достижений, системы достижений на основе значков в PeerWise, в большом рандомизированном контрольном исследовании показало, что существенное положительное влияние на количество вкладов студентов без соответствующая потеря качества (Denny, 2013). По мере развития онлайн-обучения в виртуальную среду добавляются все больше и больше аспектов «игры», использования игровой механики и виртуальных достижений в неигровых контекстах для привлечения пользователей к виртуальной среде, чтобы увеличить вовлеченность задач и уменьшить потерю (Deterding, Dixon, Khaled, & Nacke, 2011; Huotari & Hamari, 2012; Kapp, 2012).

Несмотря на то, что есть положительные результаты для эффективности онлайн-обучения, все еще неясно, что это обычно справедливо во всех исследованиях. Под руководством Департамента образования США группа исследователей из Стэнфордского исследовательского института International провела систематический поиск литературы с 1996 по 2008 год и определила более тысячи эмпирических исследований онлайн-обучения (Means et al., 2010). В метаанализе, в котором использовались строгие критерии отбора исследований, которые использовали строгий исследовательский проект, сравнивали онлайн-обучение с традиционным форматом, количественно измеряли результаты обучения учащихся и предоставляли достаточную информацию для расчета размера эффекта, исследователи проанализировали 45 исследований и в среднем, они обнаружили, что учащиеся в онлайн-формате выполняются скромно лучше, чем в традиционном формате. Разница в результатах обучения студентов была больше в исследованиях, в которых интерактивные элементы были объединены с лицом к лицу, и эти смешанные условия часто включали дополнительное время обучения и элементы обучения, не полученные учащимися в условиях контроля. Различия в том, как было реализовано онлайн-обучение, существенно не повлияли на результаты обучения учащихся, но следует отметить, что для этого конкретного исследования существует небольшое количество исследований (N = 13). Исследователи пришли к выводу, что сочетание времени, учебного плана и педагогики в онлайн-формате вызвало наблюдаемую разницу в результатах обучения, но не было доказательств того, что онлайн-обучение превосходит как средство обучения, что согласуется с предшествующей литературой (Bernard et al., 2004; Clark, 1994). Исследователи отметили, что было проведено несколько строгих исследований К-12, поэтому их результаты не обязательно могут быть обобщены в настройках K-12.

Следует подчеркнуть, что эта оригинальная работа Means et al. является одним из наиболее цитируемых и уважаемых метаанализов на сегодняшний день (Lack, 2013). Он устанавливает очень высокий стандарт для метааналитической работы, и его основной вывод заключается в том, что результаты обучения в школе лучше для онлайн-обучения, чем традиционный формат, скромный, но, тем не менее, существенный.

Нулевые выводы

По сравнению с количеством положительных исследований существует много и много исследований, в которых были найдены неопровержимые результаты для изучения онлайн-обучения. Один из наиболее цитируемых (1900 цитат!) И известные исследования влияния дистанционного и онлайн-обучения на результаты обучения студентов - это оригинальная работа Томаса Рассела (Thomas Russell, 1999). Автор составил более 350 исследований по дистанционному и онлайн-образованию, начиная с 1928 года, что предполагает отсутствие существенной разницы в результатах обучения для традиционного очного формата и опосредованного обучения. Автор продолжил эту работу, вымогая и компилируя исследования по дистанционному обучению в различных форматах - большинство текущих исследований теперь проходят онлайн-обучение - на nosignificantdifference.org. Этот веб-сайт содержит один из крупнейших сборников исследований, в которых сравниваются эффекты дистанционного и онлайн-обучения в сравнении с традиционным форматом. Из всех положительных, смешанных, нулевых и отрицательных результатов на сайте около 70 процентов исследований не обнаружили существенных различий. Однако одна из наиболее распространенных критических замечаний работы Рассела заключается в том, что большинство оригинальных исследований имеют плохую методологию: у них часто отсутствуют контрольные группы, случайное задание, экспериментальный контроль за смешающими переменными и практически не обсуждается истощение. Последующие метаанализы, такие как Bernard и др. (2004) и Means и др. (2010), использовали более строгие критерии отбора. 

В метаанализе в высшем образовании Bernard и др. (2004) обнаружили, что в целом не было существенной разницы в результатах достижения, отношения и сохранения между дистанционным образованием, которое включало онлайн-образование и традиционное личное общение. Тем не менее, значительная неоднородность в результатах обучения студентов для различных видов деятельности. Разделение результатов обучения студентов на основе синхронных и асинхронных действий, действия, которые должны выполняться одновременно или для удобства каждого человека, соответственно, показали, что средние размеры эффекта достижения для синхронной работы были лучше для традиционного формата, но асинхронная работа благоприятствовала расстоянию образование. Другими словами, лучшие результаты обучения в традиционном формате для мероприятий, которые должны выполняться одновременно, и лучшие результаты в формате опосредованного расстояния для мероприятий, которые могут быть выполнены в разное время. Кроме того, исследователи также обнаружили, используя взвешенную множественную регрессию, что методология исследований учитывает большинство вариаций результатов обучения, за которыми следуют педагогика и средства массовой информации (Bernard et al., 2004). В противном случае среда дистанционного обучения, будь то переписка по почте или телевидение или Интернет, объясняет наименьшую вариацию результатов обучения, которая поддерживает заявку Кларка (1994) и позднее подтверждается Means et al. (2010). Другие исследования также пришли к аналогичным выводам. Например, недавний систематический обзор, сравнивающий изучение клинических навыков в области обучения медсестер в рамках онлайн-формата и традиционный, показал, что существенных различий между этими двумя форматами не было (McCutcheon, Lohan, Traynor, & Martin, 2015).

В 2005 году, через год после Бернарда и др. опубликовала свое исследование, другая группа опубликовала анализ эффективности дистанционного обучения. Zhao et al. (2005) проанализировал предыдущую литературу, в которую входило исследование Рассела в 1999 году среди других метаанализов, и обнаружил, что общий средний размер эффекта близок к нулю, но стандартное отклонение умеренного размера. Затем они использовали строгую методологию, чтобы обрезать исследования со слабой методологией или те, которые не предоставили адекватной информации и достигли некоторых довольно интересных результатов. Zhao et al. обнаружил наличие эффекта Хоторна, где была склонна находить благоприятные результаты для дистанционного или онлайн-образования, если исследователь был также инструктором курса. Они также обнаружили, что «правильная» смесь человека и технологии, то есть гибридное или смешанное обучение, была особенно эффективной. Последствия этого исследования заключаются в том, что курсы, которые могут сочетать сильные стороны онлайн-обучения и традиционного обучения, более эффективны, чем курсы, которые используют в основном один формат, и возможно, что, когда цифровые и онлайн-технологии улучшатся и созревают, они станут более эффективными в обучении учащихся.

Один неожиданный вывод из Zhao et al. исследование заключалось в том, что год публикации был значительным замедлителем эффективности дистанционного обучения. Исследования, опубликованные до 1998 года, не обнаруживают существенной разницы между дистанционным образованием и традиционным образованием, в то время как исследования, опубликованные в 1998 году и после 1998 года, обычно обнаруживают существенные различия в отношении дистанционного обучения. Возможно, полезно подумать о онлайн-классах до начала нового тысячелетия в качестве онлайн-курсов первого поколения, а также после онлайн-курсов второго поколения. Онлайн-курсы второго поколения могут основываться на курсах первого поколения и улучшать обучение студентов. Остается увидеть, что массовые открытые онлайн-курсы (MOOC) из-за огромного числа пользователей и функции открытого доступа существенно различаются, чтобы классифицироваться как третье поколение или если это просто продолжение второго поколения. Большинство текущих разговоров и исследований в литературе, включая этот документ, ориентированы на второе поколение онлайн-курсов.

Таким образом, большинство значительных различий в исследованиях показали, что в целом нет существенных различий. Тем не менее, другие исследования показывают, что эффективность онлайн-обучения не является положительной или эквивалентной по сравнению с традиционным форматом, и некоторые считают, что определенные группы студентов пользуются онлайн-обучением, в то время как другие пользуются традиционным форматом. Чтобы получить более полную картину, необходимо провести анализ смешанных и негативных результатов, чтобы получить более тонкий вывод.

...

Заключительные замечания

Было бы слишком легко вскочить на онлайн-обучение или отказаться от него как причуда, которая уйдет (и вернуться, как известно, многие образовательные причуды). В целом есть веские доказательства того, что онлайн-обучение, по крайней мере, столь же эффективно, как и традиционный формат, но доказательства не являются окончательными. Онлайн-обучение - это история, которая все еще не написана и как она будет прогрессировать, вероятно, будет зависеть от присутствующих.

Использованные источники

  1. Anstine, J., & Skidmore, M. (2005). A small sample study of traditional and online courses with sample selection adjustment. The Journal of Economic Education, 107–127.

  2. Bartley, S. J., & Golek, J. H. (2004). Evaluating the Cost Effectiveness of Online and Face-to-Face Instruction. Educational Technology & Society, 7(4), 167–175.

  3. Bennett, S., Marsh, D., & Killen, C. (2007). Handbook of online education. Continuum International Publishing Group, Incorporated. Retrieved from dl.acm.org/citation.cfm?id=1526291

  4. Bernard, R. M., Abrami, P. C., Lou, Y., Borokhovski, E., Wade, A., Wozney, L., … Huang, B. (2004). How Does Distance Education Compare With Classroom Instruction? A Meta-Analysis of the Empirical Literature. Review of Educational Research, 74(3), 379–439.

  5. Blitz, C. L. (2013). Can Online Learning Communities Achieve the Goals of Traditional Professional Learning Communities? What the Literature Says. REL 2013-003. Regional Educational Laboratory Mid-Atlantic. Retrieved from eric.ed.gov/?id=ED544210

  6. Boettcher, J. V., & Conrad, R.-M. (2010). The online teaching survival guide: Simple and practical pedagogical tips. John Wiley & Sons.

  7. Bowen, W. G. (2013). Higher education in the digital age. Princeton University Press.

  8. Bowen, W. G., & Ithaka, S. (2012). Interactive learning online at public universities: Evidence from randomized trials. Ithaka S+ R. Retrieved from mitcet.mit.edu/wp- content/uploads/2012/05/BowenReport-2012.pdf

  9. Brown, B. W., & Liedholm, C. E. (2002). Can web courses replace the classroom in principles of microeconomics? The American Economic Review, 92(2), 444–448.

  10. Brown, B. W., & Liedholm, C. E. (2004). Student preferences in using online learning resources. Social Science Computer Review, 22(4), 479–492.
  11. Clark, R. E. (1994). Media will never influence learning. Educational Technology Research and Development, 42(2), 21–29. doi:10.1007/BF02299088

  12. Coates, D., Humphreys, B. R., Kane, J., & Vachris, M. A. (2004). “No significant distance” between face- to-face and online instruction: evidence from principles of economics. Economics of Education Review, 23(5), 533–546.

  13. De la Varre, C., Keane, J., & Irvin, M. J. (2011). Enhancing Online Distance Education in Small Rural US Schools: A Hybrid, Learner-Centred Model. Journal of Asynchronous Learning Networks, 15(4), 35–46.

  14. Denny, P. (2013). The Effect of Virtual Achievements on Student Engagement. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 763–772). New York, NY, USA: ACM.

  15. Deterding, S., Dixon, D., Khaled, R., & Nacke, L. (2011). From game design elements to gamefulness: defining gamification. In Proceedings of the 15th International Academic MindTrek Conference: Envisioning Future Media Environments (pp. 9–15). ACM.

  16. Deterding, S., Sicart, M., Nacke, L., O’Hara, K., & Dixon, D. (2011). Gamification. using game-design elements in non-gaming contexts. In PART 2–Proceedings of the 2011 annual conference extended abstracts on Human factors in computing systems (pp. 2425–2428). ACM.

  17. Evans, J. & Haase, I. (2001). Online business education in the twenty‐first century: an analysis of potential target markets.Internet Research, 11(3), 246–260. doi.org/10.1108/10662240110396432

  18. Farinella, J. A., Hobbs, B. K., & Weeks, H. S. (2000). Distance delivery: The faculty perspective. Financial Practice and Education, 10, 184–194.

  19. Figlio, D. N., Rush, M., & Yin, L. (2010). Is it live or is it internet? Experimental estimates of the effects of online instruction on student learning. National Bureau of Economic Research.

  20. FinAid | Loans | Student Loan Debt Clock. (n.d.). Retrieved March 5, 2014, from finaid.org/loans/studentloandebtclock.phtml

  21. Fisher, D. (2012, November 6). Warming Up to MOOC’s. The Chronicle of Higher Education Blogs: ProfHacker.

  22. Gratton-Lavoie, C., & Stanley, D. (2009). Teaching and learning principles of Microeconomics online: An empirical assessment. The Journal of Economic Education, 40(1), 3–25.

  23. Hamari, J., Koivisto, J., Sarsa, H., & Hamari, J. (2014). Does Gamification Work. In A Literature Review of Empirical Studies on gamification. In proceedings of the 47th Hawaii International Conference on System Sciences, Hawaii, USA.

  24. Harmon, O. R., & Lambrinos, J. (2006). Online Format vs. Live Mode of Instruction: Do Human Capital Differences or Differences in Returns to Human Capital Explain the Differences in Outcomes?

  25. Harmon, O. R., & Lambrinos, J. (2012). Testing the Effect of Hybrid Lecture Delivery on Learning Outcomes. Retrieved from ideas.repec.org/p/uct/uconnp/2012-36.html

  26. Hiltz, S. R., Coppola, N., Rotter, N., Toroff, M., & Benbunan-Fich, R. (2000). Measuring the Importance of Collaborative Learning for the Effectiveness of ALN: A Multi-Measure. In Learning Effectiveness and Faculty Satisfaction: Proceedings of the 1999 Sloan Summer Workshop on Asynchronous Learning Networks (Vol. 1, p. 101). Olin College-Sloan-C.

  27. Hoic-Bozic, N., Mornar, V., & Boticki, I. (2009). A Blended Learning Approach to Course Design and Implementation. IEEE Transactions on Education, 52(1), 19–30. doi:10.1109/TE.2007.914945

  28. Huotari, K., & Hamari, J. (2012). Defining gamification: a service marketing perspective. In Proceeding of the 16th International Academic MindTrek Conference (pp. 17–22). ACM. Retrieved from dl.acm.org/citation.cfm?id=2393137