Редактор образовательных пространств и VR-сцен
Редактор образовательных пространств, реализованный с помощью ПО Unreal Engine 4, предоставляет возможность быстрого создания и изменения помещений и объектов IoT, находящихся в них, кому угодно без навыком программирование и моделирования. Позволяет задать характеристики объектов, их поведение и взаимодействие, а также предоставляет возможность взаимодействия человека с этими объектами.
Редактор VR-сцен реализован с помощью двух отдельных редакторов для проработки модели IoT-системы на разных уровнях детализации.
Для создания помещений был создан двухмерный редактор, с возможностью загружать изображения планировок помещений и набором инструментов для быстрого создания модели помещения по планировке. На данный момент доступны инструменты для добавления и удаления стен, окон и дверей, что позволяет создавать модели помещений, по своему строению близкие к их реальным прототипам. После завершения создания планировки помещения в двухмерном редакторе модель созданного помещения преобразуется в трехмерную и передается в трехмерный редактор для дальнейшего редактирования.
Снчала следует загрузка планировку помещения в формате jpg или png. Далее выбирается нужный элемент: стены, двери, окна и наносится поверх изображения, тем самым выстраивая помещение. У каждого элемента есть точки по которым происходит сцепление со следующим элементом. Окна и двери при необходимости можно вращать нажатием на колесико мыши.
Сначала выставляется первый элемент в любом месте. При нажатии на подсвечиваемый куб, вокруг выставленного элемента, левой кнопкой мыши, к нему приссоединяется следующий и так далее. При необходимости элементы можно удалять правой кнопкой мыши.
Для удобства создание комнаты происходит на сетке размером 1х1м. При нажатии нижней кнопки создается 3д модель помещения
Трехмерный редактор обладает инструментами для добавления объектов на 3D сцену и изменения их свойств. Такими объектами являются различные предметы интерьера для заполнения созданного помещения и создания его цифрового двойника, объекты интернета вещей (датчики и актуаторы), а также моделей людей с возможностью изменения их положения, позы и поворота в соответствии с задачей. Также реализована возможность загрузки сторонних объектов различных форматов. Параметры устройств, связанных с реальными объектами IoT устанавливаются с помощью специальных виджетов, содержащих как информацию для подключения к устройству IoT, так и внутренние параметры виртуального устройства
В правой части экрана есть меню которое позволяет выставлять различные объекты и устройства, а также делать скриншоты, удалять объекты, загружать собственные (любой формат), сохранять сцену, переходить в VR.
Объекты планировки, такие как стулья, диваны, столы, источники осещения, растения и др., а также объекты подгруженные самостоятельно - нужны для заполнения виртуального пространства и получения цифрового двойника помещения. Всем объектам при на жатии на них можно настроить их начальные и конечые положение, вращение, размер, что полезно при создании урока, а также подгрузить фотографии реального объекта для более детального представления об объекте в реальном мире.
Устройства нужны для создание IoT пространства. Под устройствами подразумеваются датчики, актуаторы, роботы, AI для создание уроков, IFrame. На данный момент функцианирует 4 датчика: стрелочный прибор, например для отображения температуры в комнате, светодиод, прогресс бар, табло с текстом; 2 актуатора: кнопка для включения \ выключения чего либо, рычаг для плавной настройки значений, а также iFrame для отображения любой информации из интернета и AI интеллект представленный в виде мужчины и женщины, с реалистичными анимациями, для создание интерактивных уроков.
У каждого устройства есть свои параметры для настроки: ID для подключения к системе IoT, размер и другие дополнительные параметры. У AI настраивается дополнительно, расставляются точки по которым AI будет передвигаться и у каждой точки пишется информация, которая будет отображаться во время урока.
Все объекты при необходимости можно удалить нажав сначала на корзину в дополнительной панеле инструментов, а затем на ненужный объект. В этой же панеле есть кнопка для загрузки своих собственных объектов, прсле загрузки объекта, он помещается в раздел с объектами во вкладку собственных моделей.
Также дополнительная панель инструментов включается в себя кноку скриншота, переход в VR режим и сохранение сцены. Сохраненная сцена может быть передана и загружена на любом устройстве. Для сохранения сцены нужно создать каталог в правом меню, выбрать его, после ввести назввание сцены и нажать кнопку сохранить.
Редактор схем
В рамках работы также был реализован редактор схем, который позволяет настраивать связи между объектами, покахывающие по какому соединению объекты взаимодействуют между собой, а также редактор ментальных карт в объеме.
Ментальные карты — это техника визуализации мышления. Применения ментальных карт очень разнообразны — например, их можно использовать для того, чтобы зафиксировать, понять и запомнить содержание книги или текста, сгенерировать и записать идеи, разобраться в новой для себя теме, подготовиться к принятию решения.
Идея ментальных карт основывается на сходствах между изображением процесса мышления при помощи ментальной карты и устройством человеческого мозга: во-первых, ментальная карта имеет, как и нейрон, радиальную структуру, а во-вторых, мысли на физическом уровне отображаются как «деревья» биохимических импульсов.
Эти карты полезны тем, форма карты может рассказать о многом: живая, крепкая форма карты показывает, что вы хорошо разобрались в проблеме. Неуверенная, запутанная ветвь может указывать на нерешенную проблему. А значит, именно ей следует уделить больше внимания. В процессе рисования карты, вы можете обнаружить, что в то время как некоторые ветви вы за пару минут расписали подробно до мелочей, есть и такая, которая «не идет».
Интеграция VR-инструментов с платформами Alterozoom и ECOIMPACT
Для более глубокого погружения был разрабон кокпит который настраивается уникально под каждое помещение в зависимсти от количства датчиков в комнате. Кокпит - это кабина опиратора, которая позволяет управлять всей системой с места и получать полную информацию о ней. Кокпит представляется из себяп панорамный интерфейс оператора. По сути это 3D-интерфейс, выполненный на основе 2D-отображений. Он не уступает анимации по тактическому, стратегическому и нарративному погружению. В тактическом погружении оба подхода используют элементы расширенной реальности (стационарные или всплывающие экраны с показаниями датчиков «по месту», например, манометров или мерных стекол; кнопок на панелях управления насосами или компрессорами; вентилями задвижек, пр.). Стратегическое погружение в обоих интерфейсах поддерживается трехмерностью представления объекта и соотнесением времени достижения цели с реальным расположением оборудования. В отличие от компьютерных игр, где нарративное погружение является ключевым параметром иммерсивности, оно нечасто возникает при управлении ТП. Каждый отдельный кадр панорамы двумерен, поэтому можно предположить, что сенсорное и пространственное погружение в панораме несколькоограничено в сравнении с 3D-анимацией. Понимание оператором, что он попадает в трехмерное пространство (то есть сенсорное погружение), присуще обоим типам интерфейсов, но в анимации оператор ощущает себя в искусственном игровом пространстве; панорамная же среда воспринимается как реальная.
Фотографическая информация позволяет сформировать вполне релевантный образ действительности: если фотографий достаточно, мы на их основе успешно распознаем взаиморасположение объектов и без труда сориентируемся на незнакомой местности; тем более, если фотографии объединены в непрерывную панораму. В анимации возможны пространственные искажения (избежать их можно только при очень тщательной и, следовательно, очень дорогой разработке - это не нужно) . На основе отрисованного 3D-интерфейса трудно ориентироваться в незнакомой прежде среде - помимо отвлекающей искусственности отсутствуют реальные маркеры среды: неровности дороги, неидеальность стен, пр.
Внедрению ВР-технологий в обучение операторов ТП нет альтернативы; без них тренинг операторов нового поколения скоро станет вовсе немыслимым. Достигаемые в ВР уровень подобия и глубина погружения недостижимы в традиционных интерфейсах.
Сценарий ВР-урока
1. Обучающийся находится в кокпите, где он может выбрать конкретный ВР-урок, просматривая их названия на экране с возможностью перейти к краткому описанию и превью сцены в динамике. Для позиционирования зрителя относительно мониторов используются команды на кнопки, одно нажатие на джойстик центрирует пользователя относительно мониторов, стик на джостике вперед - приблизит пользователя к экрану, стик назад - отдолится от экрана, вправо и влево - поворот на фиксированнный угол. Под экранами - контролы, листающие страницы, изменяющие тип шрифта, включающие звук, запускающие слайд-шоу, выводящие на экраны разные материалы из фиксированных списков.
2. После выбора урока пользователь получает доступ к теоретическим материалам урока, которые он может просматривать на экранах в кокпите. Это могут быть: текст, картинки, видеоролики, транслируемые в iframe-ах с сайтов Alterozoom и ECOIMPACT. Также пользователю выводится индикациия о том какой урок изучается, а рядом расположены оглавление урока и кнопка перехода к выбору уроков. На трех экранах выводится, текст, видео, картинку или какие-то комбинации всего этого. Пользователь может записывать свои голосовые комментарии к уроку.
3. По окончании изучения теории или в процессе этого изучения пользователь может переходить к VR сценам, чтобы с ознакомиться с заданием в виртуальная реальности.
4. Далее тренинг со сценарием привязанный к конкретному уроку.
5. После тренинга пользователь получает задание которые он должен выполнить, сделать скриншоты и отправить учителю или пройти тест. Также задание может быть в вр среде по настройке оборудования или создания каких либо связей.
Например:
1. Лабораторная работа по созданию прибора и подключению его к системе виртуальной реальности.
2. ВР-урок - объяснение теоретического материала с демонстрацией отдельных компонентов ИС и их работы (огласно таксономии образовательных целей).
3. ВР-тренинг (выполнение заданий согласно таксономии образовательных целей).