Введение

В настоящее время для отработки практических навыков, составляющих значительную часть таких медицинских профессий, как оториноларингология и стоматология используются различного рода препараты, фантомы и т.п., при этом тренировки приводят к порче препаратов и фантомов, что приводит к дороговизне подобного подхода. В оториноларингологии, отработка практических навыков при операциях на костных структурах уха возможна только на трупном материале, что накладывает значительные ограничения. Активное развитие науки и техники (особенно компьютерной графики) позволяет перенести большую часть процесса обучения в виртуальную реальность (ВР) [1]. В компьютерной графике ВР позволяет интерактивно взаимодействовать с трехмерным пространством, созданным компьютером. Традиционное обучение заменяется симуляционным курсом, в котором сложные хирургические манипуляции могут быть многократно выполнены обучающимся в виртуальном пространстве.

При работе с костными структурами важнейшим вопросом оказываются тактильные ощущения хирурга [2]. Работа по этим структурам производится в настоящий момент при помощи бормашины с набором боров [3, 4, 5]. Современные средства ВР дают нам возможность тактильного взаимодействия с виртуальными предметами при помощи устройств, называемых «гаптиками» (haptics) [6, 7].

Цель работы – создание аппаратно-программного комплекса (АПК) хирургического симулятора с тактильной обратной связью. При помощи гаптик-устройств будет реализована навигация в трехмерном пространстве, а также реалистичная визуализация трехмерных объектов; возможности их изменения путем сверления виртуальными борами различного размера и качества; имитация кровотечения из твердых структур при сверлении; работа двумя руками (например, стоматологическим зеркалом и бормашиной или отсосом и бормашиной) с двух гаптик-устройств. В качестве моделей возможно использовать цифровые томограммы с высоким разрешением.

Источник данных для создания модели

В качестве источника данных для моделирования костных структур, участвующих в симуляции оперативного вмешательства, используются данные компьютерной рентгеновской томографии высокого разрешения. DICOM (англ. Digital Imaging and Communications in Medicine) — отраслевой стандарт создания, хранения, передачи и визуализации медицинских изображений и документов обследованных пациентов. Именно в этом формате хранятся данные, представленные компьютерным томографом после проведения исследования. DICOM опирается на ISO-стандарт OSI, поддерживается основными производителями медицинского оборудования и медицинского программного обеспечения

В избранном нами для реализации фреймворке H3DAPI за работу с файлами DICOM отвечает модуль MedX3D, который разработан для поддержки стандарта на визуализацию медицинских данных в рамках X3D.

Создание воксельной модели твердого тела и ее визуализация

Простейшим вариантом работы с воксельным массивом является непосредственное его использование. В этом случае инструмент так же может быть представлен в виде воксельного тела. Преимуществом данного подхода является предельная простота обнаружения столкновений, сводящаяся к сравнению значений в вокселях: если один и тот же воксель принадлежит и моделируемому объекту, и инструменту, значит произошло столкновение. Кроме того, при таком подходе сохраняются все данные о внутреннем устройстве моделируемого объекта, а редактирование сводится к простому изменению значения в вокселях, затронутых работой алгоритма имитации удаления костной ткани.

Отсечение данных о мягких тканях в такой модели производится по уровню граничной плотности – фактически происходит бинаризация данных DICOM по заданному уровню плотности. Для выделения модели костных структур применяется простейший, но, в данном случае, достаточный способ сегментации данных - применение к данным своего рода пороговой функции, отсекающей все воксели, значение в которых меньше значения поглощения кости для компьютерных рентгеновских томограмм. такое пороговое значение выбирается эмпирически на основе конкретных данных исследования и зависит как от свойств самих костных структур, так и от характеристик использованного для получения снимков оборудования

Отображение объёмных данных подразумевает использование непосредственно данных воксельного массива для формирования изображения моделируемого объекта. Наиболее популярным из таких способов является рэйкастинг. Суть метода заключается в бросании лучей из точки зрения пользователя, проходящих через массив данных, и вычисление интеграла по ходу луча до тех пор, пока его значение не превысит некоторое пороговое. В этом случае значение интеграла представляет собой данные о прозрачности и цвете. Значения в каждом вокселе получаются путём интерпретации данных компьютерной томограммы с использованием специальной передаточной функции. К достоинствам данного метода можно отнести возможность формирования картинки высокого качества, а также «автоматическое» отображение скрытых структур данных, которые могут просвечивать через поверхности. Однако непосредственное применение данного подхода весьма ресурсоёмко.

Виртуальный инструмент должен иметь в данном мире свое представление для реализации как работы (отработка коллизий в пространстве), так и его визуализации. Визуализация в этом случае также происходит быстрым путем изображения данного примитива в сцене средствами OpenGL. Для представления же инструмента в сцене нами выбран воксельный метод, в виртуальный мир помещается инструмент, также состоящий из вокселов и для каждого из них рассчитывается взаимодействие с моделью и другими элементами этого мира. Этот метод длительный и ресурсоемкий, однако он выбран нами как наиболее точный и дающий широкие возможности для реализации указанных эффектов

Создание методов взаимодействия виртуального инструмента и трехмерной модели

В рамках реализации алгоритма симуляции работы с твердыми телами в виртуальном пространстве необходимо обрабатывать взаимодействие виртуального инструмента с моделируемым объектом. Вычисление силы обратной связи, создаваемой на устройстве тактильного ввода-вывода является важным фактором, определяющим качество симуляции.

Вычисление силы обратной связи нами решено с использованием классической модели, состоящей из пружины и демпфера. Пружина в данном случае призвана имитировать жёсткость моделируемого объекта. Демпфер в свою очередь призван стабилизировать систему управлению, создавая своего рода отрицательную обратную связь.

Параметры обозначенной системы подбираются таким образом, чтобы при взаимодействии с твёрдыми объектами у пользователя создавалось адекватное ощущение, и в то же время, чтобы система управления оставалась стабильной, т.е. не возникало неуправляемых вибраций и подобных процессов.

Авторами было рассмотрено несколько различных способов обнаружения столкновений и расчёта силы обратной связи. В ходе тестирования было обнаружено, что ни один из рассмотренных ранее способов, основанных на известных алгоритмах, не позволял достичь удовлетворительного качества. По этой причине авторами было принято решение о разработке собственного способа обнаружения столкновений.

Разработанный авторами способ позволил избавится от многих проблем, присущих более или менее классическим алгоритмам подобного рода. Однако, новый алгоритм оказался весьма требователен к аппаратным ресурсам. По этой причине для реализации разработанного механизма обработки была применена технология OpenMP для обечпечения SIMD обработки. Полученные результаты свидетельствовали как о высоком качестве алгоритма, так и о значительном выигрыше в плане производительности при использовании массовой многопоточности.

ЗАКЛЮЧЕНИЕ

Таким образом, в результате проводимых НИОКР по данной теме нами создан прототип хирургического симулятора с тактильной обратной связью, использующий специальные устройства ввода-вывода (гаптики) и формирующий реалистичное трехмерное стереоскопическое изображение с возможностью реалистичной имитации сверления костных структур бормашиной. Нами разработана методика воксельного представления модели, взятой из файла DICOM в трехмерном пространстве; теоретически обоснованы методики визуализации воксельной модели; решены задачи представления инструмента в пространстве и нахождения коллизий в виртуальном пространстве воксельных моделей инструмента и рабочего объекта. В выбранном нами воксельном представлении мира была построена модель инструмента, разработан способ определения ее коллизий в виртуальном мире, учитывающий возможные перемещения данной модели для каждого из составляющих ее вокселей. Данный метод является ресурсоемким, однако он позволяет создавать более точные и реалистичные ощущения, за счет возможности предсказывать будущие коллизии при движении в определенном направлении. Нами построены также математические модели, реализующие удаление вокселей из объектов при их взаимодействии, что открывает возможности для изменения и деформации воксельных моделей в виртуальном мире. Созданы различные модели наиболее распространенных используемых инструментов (боров хирургических бормашин). Нами реализована также на этом этапе тангенциальная сила, возникающая при работе бормашиной с твердыми структурами, что придает дополнительную реалистичность нашей методике симуляции хирургических вмешательств.