具有人機(jī)交互的可穿戴式血管介入手術(shù)三維立體圖像導(dǎo)航裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于醫(yī)療輔助器械技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 傳統(tǒng)的醫(yī)學(xué)影像是通過膠片的方式顯示給醫(yī)生的，或者在圖形工作站二維顯示器 上顯示三維模型，這種顯示方式在面向血管介入手術(shù)應(yīng)用中存在以下不足之處：（1)缺乏 深度信息感知，醫(yī)生需要根據(jù)解剖知識和影像信息在頭腦中想象術(shù)中導(dǎo)管在血管中移動的 場景；（2)缺乏良好的人機(jī)交互，由于血管介入手術(shù)過程中主刀醫(yī)生雙手進(jìn)行導(dǎo)管操作，不 便于調(diào)整解剖模型的位姿達(dá)到期望的觀察角度，而助手的操作又往往無法準(zhǔn)確理解主刀醫(yī) 生的訴求；（3)普通二維顯示器或三維顯示器占用手術(shù)室寶貴空間，三維顯示器由于可視 角度限制，約束醫(yī)生移動范圍。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是為了解決血管介入手術(shù)不便的問題，本發(fā)明提供一種具有人機(jī)交 互的可穿戴式血管介入手術(shù)三維立體圖像導(dǎo)航裝置。
[0004] 本發(fā)明的具有人機(jī)交互的可穿戴式血管介入手術(shù)三維立體圖像導(dǎo)航裝置，所述裝 置包括穿戴式立體眼鏡、MU傳感器、服務(wù)器和電磁定位系統(tǒng)；
[0005] 穿戴式立體眼鏡，將生成的三維立體手術(shù)場景進(jìn)行顯示；
[0006] 頂U(kuò)傳感器，設(shè)置在虛擬現(xiàn)實眼鏡內(nèi)，用于跟蹤使用者的頭部運動，采集頭部運動 信號；
[0007] 服務(wù)器，根據(jù)采集的頭部運動信號，獲得頭部姿態(tài)信息；根據(jù)手術(shù)前血管影像信 息、獲得的頭部姿態(tài)信息和手術(shù)中導(dǎo)管末端位姿信息，進(jìn)行空間配準(zhǔn)和信息融合，生成三維 立體手術(shù)場景；
[0008] 電磁定位系統(tǒng)，用于通過電磁感應(yīng)，確定手術(shù)過程中血管中的導(dǎo)管末端位姿信息。
[0009] 所述服務(wù)器，根據(jù)手術(shù)前血管影像信息、獲得的頭部姿態(tài)信息和手術(shù)中導(dǎo)管末端 位姿信息，進(jìn)行空間配準(zhǔn)和信息融合，生成三維立體手術(shù)場景包括：
[0010] 將獲得的頭部姿態(tài)信息進(jìn)行視點變換，映射到虛擬場景中虛擬相機(jī)姿態(tài)；
[0011] 將獲得的手術(shù)中導(dǎo)管末端位姿信息與手術(shù)前血管影像信息進(jìn)行信息融合；
[0012] 根據(jù)映射得到的虛擬場景中虛擬相機(jī)姿態(tài)，確定視點和視景體，在視景體范圍內(nèi)， 繪制信息融合后的場景，生成三維立體手術(shù)場景。
[0013] 所述服務(wù)器，將獲得的頭部姿態(tài)信息進(jìn)行視點變換，映射到虛擬場景中虛擬相機(jī) 姿態(tài)為：
[0014] 所述頭部姿態(tài)信息為人體頭部方向信息，獲得人體頭部坐標(biāo)系下用四元數(shù)向量表 示的人體頭部方向信息為1'=[1' 1，1'2，1'3，；1^]1'，根據(jù)1'(:=1'(1''）1'。進(jìn)行視點變換，映射到虛 擬場景中虛擬相機(jī)姿態(tài)為r。；
[0015] 其中，旋轉(zhuǎn)矩罔
[0016] r。為虛擬場景中虛擬相機(jī)的初始位置，r。= [0, 0,d]T，d為虛擬場景中虛擬相機(jī)相 對血管模型坐標(biāo)系原點的距離；r'表示虛擬相機(jī)在血管模型標(biāo)系下用四元數(shù)向量表示的 旋轉(zhuǎn)，由于虛擬相機(jī)與人體頭部的旋轉(zhuǎn)方向是相反的，因此，y= [1^，r2,r3, -rw]T，所述血 管模型為手術(shù)前血管影像信息獲得的。
[0017] 所述穿戴式立體眼鏡，將生成的三維立體手術(shù)場景進(jìn)行顯示包括：
[0018] 將生成的三維立體手術(shù)場景采用平行軸對稱方法建立虛擬場景的左右眼視圖，將 左右眼視圖分別傳遞給用戶的左右眼。
[0019] 所述頂U(kuò)傳感器包括三軸陀螺儀、三軸加速度計和三軸磁感應(yīng)計；
[0020] 所述服務(wù)器，根據(jù)采集頭部運動信號，獲得頭部姿態(tài)信息包括：
[0021] 三軸陀螺儀采集的測量數(shù)據(jù)作為狀態(tài)方程的輸入，加速度計和磁感應(yīng)計的測量數(shù) 據(jù)作為測量方程的輸入，將狀態(tài)方程和測量方程進(jìn)行擴(kuò)展卡爾曼濾波，獲得頭部姿態(tài)信息。
[0022] 本發(fā)明的有益效果在于，本發(fā)明利用穿戴式立體眼鏡為醫(yī)生提供血管介入手術(shù)過 程中導(dǎo)管在血管中運動場景的三維立體顯示圖像，由于具有景深的信息，使醫(yī)生能夠在術(shù) 中快速的判斷導(dǎo)管在血管中的位置信息，降低醫(yī)生術(shù)中認(rèn)知負(fù)擔(dān)。本發(fā)明利用三軸陀螺儀、 加速度計和磁場計，采用基于擴(kuò)展卡爾曼濾波方法對傳感器信息融合，跟蹤用戶頭部位姿， 實現(xiàn)虛擬場景根據(jù)用戶頭部姿態(tài)變化進(jìn)行相應(yīng)調(diào)整的良好人機(jī)交互，使醫(yī)生可以在術(shù)中專 心手部的手術(shù)器械操作，為醫(yī)生在手術(shù)提供有效的幫助。本發(fā)明采用穿戴式立體顯示方式， 具有占用空間小、便攜性好等優(yōu)點，而且不受視角范圍的影響。
【附圖說明】
[0023] 圖1為【具體實施方式】中的具有人機(jī)交互的可穿戴式血管介入手術(shù)三維立體圖像 導(dǎo)航裝置的原理示意圖。
[0024] 圖2為基于EKF將頂U(kuò)傳感器采集信息進(jìn)行融合獲得頭部姿態(tài)信息的原理示意 圖；
[0025] 圖3為頂U(kuò)傳感器獲得的頭部姿態(tài)信息映射虛擬場景中虛擬相機(jī)姿態(tài)的相關(guān)坐標(biāo) 系原理不意圖。
[0026] 圖4為電磁定位系統(tǒng)獲得的導(dǎo)管末端位姿信息與手術(shù)前血管影像信息進(jìn)行信息 融合的參考坐標(biāo)系原理示意圖。
[0027] 圖5為三維立體手術(shù)場景顯示的原理示意圖。
【具體實施方式】
[0028] 結(jié)合圖1至圖5說明本實施方式，本實施方式所述的具有人機(jī)交互的可穿戴式血 管介入手術(shù)三維立體圖像導(dǎo)航裝置，所述裝置包括穿戴式立體眼鏡、頂U(kuò)傳感器、服務(wù)器和 電磁定位系統(tǒng)；使用者佩戴立體眼鏡，手持導(dǎo)管操控端，根據(jù)立體眼鏡中提供的三維立體虛 擬手術(shù)場景圖象操作導(dǎo)管，通過頭部運動以不同角度觀察虛擬手術(shù)場景，以便于更直觀地 觀察導(dǎo)管在血管中的位姿。
[0029] 本實施方式的基本原理如圖1所示，穿戴式立體眼鏡與服務(wù)器之間通過藍(lán)牙進(jìn)行 無線通訊，充分利用兩端的硬件環(huán)境優(yōu)勢，將任務(wù)合理的分配到穿戴式立體眼鏡和服務(wù)器 上。
[0030] 服務(wù)器與電磁定位系統(tǒng)連接，電磁定位系統(tǒng)基本原理是通過磁場發(fā)生器在一定空 間范圍內(nèi)產(chǎn)生磁場，將集成電磁傳感器的導(dǎo)管末端置于磁場空間中獲取導(dǎo)管末端的位姿信 息。服務(wù)器與立體眼鏡通過藍(lán)牙通訊，主要是獲取立體眼鏡內(nèi)頂U(kuò)傳感器采集的頭部運動 信號，處理后獲得頭部姿態(tài)信息，根據(jù)手術(shù)前血管影像信息、獲得的頭部姿態(tài)信息和手術(shù)中 導(dǎo)管末端位姿信息，進(jìn)行空間配準(zhǔn)和信息融合，生成三維立體手術(shù)場景，再向立體眼鏡傳輸 生成的三維立體虛擬手術(shù)場景。
[0031] 穿戴式立體眼鏡主要是作為顯示終端為用戶提供實時的三維立體虛擬手術(shù)場景。 穿戴式立體眼鏡由兩部分組成，顯示終端和主機(jī)；所述主機(jī)包括電源、藍(lán)牙通訊模塊和視頻 解碼模塊。穿戴式立體眼鏡內(nèi)置兩塊TFTIXD顯示屏，顯示分辨率為854X480像素（WVGA)， 顯示比例為16 :9, 24位彩色顯示，可視角度為42度。
[0032] 所述頂U(kuò)傳感器包括三軸陀螺儀、三軸加速度計和三軸磁感應(yīng)計；三軸陀螺儀、三 軸加速度計和三軸磁感應(yīng)計采集的信號為頭部運動信號；
[0033] 所述服務(wù)器，根據(jù)采集頭部運動信號，獲得頭部姿態(tài)信息：
[0034] 三軸陀螺儀測量三個坐標(biāo)上的角速度，積分之后得到對應(yīng)軸的相對旋轉(zhuǎn)角度， 實際上由于陀螺儀的漂移和測量噪聲的存在，直接積分得到的角度誤差很大，需要對其 進(jìn)行校正，以實現(xiàn)準(zhǔn)確的姿態(tài)解算。本實施方式采用擴(kuò)展卡爾曼濾波（ExtendedKalman Filter，EKF)根據(jù)頂U(kuò)傳感器的輸出進(jìn)行融合計算，如圖2所示。EKF以姿態(tài)角和偏移角 作為狀態(tài)向量，陀螺儀的測量數(shù)據(jù)作為狀態(tài)方程的輸入，而加速度計和磁感應(yīng)計的測量數(shù) 據(jù)作為測量方程輸入，狀態(tài)方程和測量方程進(jìn)行擴(kuò)展卡爾曼濾波，最終獲得MU傳感器的 頭部姿態(tài)信息，即眼鏡的姿態(tài)。
[0035] 頂U(kuò)傳感器的陀螺儀需要進(jìn)行標(biāo)定，以抵消地球自轉(zhuǎn)產(chǎn)生的角速度部分；加速度 計和磁感應(yīng)計也需要標(biāo)定以降低高斯白噪聲。
[0036] 頂U(kuò)傳感器自身參考坐標(biāo)系下，頂U(kuò)傳感器的姿態(tài)由四元數(shù)向量r表示，即 =(Α，r2,r3,rw)T。IMU傳感器的陀螺儀輸出為ω= [ωχ,ωy,ωJτ，加速度計的輸出 為3=|^^^]1'，磁感應(yīng)計的輸出為111=[1]1)!，1]^，1]1」 1'。陀螺儀，加速度計和磁感應(yīng)計 的誤差噪聲建模為零均值高斯白噪聲，各傳感器高斯白噪聲對應(yīng)的方差分別表示為：
[0037] 本實施方式中，EKF的狀態(tài)向量由頂U(kuò)傳感器的姿態(tài)和旋轉(zhuǎn)角速度構(gòu)成，即
[0038] xk= (rT，ωτ)τ (1)
[0039] EKF中，狀態(tài)方程和測量方程分別有函數(shù)f和h表示：
[0040] xk=f(xki,wk) =Akxk !+wk (2)
[0041] zk=h(xk, vk) (3)
[0042] 其中Ak為狀態(tài)轉(zhuǎn)換矩陣，Ak隨時間變化，其計算公式為
[0043]
[0044]
[0045] 其中Λt表示采樣時間間隔，[ωX]為斜對稱矩陣運算符，表示為
[0046] 狀態(tài)方程中過程噪聲^與角速度測量噪聲有關(guān)，假設(shè)為高斯白噪聲，則
[0047] wk= [0 1Χ4 0g]T
[0048] 對應(yīng)的過程噪聲協(xié)方差矩罔
[0049] 測量方程中觀測量由加速度和磁場構(gòu)成，即zk=[ak，mk]T。測量模型可以表示為
[0050]
(6).
[0051] 其中g(shù)和h分別表示重力加速度和地球磁場；V〗和分別表示加速度計和磁感 應(yīng)計的測量噪聲，均假設(shè)為高斯白噪聲；C(rk)表示地球坐標(biāo)系向頂U(kuò)坐標(biāo)系變換的旋轉(zhuǎn)矩 陣。
[0052]
[0053] 測量方程中，
：對應(yīng)的測量協(xié)方差矩陣 L
m.oa·?」.
[0054] EKF模型循環(huán)模型表示為：
[0055] 第一步：預(yù)測
[0056] ①根據(jù)公式（2)更新系統(tǒng)狀態(tài)iF(
[0057] ②計算先驗誤差協(xié)方差
[0058]
[0059] 第二步：校正
[0060] ①計算Kalman增益
[0061]
[0062] ②更新狀態(tài)估計
[0063]
[0064] ③更新誤差協(xié)方差
[0065]
ψ
[0066] 進(jìn)而更新頭部姿態(tài)信息。
[0067] 所述服務(wù)器，將獲得的頭部姿態(tài)信息進(jìn)行視點變換，映射到虛擬場景中虛擬相機(jī) 姿態(tài)：
[0068] 假設(shè)人體頭部自然狀態(tài)下頭部正視前方，此時頂U(kuò)傳感器的姿態(tài)為其初始狀態(tài)， 如圖3