一種基于深度信息的手勢(shì)識(shí)別方法

1.一種基于深度信息的手勢(shì)識(shí)別方法，其特征在于該方法包括以下步驟：
步驟1：從可輸出深度信息的雙目攝像機(jī)中獲取實(shí)時(shí)的深度圖像，對(duì)深度圖像使用混合高斯的背景建模方法獲得背景圖像，混合高斯采用三個(gè)高斯核；
步驟2：利用背景圖像和當(dāng)前圖像作差分，檢測(cè)出前景區(qū)域；
步驟3：利用雙背景更新方法對(duì)建立的背景圖像進(jìn)行更新；
步驟4：通過(guò)統(tǒng)計(jì)方法學(xué)習(xí)人體形態(tài)的模型，并根據(jù)人體模型對(duì)檢測(cè)出的區(qū)域進(jìn)行分割，以提取出獨(dú)立的人體區(qū)域；具體是：收集人體樣本，采用隨機(jī)森林分類(lèi)器學(xué)習(xí)出人體形態(tài)的模型；
在實(shí)時(shí)處理時(shí)，首先對(duì)前景區(qū)域進(jìn)行垂直投影，得到投影直方圖；統(tǒng)計(jì)投影直方圖，估計(jì)出人體的數(shù)目和位置；
然后利用該位置和數(shù)目作為初始，基于人體形態(tài)的模型、占用前景的概率和未占用前景的概率作為約束，利用馬爾科夫鏈蒙特卡洛方法搜索出最優(yōu)的人體數(shù)目和位置，以確定獨(dú)立的人體區(qū)域；
步驟5：通過(guò)統(tǒng)計(jì)方法學(xué)習(xí)手部模型的分類(lèi)器，在每個(gè)獨(dú)立的人體區(qū)域上檢測(cè)出手部區(qū)域、輪廓信息；若能夠檢測(cè)出手部區(qū)域，則執(zhí)行步驟6，若檢測(cè)不到手部區(qū)域，則跳轉(zhuǎn)至步驟1；
其中檢測(cè)手部區(qū)域的具體是：
設(shè)待定位的手部自然伸展且位于身體之前，因此在深度圖像上手部的視差大于身體且在已知的范圍內(nèi)，通過(guò)收集人體樣本，并獲取對(duì)應(yīng)的深度圖，采用隨機(jī)森林分類(lèi)器學(xué)習(xí)出人體與手部視差的分布概率以用于從深度圖上分割出手部區(qū)域；
步驟6：通過(guò)手部的運(yùn)動(dòng)狀態(tài)利用自回歸模型對(duì)手部運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，基于預(yù)測(cè)位置，以手部區(qū)域的深度信息為特征，利用面積加權(quán)均值偏移方法跟蹤手部，獲取手部跟蹤的運(yùn)動(dòng)軌跡；
所述的自回歸模型采用三次恒加速多項(xiàng)式，利用該模型對(duì)手勢(shì)運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，基于預(yù)測(cè)的位置進(jìn)行跟蹤搜索出最佳位置，并更新目標(biāo)軌跡，以修正預(yù)測(cè)誤差；
步驟7：利用隱馬爾科夫模型對(duì)運(yùn)動(dòng)軌跡進(jìn)行建模，從而識(shí)別出手勢(shì)；
所述的手勢(shì)包括水平方向的單手運(yùn)動(dòng)、水平方向的雙手運(yùn)動(dòng)、垂直方向的雙手運(yùn)動(dòng)和單個(gè)阿拉伯?dāng)?shù)字單手繪制運(yùn)動(dòng)。
2.根據(jù)權(quán)利要求1所述的一種基于深度信息的手勢(shì)識(shí)別方法，其特征在于：根據(jù)手臂與手的連貫性和人體的對(duì)稱(chēng)性可定位出左右手的位置，且有效濾除其它接近的運(yùn)動(dòng)物體或其它人體的手部。
3.根據(jù)權(quán)利要求1所述的一種基于深度信息的手勢(shì)識(shí)別方法，其特征在于：所述的隱馬爾科夫模型建立過(guò)程中采用Baum-Welch算法進(jìn)行訓(xùn)練，模型中狀態(tài)的長(zhǎng)度為5。

一種基于深度信息的手勢(shì)識(shí)別方法\n技術(shù)領(lǐng)域\n[0001] 本發(fā)明屬于人機(jī)交互技術(shù)領(lǐng)域，涉及一種基于深度信息的手勢(shì)識(shí)別方法。\n背景技術(shù)\n[0002] 近年來(lái)手勢(shì)識(shí)別技術(shù)取得了快速的發(fā)展?；趩螖z像機(jī)的手勢(shì)識(shí)別、基于雙攝像機(jī)的手勢(shì)識(shí)、微軟的kinect手勢(shì)識(shí)別已相繼出現(xiàn)在家電控制、游戲控制等應(yīng)用領(lǐng)域，然而在實(shí)際應(yīng)用環(huán)境和用戶體驗(yàn)上均存在著一定的問(wèn)題，主要表現(xiàn)在：\n[0003] 單攝像機(jī)下存在的多人體或手勢(shì)出現(xiàn)遮擋時(shí)，手部無(wú)法準(zhǔn)確定位，導(dǎo)致識(shí)別率較低；如專(zhuān)利《基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法》、《互動(dòng)系統(tǒng)中的動(dòng)態(tài)手勢(shì)識(shí)別方法》等；\n[0004] 單攝像機(jī)與雙攝像機(jī)下的方法主要以人體的膚色、大小和運(yùn)動(dòng)等信息作為主要特征，使用時(shí)操作距離、手部顏色等受到限制；如專(zhuān)利《一種頭戴式立體視覺(jué)手勢(shì)識(shí)別裝置》；\n[0005] 微軟的kinect不能適應(yīng)光照的變化，戶外的陽(yáng)光照射和室內(nèi)的開(kāi)關(guān)燈均會(huì)存在干擾，僅應(yīng)用于光源穩(wěn)定的室內(nèi)場(chǎng)景。\n發(fā)明內(nèi)容\n[0006] 本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提供一種基于深度信息的非接觸式手勢(shì)識(shí)別方法，使識(shí)別率不受距離、膚色、遮擋、光照、運(yùn)動(dòng)等因素的影響，能夠適應(yīng)復(fù)雜多變的應(yīng)用環(huán)境。\n[0007] 本發(fā)明解決技術(shù)問(wèn)題所采取的技術(shù)方案：\n[0008] 步驟1：從可輸出深度信息的雙目攝像機(jī)中獲取實(shí)時(shí)的深度圖像，對(duì)深度圖像使用混合高斯的背景建模方法獲得背景圖像。\n[0009] 步驟2：利用背景圖像和當(dāng)前圖像作差分，檢測(cè)出前景區(qū)域。\n[0010] 步驟3：利用雙背景更新方法對(duì)建立的背景圖像進(jìn)行更新。\n[0011] 步驟4：通過(guò)統(tǒng)計(jì)方法學(xué)習(xí)人體形態(tài)的模型，并根據(jù)人體模型對(duì)檢測(cè)出的區(qū)域進(jìn)行分割，以提取出獨(dú)立的人體區(qū)域。\n[0012] 步驟5：通過(guò)統(tǒng)計(jì)方法學(xué)習(xí)手部模型的分類(lèi)器，在每個(gè)獨(dú)立的人體區(qū)域上檢測(cè)出手部區(qū)域、輪廓信息；若能夠檢測(cè)出手部區(qū)域，則執(zhí)行步驟6，若檢測(cè)不到手部區(qū)域，則跳轉(zhuǎn)至步驟1。\n[0013] 步驟6：通過(guò)手部的運(yùn)動(dòng)狀態(tài)利用自回歸模型對(duì)手部運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，基于預(yù)測(cè)位置，以手部區(qū)域的深度信息為特征，利用面積加權(quán)均值偏移方法跟蹤手部，獲取手部跟蹤的運(yùn)動(dòng)軌跡。\n[0014] 步驟7：利用隱馬爾科夫模型對(duì)運(yùn)動(dòng)軌跡進(jìn)行建模，從而識(shí)別出手勢(shì)。所述的手勢(shì)包括水平方向的單手運(yùn)動(dòng)、水平方向的雙手運(yùn)動(dòng)、垂直方向的雙手運(yùn)動(dòng)和單個(gè)阿拉伯?dāng)?shù)字單手繪制運(yùn)動(dòng)。\n[0015] 本發(fā)明的有益效果：本發(fā)明能夠適應(yīng)膚色變化的干擾，在室內(nèi)環(huán)境下不受距離、光照、遮擋、運(yùn)動(dòng)等因素的影響，算法計(jì)算量小，實(shí)時(shí)性高。\n附圖說(shuō)明\n[0016] 圖1為本發(fā)明方法流程圖。\n具體實(shí)施方式\n[0017] 以下結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說(shuō)明。\n[0018] 步驟1：從可輸出深度信息的雙目攝像機(jī)中獲取實(shí)時(shí)的深度圖像，對(duì)深度圖像使用混合高斯的背景建模方法獲得背景圖像。由于深度計(jì)算方法易受遮擋、扭曲等影響而使深度圖像中出現(xiàn)噪點(diǎn)、空洞等情況，因此這里的混合高斯方法利用三個(gè)高斯核。即圖1的建立背景模型步驟。\n[0019] 步驟2：利用背景圖像和當(dāng)前圖像作差分，檢測(cè)出前景區(qū)域。即對(duì)應(yīng)圖1的運(yùn)動(dòng)檢測(cè)。\n[0020] 步驟3：利用雙背景更新方法對(duì)建立的背景圖像進(jìn)行更新，以降低對(duì)深度圖像計(jì)算誤差的影響。\n[0021] 步驟4：收集人體樣本和非人體樣本，采用隨機(jī)森林分類(lèi)器訓(xùn)練出人體形態(tài)的模型。在實(shí)時(shí)處理時(shí)，首先對(duì)前景區(qū)域進(jìn)行垂直投影，得到投影直方圖；統(tǒng)計(jì)投影直方圖，估計(jì)出人體的數(shù)目和位置；然后利用該位置和數(shù)目作為初始，基于人體形態(tài)的模型、占用前景的概率和未占用前景的概率作為約束，利用馬爾科夫鏈蒙特卡洛方法搜索出最優(yōu)的人體數(shù)目和位置，以分割出獨(dú)立的人體區(qū)域。即對(duì)應(yīng)圖1的人體分割。\n[0022] 步驟5：若沒(méi)有人體區(qū)域，則直接跳出本次處理，否則基于檢測(cè)出的人體區(qū)域進(jìn)行手部定位，傳統(tǒng)方法大多基于膚色、運(yùn)動(dòng)等信息受限制較大。假設(shè)待定位的手部自然伸展且位于身體之前，因此在深度圖像上手部的視差大于身體且在已知的范圍內(nèi)，通過(guò)收集人體樣本，并獲取對(duì)應(yīng)的深度圖，采用隨機(jī)森林分類(lèi)器學(xué)習(xí)出人體與手部視差的分布概率以用于從深度圖上分割出手部區(qū)域。另根據(jù)手臂與手的連貫性和人體的對(duì)稱(chēng)性可定位出左右手的位置，且有效濾除其它接近的運(yùn)動(dòng)物體或其它人體的手部。若無(wú)法檢測(cè)出手部區(qū)域且未進(jìn)行手勢(shì)跟蹤，則跳出本次處理，否則執(zhí)行手勢(shì)跟蹤模塊。\n[0023] 步驟6：提取手部區(qū)域的輪廓、區(qū)域等信息，若沒(méi)有處于手勢(shì)跟蹤狀態(tài)，或手部檢測(cè)的置信度較高，則更新跟蹤的特征模型，否則不做更新。首先對(duì)手勢(shì)的運(yùn)動(dòng)方程參數(shù)進(jìn)行估計(jì)，設(shè)手勢(shì)的運(yùn)動(dòng)軌跡有如下三次恒加速多項(xiàng)式的自回歸模型描述：\n[0024] ，\n[0025] 其中， 為鄰近軌跡點(diǎn)。利用該模型對(duì)手勢(shì)運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，基于預(yù)測(cè)的位置進(jìn)行跟蹤搜索出最佳位置，并更新目標(biāo)軌跡，以修正預(yù)測(cè)誤差。跟蹤統(tǒng)計(jì)的特征中采用面積加權(quán)的深度分布和梯度分布的聯(lián)合直方圖，其描述為：\n[0026] ，\n[0027] 其中，C為歸一化常數(shù)， 為聯(lián)合概率密度分布函數(shù)，其維度為 ，N為待統(tǒng)計(jì)的點(diǎn)的總數(shù)目， 為核函數(shù)， 為 處的深度值， 為此處的梯度值， 為n+1幀特征維度為u，v的質(zhì)心，S為n+1幀特征維度為u，v時(shí)的面積值。該特征可適應(yīng)手部的姿勢(shì)變化、局部遮擋等干擾。由于采用了面積加權(quán)，可減少迭代的次數(shù)，降低計(jì)算量。\n[0028] 步驟7：本發(fā)明定義十二種可識(shí)別的手勢(shì)，即單手水平揮動(dòng)、雙手水平拍手、雙手上下?lián)]手和0-9的單個(gè)阿拉伯?dāng)?shù)字單手繪制運(yùn)動(dòng)。采集十二種預(yù)定手勢(shì)的數(shù)據(jù)，對(duì)手勢(shì)的軌跡進(jìn)行預(yù)處理去除密集點(diǎn)，獲得預(yù)處理軌跡，然后采用Baum-Welch算法訓(xùn)練獲得十二種預(yù)定手勢(shì)的隱馬爾科夫模型，模型中狀態(tài)的長(zhǎng)度為5。在實(shí)時(shí)分析時(shí)同樣過(guò)濾手勢(shì)軌跡，并將有效軌跡量化為16個(gè)方向，采用前向遞推算法獲得手勢(shì)模型的概率，并取最大者作為識(shí)別結(jié)果。\n[0029] 以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍，應(yīng)帶理解，本發(fā)明并不限于這里所描述的實(shí)現(xiàn)方案，這些實(shí)現(xiàn)方案描述的目的在于幫助本領(lǐng)域中的技術(shù)人員實(shí)踐本發(fā)明。