足球機器人視覺快速識別方法

1.一種足球機器人視覺快速識別方法，包括將攝像機安裝在場地上方使其拍攝范圍 完全覆蓋球場；將視頻采集卡安裝在工作站上，其輸入連接攝像機的輸出，視頻 采集卡輸出數字化的圖像數據，由計算機對數字化圖像處理，達到確定球門和邊 線位置，實時提供場上隊員的位置、方向、速度和加速度，以及球的位置數據； 其特征在于程序通過VC++MFC實現(xiàn)，其步驟如下：
(1)目標的特征提取和校正參數的整定：
提取的特征是顏色特征，每個機器人的頂蓋上均貼有代表球隊和個人的色標， 這些顏色都與球的顏色相區(qū)別；
采用由色調·飽和度·亮度組成的HSV模型為進行目標顏色特征提取的色彩 模型；
校正是對原圖像進行像素坐標的空間幾何變換，使像素落在正確的位置，以非 線性方程的形式實現(xiàn)，在現(xiàn)場根據實際場地和攝像機擺放位置，現(xiàn)場整定校正 參數；
所述的目標特征提取和校正參數的整定按如下具體步驟進行：
(1)通過圖像處理卡將圖像采集到內存中，并顯示在屏幕上；
(2)通過圖像處理卡的庫函數調整畫面的對比度、亮度、色調和色飽和度， 以改變圖像采集效果，直到圖像中機器人的色標和球及場地顏色區(qū)分最 大；
(3)依次采集小球和色標色彩信息：首先，點擊被采集目標的中心，程序就 將該像素點及其周圍7*7的像素點顏色分開顯示出來；使用者將符合實 際顏色的點全選中后，程序就能得到該目標HSV的閾值信息；如果用 戶不滿意該值，可直接改變HSV閾值范圍；
(4)用鼠標在計算機屏幕上選取所顯示的場地邊線上的八個點，程序以將此 八點圍成的圖形校正成矩形為標準，采用以下各種校正方法整定出校正 系數：
(a)桶形失真校正：
X’＝K11×(1+K12(X2+Y2))X
Y’＝K21×(1+K22(X2+Y2))Y
式中K11、K21為圖像比例系數，K12K22為失真校正系數；
(b)攝像機傾斜校正：
X’＝K1×X/320×Y+X
Y’＝K2×Y/240×X+Y
式中K1、K2為X和Y方向傾斜校正系數；
(c)攝像機旋轉角度校正：
X’＝(X2+Y2)1/2×cos(arctan(X/Y)+λ)
Y’＝(X2+Y2)1/2×sin(arctan(X/Y)+λ)
式中λ為旋轉角度；
以上X、Y為攝像機攝下的圖像上的坐標，X’、Y’為幾何校正后的坐標； 不斷改變校正系數，直到校正成功，以此確定所有的校正系數；其中桶 形失真校正成功標準為校正后場地四邊均為直線，攝像機傾斜參數判斷 整定成功標準為校正后場地為矩形，攝像機旋轉角度參數整定判斷成功 標準為校正后場地四邊與圖像邊框平行；
(2)圖像預處理
對數字化圖像均值濾波，去除突變干擾點；
(3)目標識別
所述的目標識別按下述具體步驟進行：
(1)首先依次以球和機器人球隊色標為目標，以該目標上一幀被識別的位 置為起點，以矩形螺旋方式向外搜尋與目標具有相同顏色的像素點； 矩形螺旋搜索算法即環(huán)繞搜索中心點一層一層地作矩形的螺旋狀搜 索，使用循環(huán)方式搜索四條邊上的點來完成一次搜索；
(2)搜索到機器人的隊標后，再以隊標為中心的一定范圍內搜索表示機器 人號碼和方向的隊員色標，根據識別出的隊員色標的組合方式判斷具 體隊員號和方向；
(3)若發(fā)現(xiàn)識別出的目標位置和方向與正常邏輯不符，就認為該目標被誤 識別，需要進行誤識別處理；
誤識別分如下三種情況：
(a)當發(fā)現(xiàn)有超過實際色標大小并符合閾值的像素點群，則判定為誤識 別；
(b)如果搜到的色標排列方式同實際的色標排列方式不一致，即沒有一 個隊員色標排列與之一致，則可認為搜索到的隊員號碼不正確，確 定為誤識別；
(c)搜索到的機器人號碼并非當前搜索號碼，則認為是誤識別；
(4)一旦在一定范圍內未能找到球或隊標，那么將在下一幀中對該目標采用 全局搜索算法，該算法將全場劃塊并分優(yōu)先級搜索，以丟失前一幀的識 別位置為最高優(yōu)先級由近至遠搜索；
設每個機器人頂蓋上都有4個顏色不同的色標，通過它們的相互關 系，以確定機器人的位置和方向；
(4)校正處理
將識別到的目標位置進行幾何畸變校正和高度誤差校正。

技術領域\n本發(fā)明是針對機器人進行足球比賽時的數字化圖像處理和識別。涉及到實時軟件 編程，數字信號處理，計算機科學和工程光學等多個領域。\n背景技術\n機器人足球是由加拿大不列顛哥倫比亞大學的Alan?Mackworth教授于1992年正 式提出。這一科技及娛樂項目于二十世紀九十年代興起，并在歐美及日本等發(fā)達地區(qū) 風行。\n機器人足球賽最重要的目的是檢驗人工智能的前沿研究、特別是多主體系統(tǒng)研究 的最新成果，這些成果可以轉化并應用在其他的工業(yè)或民用機器人上?？梢哉f足球機 器人能作為研究一切機器人和人工智能的標準平臺。另外，足球本身就是一項娛樂性 很強的運動，因此機器人足球是集科技和娛樂于一體的智能機器人，是以體育競賽為 載體的前沿科研競爭和高科技對抗，是展示高科技進展的生動窗口和促進科技成果實 用化和產業(yè)化的新途徑。\n機器人足球賽的比賽規(guī)則與人類正規(guī)的足球賽類似。機器人在比賽中不受人類控 制，完全自主地進行比賽。為了實現(xiàn)這一目標，機器人必須由以下五部分組成，即視 覺子系統(tǒng)、決策子系統(tǒng)、無線通訊子系統(tǒng)、運動控制子系統(tǒng)和機械子系統(tǒng)。視覺和決 策子系統(tǒng)是機器人的眼睛和大腦，無線通訊子系統(tǒng)是機器人的耳朵和嘴巴，運動控制 子系統(tǒng)相當于人類的神經系統(tǒng)，而機械子系統(tǒng)就是機器人的手腳。\n其中，視覺子系統(tǒng)必須向決策系統(tǒng)提供足夠多的場上信息以使機器人能對場上形 勢做出準確判斷并采用適當的策略。由于足球機器人是一個高度動態(tài)的系統(tǒng)，故視覺 系統(tǒng)處理的快速性和精確性對整個系統(tǒng)有著至關重要的影響。過去的圖像識別方法存 在著種種弊端。主要體現(xiàn)在搜索速度慢，識別精度低，對不同環(huán)境的適應性差，光源 一旦改變，就會出現(xiàn)目標丟失和誤識別。這直接導致機器人的跑位出現(xiàn)偏差，甚至出 現(xiàn)混亂場面。這主要是由以下幾點原因造成：\n1.目前大多數圖像識別技術采用的色彩模型都是紅綠藍RGB顏色空間，隨著光 強不同，相同的顏色經攝像機和圖像卡的捕捉后也會發(fā)生變化，RGB模型很容易受 到光源的影響，系統(tǒng)無法自適應環(huán)境所引起的變化情況。\n2.攝像頭因采用廣角鏡會產生桶形失真，并且由于機器人與球存在的高度差會 產生機器人位置偏差，使得辨識出的機器人位置不精確，影響了圖像識別的精確性。\n3.若對攝像機攝下的所有區(qū)域進行識別(即全局識別)會耗用大量的時間。為 了解決這一問題，目前的圖像搜索方法是以前一幀識別出的目標位置為中心，以一定 的順序向外搜索。但是如果上一幀未識別出或發(fā)生了誤識別，那么目標將在很長時間 內以錯誤的路徑搜尋目標，反而影響了識別速度。\n發(fā)明內容\n本發(fā)明的目的在于提供一種足球機器人視覺快速識別方法，具有搜索速度快，識 別精度高，對環(huán)境的適應性強的特點，為足球機器人的決策系統(tǒng)提供足夠多的場上信 息。\n為達到上述目的，本發(fā)明采用下述技術方案：\n一種足球機器人視覺快速識別方法，包括將攝像機安裝在場地上方使其拍攝范圍 完全覆蓋球場；將視頻采集卡安裝在工作站上，其輸入連接攝像機的輸出，視頻采集 卡輸出數字化的圖像數據，由計算機對數字化圖像處理，達到確定球門和邊線位置， 實時提場上隊員的位置、方向、速度和加速度，以及球的位置數據；其特征在于程序 通過VC++MFC實現(xiàn)，其步驟如下：\n(1)目標的特征提取和校正參數的整定：\n提取的特征是顏色特征，每個機器人的頂蓋上均貼有代表球隊和個人的色標， 這些顏色都與球的顏色相區(qū)別；\n采用由色調·飽和度·亮度組成的HSV模型為進行目標顏色特征提取的色彩模 型；\n校正是對原圖像進行像素坐標的空間幾何變換，使像素落在正確的位置，以非 線性方程的形式實現(xiàn)，在現(xiàn)場據實際場地和攝像機擺放位置，現(xiàn)場整定校正參 數；\n上述的目標的特征提取和校正參數的整定按如下具體步驟進行：\n(1)通過圖像處理卡將圖像采集到內存中，并顯示在屏幕上；\n(2)通過圖像處理卡的庫函數調整畫面的對比度、亮度、色調和色飽和度， 以改變圖像采集效果，直到圖像中機器人的色標和球與場地顏色區(qū)分最 大；\n(3)依次采集小球和色標色彩信息：首先，點擊被采集目標的中心，程序就 將該像素點及其周圍7*7的像素點顏色分開顯示出來；使用者將符合實 際顏色的點全選中后，程序就能得到該目標HSV的閾值信息；如果用戶 不滿意該值，可直接改變HSV閾值范圍；\n(4)用鼠標在計算機屏幕上選取所顯示的場地邊線上的八個點，程序以將此 八點圍成的圖形校正成矩形為標準，采用以下各種校正方法整定出校正 系數：\n(a)桶形失真校正：\nX’＝K11×(1+K12(X2+Y2))X\nY’＝K21×(1+K22(X2+Y2))Y\n式中K11、K21為圖像比例系數，K12K22為失真校正系數；\n(b)攝像機傾斜校正：\nX’＝K1×X/320×Y+X\nY’＝K2×Y/240×X+Y\n式中K1、K2為X和Y方向傾斜校正系數；\n(c)攝像機旋轉角度校正：\nX’＝(X2+Y2)1/2×cos(arctan(X/Y)+λ)\nY’＝(X2+Y2)1/2×sin(arctan(X/Y)+λ)\n式中λ為旋轉角度。\n以上X、Y為攝像機攝下的圖像上的坐標，X’、Y’為幾何校正后的坐標；不 斷改變校正系數，直到校正成功，以此確定所有的校正系數；其中桶形失真 校正成功標準為校正后場地四邊均為直線，攝像機傾斜參數判斷整定成功標 準為校正后場地為矩形，攝像機旋轉角度參數整定判斷成功標準為校正后場 地四邊與圖像邊框平行；\n(2)圖像預處理\n對數字化圖像均值濾波，去除突變干擾點。\n(3)目標識別\n上述的目標識別按下述具體步驟進行：\n(1)首先依次以球和機器人球隊色標為目標，以該目標上一幀被 識別的位置為起點，以矩形螺旋方式向外搜尋與目的具有相同顏色的像 素點；矩形螺旋搜索算法即環(huán)繞搜索中心點一層一層地作矩形的螺旋狀 搜索，使用循環(huán)方式搜索四條邊上的點來完成一次搜索；\n(2)搜索到機器人的隊標后，再以隊標為中心的一定范圍內搜索表示機器人 號碼和方向的隊員色標，根據識別出的隊員色標的組合方式判斷具體隊 員號和方向；\n(3)若發(fā)現(xiàn)識別出的目標位置和方向與正常邏輯不符，就認為該目標被誤識 別，需要進行誤識別處理；\n誤識別分如下三種情況：\n(a)當發(fā)現(xiàn)有超過實際色標大小并符合閾值的像素點群，則判定為誤識別；\n(b)如果搜到的色標排列方式同實際的色標排列方式不一致，即沒有一個隊 員色標排列與之一致，則可認為搜索到的隊員號碼不正確，確定為誤識別；\n(c)搜索到的機器人號碼并非當前搜索號碼，則認為是誤識別。\n一旦在一定范圍內未能找到球或隊標，那么將在下一幀中對該目標采用全局 搜索算法，該算法將全場劃塊并分優(yōu)先級搜索，以丟失前一幀的識別位置為 最高優(yōu)先級由近至遠搜索。\n設每個機器人上都有4個顏色不同的色標，通過它們的相互關系，以確定機 器人的位置和方向。\n(4)校正處理\n將識別到的目標位置進行幾何畸變校正和高度誤差校正。\n本發(fā)明與已有技術相比較，具有如下顯而易見的突出實質性特點和顯著優(yōu)點：本 發(fā)明的視覺識別方法是以軟件的方式實現(xiàn)的，程序通過VC++MFC實現(xiàn)，達到確定 球門和邊線位置，實時提供場上隊員的位置、方向、速度和加速度以及球的位置等數 據給足球機器人的決策系統(tǒng)，具有搜索速度快、識別精度高和對環(huán)境適應性強等特點。\n附圖說明\n圖1是視覺識別的工作流程框圖。\n圖2是機器人色標和球的照像圖。\n圖3是目標顏色閾值采樣畫面圖。\n圖4是校正參數整定流程框圖。\n圖5是目標識別總流程框圖。\n圖6是以上一幀獲得的中心點為種子點矩形螺旋形搜索路徑示意圖。\n圖7是誤識別處理流程框圖。\n圖8是幾何校正過程框圖。\n圖9是校正前后對比的示圖。\n具體實施方式\n本發(fā)明的一個優(yōu)選實例結合附圖詳述如下：\n本足球機器人視覺快速識別方法是以軟件的方式實現(xiàn)的，它必須是基于一系列的 硬件基礎。其基本的硬件設備是攝像機和視頻采集卡，攝像機安裝在場地上方，拍攝 范圍必須完全覆蓋球場。視頻采集卡安裝在工作站上(可以是PC機)，它的輸入連 接到攝像機的輸出，視頻采集卡輸出的是數字化的圖像數據。本發(fā)明就是對這些數據 進行處理和識別。\n程序通過VC++MFC實現(xiàn)，達到確定球門和邊線位置，實時提供場上隊員的位 置、方向、速度和加速度以及球的位置等數據的目的。\n本視覺識別方法的工作流程如附圖1所示。\n1.目標的特征提取和校正參數的整定\n要跟蹤目標就先要得到使目標從背景中提取出來所需的區(qū)別目標與非目標的特 征。本發(fā)明提取的特征是顏色特征。每個機器人的頂蓋上均貼有代表球隊和個人的色 標，這些顏色都與球的顏色相區(qū)別。(如附圖2所示)\n進行目標顏色特征提取所采用的色彩模型為色調·飽和度·亮度(HSV)模型。 色彩模型的選取對于正確識別顏色有非常大的影響，HSV是相對較好的色彩模型。 HSV模型由色調h，飽和度s和亮度v組成，接近人眼對色彩的感知。其中的色調屬 性能比較準確地反映顏色種類，對外界光照條件的變化敏感程度低。對同一顏色屬性 物體，h具有比較穩(wěn)定和較窄的數值變化范圍，作為主要判斷條件。飽和度s作為輔 助判斷條件。RGB到HSV的轉換公式如下：\nv＝max(r，g，b)；\ns＝1-min(r，g，b)/v；\n$\theta ={\cos }^{-1}\left(\frac{(r-g)+(r-b)}{2\sqrt{{(r-g)}^2+(r-b)(g-b)}}\right)$\n$h=\left\{\begin{array}{cc}\theta & ,b\le g\\ 360-\theta & ,b\ge g\end{array}\right.$\n此外，因為成像系統(tǒng)本身具有的非線性和攝像的視角不同造成了圖像和實際的偏 差，這些就需要校正。校正就是對原圖像進行象素坐標的空間幾何變換，使象素落在 正確的位置。經過反復實踐，本發(fā)明將這一映射以非線性方程的形式實現(xiàn)。而校正方 程系數必須與實際場地和攝像機擺放位置有關，所以，校正參數須現(xiàn)場整定。\n以上兩部分都是在賽前完成，需要人機互動。就是告訴機器人，什么顏色是球， 什么顏色是機器人的色標，以及攝下的圖像和實際情況如何對應。這一過程相當于對 機器人的訓練。\n目標的特征提取和校正參數整定的具體步驟如下：\n(a)通過圖像處理卡將圖像采集到內存中，并顯示在屏幕上。\n(b)通過圖像處理卡的庫函數調整畫面的對比度，亮度，色調和色飽和度，以改 變圖像采集的效果，直到圖像中機器人上的色標和球與場地區(qū)分最大。\n(c)依次采集小球和色標色彩信息。首先，點擊被采集目標的中心，程序就將該 象素點及其周圍7*7的象素點顏色分開顯示出來(見附圖3)。使用者將符合實際顏 色的點全選中后，程序就能得到該目標HSV的閾值信息。如果用戶不滿意該值可直 接改變HSV閾值范圍。\n(d)用鼠標在計算機屏幕上選取所顯示的場地邊線上的八個點。程序以將此八點 圍成的圖形校正成矩形為標準，采用以下各種校正方法整定出校正系數：\n桶形失真校正(由廣角鏡引起)：\nx’＝k11×(1+k12(x2+y2))x\ny’＝k21×(1+k22(x2+y2))x\n(k11，k21為圖像比例系數。K12，k22為失真校正系數)\n攝像機傾斜校正：\nx’＝k1×x/320×y+x\ny’＝k2×y/240×x+y\n(k1，k2為x和y方向傾斜校正系數)\n攝像機旋轉角度校正：\n$x^{,}=\sqrt{x^2+y^2}\times \cos (\arctan (x/y)+\alpha )$\n$y^{,}=\sqrt{x^2+y^2}\times \sin (\arctan (x/y)+\alpha )$\n(α為旋轉角度)\n以上x，y為攝像機攝下的圖像上的坐標，x’，y’為實際情況的坐標。所有校正 系數都必須確定，不斷改變校正系數，直到校正成功為止。其中桶形失真校正成功標 準為校正后場地四邊均為直線。攝像機傾斜參數判斷整定成功標準為校正后場地為矩 形。攝像機旋轉角度參數整定判斷成功標準為校正后場地四邊與圖像邊框平行。(整 定流程圖見附圖4)\n2.圖像預處理\n由視頻采集卡數字化后的圖像，于實際情況相比總是存在許多噪音。這些是攝像 機和本身精度以及外界干擾決定的。因此，本發(fā)明在進行目標識別前要對數字化圖像 均值濾波。濾波窗口為3×3，即每個象素點的HSV值由其周圍3×3范圍的象素點 的均值共同決定，這樣就將突變干擾點去除了。\n3.目標識別\n本發(fā)明識別的目標是規(guī)則的幾何圖形，球和隊標均是圓形的。每臺小車上都有3 個顏色不同的色標，通過它們的相互關系以確定小車的位置和方向。目標識別總流程 見附圖5。\n目標識別的具體步驟如下：\n(a)首先依次以球和機器人球隊色標為目標。以該目標上一幀被識別的位置為起 點，以矩形螺旋方式向往搜尋與目標具有相同顏色的象素點。\n矩形螺旋搜索算法即環(huán)繞搜索中心點一層一層地作矩形的螺旋狀搜索，使用循環(huán) 方式搜索四條邊上的點來完成一次搜索。此算法從中心向外搜索，并且能夠符合像素 點的矩形排列方式。如圖所示P為上一幀獲得的中心點為種子點，搜索順序如附圖6 中箭頭所示。\n(b)搜索到機器人的隊標后，再以隊標為中心的一定范圍內搜索表示機器人號碼 和方向的隊員標。根據識別出的隊員標的組合方式判斷具體隊員號和方向。\n(c)若發(fā)現(xiàn)識別出的目標位置和方向與正常邏輯不符，就認為該目標被誤識別， 需要進行誤識別處理。\n誤識別分為三種情況。\n其一，當發(fā)現(xiàn)有超過實際色標大小并符合閾值的象素點群，則判定為誤識別。\n其二，由于我方隊員識別色標的排列有唯一性，所以如果搜到的色標排列方式同 實際的色標排列方式不一致，即沒有一個隊員色標排列與之一致，則可以認為搜索到 的隊員號碼不正確，確定為誤識別。\n其三，搜到的機器人號碼并非當前搜索號碼，則認為是誤識別。\n對第一種情況只要不將該象素點群判定為目標即可。\n對后二種情況進行誤識別處理。流程圖見附圖7。\n搜索中記錄識別出的物體位置信息以及當前搜索的隊員號碼，并且記錄這些搜索 框并跳過，之后繼續(xù)進行矩形螺旋搜索，如果搜索到新的隊員號碼和位置信息，則記 錄位置信息，直到本輪搜索結束。如果搜索結束之后還沒搜索到所要搜索的隊員，則 進行其他隊員的搜索。如果之前認為搜索到的隊員在其自己的搜索輪中被搜到了，則 可以確定之前誤搜索的隊員不在記錄的疑似位置，則可對之前的誤搜索信息進行排 除；反之，之前隊員確實在疑似的位置處，則對搜到的隊員進行位置信息的賦值操作， 并且清空之前的疑似信息。所有隊員全部搜索完畢之后，查看有沒有疑似誤搜索的位 置信息，如有，查找這一幀沒有被賦予位置信息的隊員，對其進行位置賦值操作。如 果有多個隊員有疑似誤搜索的現(xiàn)象，則可以參照上一幀的位置信息以及方向和運動指 令信息，判斷每名隊員這一幀的位置，并進行賦值操作。\n因為一旦發(fā)生誤識別，就無法通過隊員識別色標來精確計算隊員的實際位置和方 向角，只能把搜索到的隊標中心作為此隊員的位置，而此隊員的方向則需要通過對上 一幀的方向，與上一幀所發(fā)出的行動指令，并且參照隊員識別色標的排列方式，來計 算一個大概角度作為這一幀時這名隊員的方向。雖然這樣的定位不夠精確，但至少給 出了位置信息，并且為下一幀的搜索提供了搜索的起始位置信息，方便下一幀的搜索。\n(d)一旦在一定范圍內未能找到球或隊標，那么將在下一幀中對該目標采用全局 搜索算法，該算法將全場劃塊并分優(yōu)先級搜索，以丟失前一幀的識別位置為最高優(yōu)先 級最高向外搜索。\n4.校正處理\n校正流程圖見圖8。將識別到的目標位置進行幾何校正，校正方程前所述。\n此外，由于機器人存在的高度不可忽略，使得識別出的機器人位置為其投影位置， 與實際位置有偏差。因此必須對其進行高度校正，方程如下：\n$r=\sqrt{x^2+y^2}$\nr’＝r-r/3×h\nx’＝r’×cos(arctan(y/x))\ny’＝r’×sin(arctan(y/x))\n(h為機器人的高度)\n進行了以上校正后，圖像的場地幾何形狀達到標準矩形，機器人高度影響消除， 使定位更加準確。校正前后效果見附圖9。