視頻中行人步態(tài)周期自動(dòng)提取方法

1.一種視頻中行人步態(tài)周期自動(dòng)提取方法，其特征在于包括以下步驟：
1)首先把視頻讀入計(jì)算機(jī)，再進(jìn)行背景建模與背景實(shí)時(shí)更新，采用當(dāng)前幀與背景幀相減的方法得到所有行人目標(biāo)的前景圖像，然后對(duì)前景圖像中的M個(gè)行人目標(biāo)進(jìn)行分離，使得每一幀前景圖像中只包含一個(gè)行人目標(biāo)，最終獲得M個(gè)分別只包含一個(gè)行人目標(biāo)的目標(biāo)視頻；
2)分別對(duì)每個(gè)目標(biāo)視頻的前景圖像幀進(jìn)行二值化處理，把前景區(qū)域的像素值賦為1，把背景區(qū)域的像素值賦為0；然后，把二值化后的每一幀圖像中的像素值按下式
$s_x(x,k)=\underset{y}{\Sigma }I(x,y,k)$
映射到圖像平面坐標(biāo)系的x軸上，得到一個(gè)二維矩陣；式中：I(x，y，k)表示第k幀圖像中坐標(biāo)值為(x，y)點(diǎn)的像素值；sx(x，k)表示把像素值延y軸疊加后的和值；
3)對(duì)得到的二維矩陣中的元素進(jìn)行二值化處理，把大于0的值都設(shè)為1，等于0的值不變；然后把二值化后的矩陣按下式
$s_k\left(k\right)=\underset{x}{\Sigma }A(x,k)$
映射到時(shí)間軸k軸上，得到一個(gè)時(shí)間序列信號(hào)；式中：A(x，k)表示矩陣A中坐標(biāo)值為(x，k)點(diǎn)的值；sk(k)表示把矩陣中元素延x軸疊加后的和值；
4)對(duì)映射得到的時(shí)間序列信號(hào)進(jìn)行傅立葉變換，得到該時(shí)間序列信號(hào)在頻域下的函數(shù)表示，即頻域信號(hào)F(u)，
$F\left(u\right)=\frac{1}{N}\underset{t=0}{\overset{N-1}{\Sigma }}s\left(t\right)e^{-j2\mathrm{\pi ut}/N},u=\mathrm{0,1},···,N-1;$
其中，s(t)為離散時(shí)間序列信號(hào)，N為視頻總幀數(shù)；
5)由頻域信號(hào)獲得頻域信號(hào)的功率譜P(u)＝|F(u)|2，u＝0，1，…，N-1；從中選出除0頻率之外功率最大的頻率，然后將視頻總幀數(shù)除以功率最大的頻率值得到以幀為單位的行人步態(tài)的周期值，完成視頻中行人步態(tài)周期自動(dòng)提取。

技術(shù)領(lǐng)域\n本發(fā)明涉及一種視頻中行人步態(tài)周期自動(dòng)提取方法，具體涉及一種利用頻率域分析理論，對(duì)視頻中行人目標(biāo)的步態(tài)周期特征進(jìn)行自動(dòng)提取的方法。屬于視頻監(jiān)控技術(shù)領(lǐng)域。\n背景技術(shù)\n隨著視頻監(jiān)控技術(shù)的發(fā)展，視頻攝像機(jī)已經(jīng)被廣泛用來對(duì)各種環(huán)境、區(qū)域和場所進(jìn)行實(shí)時(shí)監(jiān)控。隨著視頻檢測(cè)器數(shù)量的急劇增加，傳統(tǒng)的人工被動(dòng)監(jiān)控已經(jīng)遠(yuǎn)遠(yuǎn)無法滿足監(jiān)控任務(wù)的需要。因此，實(shí)現(xiàn)可以代替人眼的智能自動(dòng)監(jiān)控功能成為視頻監(jiān)控研究的目標(biāo)。目前，在智能監(jiān)控的研究中，對(duì)行人目標(biāo)進(jìn)行自動(dòng)識(shí)別與跟蹤所用到的特征主要包括衣服的顏色特征、紋理特征，前景的輪廓特征、幾何特征等等。這些特征都屬于視頻中單幀圖像的圖像特征，僅僅利用這些圖像特征建立目標(biāo)的外觀模型來識(shí)別行人目標(biāo)，還無法達(dá)到較高的準(zhǔn)確性。因此，利用視頻序列的幀間信息來體現(xiàn)目標(biāo)的運(yùn)動(dòng)特征，成為解決視頻目標(biāo)識(shí)別問題的一個(gè)新的途徑。在人的運(yùn)動(dòng)特征中，步態(tài)的周期是一個(gè)典型的特征。然而，如何自動(dòng)地提取步態(tài)的周期來實(shí)現(xiàn)目標(biāo)的在線識(shí)別與持續(xù)跟蹤，成為工程實(shí)踐中亟待解決的問題。\n經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，目前在視頻中檢測(cè)周期運(yùn)動(dòng)目標(biāo)周期的方法主要分為兩類：一類是基于空間域的方法，另一類是基于頻率域的方法。在基于空間域的方法中，R.Polana等人于1997年發(fā)表在《International?Journal?of?ComputerVision(國際計(jì)算機(jī)視覺雜志)》上的論文“Detection?and?recognition?of?periodic，nonrigid?motion(周期性非剛體運(yùn)動(dòng)的檢測(cè)與識(shí)別)”，采用跟蹤目標(biāo)上對(duì)應(yīng)特征點(diǎn)的方法來估計(jì)目標(biāo)運(yùn)動(dòng)的周期。然而，基于特征點(diǎn)的方法對(duì)光線變化和遮擋等干擾的魯棒性非常差，而且運(yùn)算量大，因此不適合實(shí)際的工程應(yīng)用。R.Cutler等人于2000年發(fā)表在《IEEE?Transactions?on?Pattern?Analysis?and?Machine?Intelligence(IEEE模式分析與機(jī)器智能會(huì)刊)》上的論文“Robust?real-time?periodic?motion?detection，analysis，and?applications(魯棒實(shí)時(shí)周期運(yùn)動(dòng)檢測(cè)、分析與應(yīng)用)”，采用區(qū)域特征對(duì)應(yīng)的方法來檢測(cè)目標(biāo)運(yùn)動(dòng)的周期。然而，他們的方法不能實(shí)時(shí)檢測(cè)疊加到其他運(yùn)動(dòng)上的周期運(yùn)動(dòng)，例如人行走時(shí)步態(tài)的周期。在這種情況下，他們的方法需要對(duì)視頻進(jìn)行預(yù)處理，把行人定位在視頻圖像的同一位置，這種處理很難實(shí)時(shí)進(jìn)行。而且，基于區(qū)域特征的方法對(duì)于噪聲和視頻圖像的質(zhì)量要求太高，因此也不利于工程推廣。在基于頻率域的方法中，A.Briassouli等人于2007年發(fā)表在《IEEE?Transactionson?Pattern?Analysis?and?Machine?Intelligence(IEEE模式分析與機(jī)器智能會(huì)刊)》上的論文“Extraction?and?analysis?of?multiple?periodic?motions?in?video?sequences(視頻序列中多周期運(yùn)動(dòng)的抽取與分析)”，采用頻域分析的方法實(shí)現(xiàn)了多周期運(yùn)動(dòng)目標(biāo)周期的提取，該方法可以處理周期運(yùn)動(dòng)疊加到其他運(yùn)動(dòng)的情況，而且對(duì)各種干擾具備很強(qiáng)的魯棒性；然而，此方法卻不能實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，而且算法復(fù)雜，不易實(shí)現(xiàn)，因此限制了其工程應(yīng)用。\n發(fā)明內(nèi)容\n本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種視頻中行人步態(tài)周期自動(dòng)提取方法，能在光照變化、檢測(cè)噪聲等實(shí)際工程應(yīng)用的復(fù)雜環(huán)境下，實(shí)時(shí)準(zhǔn)確地估計(jì)行人步態(tài)的周期，為視頻監(jiān)控中目標(biāo)識(shí)別與跟蹤提供一種可靠的運(yùn)動(dòng)特征。\n為實(shí)現(xiàn)上述目的，本發(fā)明首先提取視頻序列中不同行人目標(biāo)的前景圖像，然后將前景圖像向x軸映射，再將單幀信息向時(shí)間軸映射，并對(duì)映射得到的時(shí)間序列信號(hào)進(jìn)行傅立葉變換獲得頻域信號(hào)，最后由頻域信號(hào)獲得頻域信號(hào)的功率譜，利用其中功率最大頻率值獲取行人步態(tài)的周期。\n本發(fā)明的方法通過以下具體步驟實(shí)現(xiàn)：\n(1)提取視頻序列中不同行人目標(biāo)的前景：\n首先把視頻讀入計(jì)算機(jī)，再進(jìn)行背景建模與背景實(shí)時(shí)更新，采用當(dāng)前幀與背景幀相減的方法得到所有行人目標(biāo)的前景圖像，然后對(duì)前景圖像中的M個(gè)行人目標(biāo)進(jìn)行分離，使得每一幀前景圖像中只包含一個(gè)行人目標(biāo)，最終獲得M個(gè)分別只包含一個(gè)行人目標(biāo)的目標(biāo)視頻。\n(2)前景圖像向x軸的映射：\n先對(duì)每個(gè)目標(biāo)視頻的前景圖像幀，進(jìn)行二值化處理：把前景區(qū)域的像素值賦為1，把背景區(qū)域的像素值賦為0；然后，把二值化后的每一幀圖像中的像素值按下式\n$s_x(x,k)=\underset{y}{\Sigma }I(x,y,k)$\n映射到圖像平面坐標(biāo)系的x軸上，得到一個(gè)二維矩陣。\n式中：I(x，y，k)表示第k幀圖像中坐標(biāo)值為(x，y)點(diǎn)的像素值；sx(x，k)表示把像素值延y軸疊加后的和值。\n(3)單幀信息向時(shí)間軸的映射：\n先對(duì)上一步得到的二維矩陣中的元素進(jìn)行二值化處理：把大于0的值都設(shè)為1，等于0的值不變；然后把二值化后的矩陣按下式\n$s_k\left(k\right)=\underset{x}{\Sigma }A(x,k)$\n映射到時(shí)間軸k軸上，得到一個(gè)時(shí)間序列信號(hào)。\n式中：A(x，k)表示矩陣A中坐標(biāo)值為(x，k)點(diǎn)的值；sk(k)表示把矩陣中元素延x軸疊加后的和值。\n(4)對(duì)映射得到的時(shí)間序列信號(hào)進(jìn)行傅立葉變換：\n對(duì)映射得到的時(shí)間序列信號(hào)進(jìn)行傅立葉變換，得到該時(shí)間序列信號(hào)在頻域下的函數(shù)表示，即頻域信號(hào)F(u)，\n$F\left(u\right)=\frac{1}{N}\underset{t=0}{\overset{N-1}{\Sigma }}s\left(t\right)e^{-j2\mathrm{\pi ut}/N},u=\mathrm{0,1},···,N-1.$\n(5)計(jì)算行人步態(tài)的周期：\n由頻域信號(hào)獲得頻域信號(hào)的功率譜，從中選出除0頻率之外功率最大的頻率，然后將視頻總幀數(shù)除以功率最大的頻率值得到以幀為單位的行人步態(tài)的周期值，完成視頻中行人步態(tài)周期自動(dòng)提取。\n本發(fā)明與現(xiàn)有技術(shù)相比的顯著效果在于：可以自動(dòng)提取多個(gè)行人步態(tài)的周期，不需要對(duì)原始視頻信號(hào)進(jìn)行任何的預(yù)處理，而且對(duì)實(shí)際監(jiān)控視頻中所出現(xiàn)的光照變化、攝像機(jī)抖動(dòng)、檢測(cè)噪聲、前景檢測(cè)誤差等干擾同時(shí)具有較高的魯棒性。由于克服了這些現(xiàn)有技術(shù)在實(shí)際工程應(yīng)用方面難以解決的困難，因此真正實(shí)現(xiàn)了視頻中行人步態(tài)周期的實(shí)時(shí)檢測(cè)和估計(jì)。\n本發(fā)明針對(duì)智能視頻監(jiān)控中目標(biāo)識(shí)別和跟蹤的需要，利用頻域分析技術(shù)，實(shí)時(shí)提取多個(gè)行人步態(tài)的周期，具有算法簡單、精確度高、魯棒性強(qiáng)等優(yōu)點(diǎn)。特別是不需要對(duì)原始視頻信號(hào)進(jìn)行任何的預(yù)處理，自動(dòng)實(shí)現(xiàn)周期檢測(cè)，克服了以往技術(shù)方法都難以克服的難點(diǎn)，也消除了實(shí)現(xiàn)真正工程應(yīng)用的主要障礙。本發(fā)明使用基于頻域分析的圖像處理技術(shù)，實(shí)現(xiàn)行人步態(tài)周期的自動(dòng)提取，最終為智能視頻監(jiān)控中目標(biāo)識(shí)別和跟蹤提供一個(gè)新的可靠的目標(biāo)特征。\n附圖說明\n圖1本發(fā)明方法流程圖。\n圖2視頻序列中前景圖像向x軸的映射后得到的二維矩陣的二值化圖。\n圖3單幀信息向時(shí)間軸的映射后得到的離散時(shí)間序列信號(hào)圖。\n圖4對(duì)映射得到的時(shí)間序列信號(hào)進(jìn)行傅立葉變換后的頻域表示圖。\n圖5周期頻譜圖。\n具體實(shí)施方式\n以下結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步詳細(xì)說明。以下實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。\n為了更好地理解本實(shí)施例提出的方法，選取一段監(jiān)控?cái)z像機(jī)拍攝的視頻片斷，視頻中有三個(gè)行人從視域中經(jīng)過，但他們之間沒有一直被對(duì)方遮擋。\n如圖1本發(fā)明方法流程圖所示，本實(shí)施例具體實(shí)施步驟如下(使用Visual?C++語言編程)：\n(1)提取視頻序列中不同行人目標(biāo)的前景\n首先采用OpenCV(Intel開源計(jì)算機(jī)視覺庫)中的功能函數(shù)進(jìn)行視頻讀取，把視頻讀入計(jì)算機(jī)，再進(jìn)行背景建模與背景實(shí)時(shí)更新，并采用當(dāng)前幀與背景幀相減的方法得到所有行人目標(biāo)的前景圖像。\n前景檢測(cè)采用當(dāng)前幀與背景幀相減的方法，并結(jié)合高斯濾波與形態(tài)學(xué)處理，可以獲取比較準(zhǔn)確的目標(biāo)前景圖像。\n然后對(duì)檢測(cè)到的多個(gè)行人目標(biāo)進(jìn)行分離，使得每一幀前景圖像中只包含一個(gè)行人目標(biāo)。本實(shí)施例選取的視頻中有三個(gè)行人從視域中經(jīng)過，所以在任何時(shí)刻的圖象幀中行人目標(biāo)數(shù)目不超過3。假設(shè)在t1時(shí)刻的圖像幀中有M(M≤3)個(gè)行人目標(biāo)，那么此圖像幀就被復(fù)制為M個(gè)副本，每個(gè)副本中只有一個(gè)目標(biāo)。對(duì)整個(gè)視頻的所有幀都進(jìn)行這樣的處理，就得到三個(gè)目標(biāo)視頻，每個(gè)視頻只包含一個(gè)行人目標(biāo)。之后的所有操作都對(duì)每個(gè)目標(biāo)視頻分別進(jìn)行。\n(2)前景圖像向x軸的映射\n對(duì)每個(gè)目標(biāo)視頻的前景圖像幀進(jìn)行二值化處理，把前景區(qū)域的像素值賦為1，把背景區(qū)域的像素值賦為0。\n然后，把二值化后的每一幀圖像中的像素值按下式映射到圖像平面坐標(biāo)系的x軸上：\n$s_x(x,k)=\underset{y}{\Sigma }I(x,y,k)$\n式中：I(x，y，k)表示第k幀圖像中坐標(biāo)值為(x，y)點(diǎn)的像素值；sx(x，k)表示把像素值延y軸疊加后的和值。\n這樣就得到一個(gè)分別以x和k為坐標(biāo)軸的二維矩陣A，矩陣中元素的值為sx(x，k)。\n(3)單幀信息向時(shí)間軸的映射\n對(duì)得到的二維矩陣A中的元素進(jìn)行二值化處理，把大于0的值都設(shè)為1，等于0的值不變。該二值圖像如圖2所示。\n然后把二值化后的矩陣按下式映射到時(shí)間軸k軸上，\n$s_k\left(k\right)=\underset{x}{\Sigma }A(x,k)$\n式中：A(x，k)表示矩陣A中坐標(biāo)值為(x，k)點(diǎn)的值；sk(k)表示把矩陣中元素延x軸疊加后的和值。\n這樣就得到一個(gè)一維的離散時(shí)間序列信號(hào)s(t)，t＝0，1，…，k，…，N-1。N表示視頻的總幀數(shù)。該時(shí)間序列信號(hào)如圖3所示。\n(4)對(duì)映射得到的時(shí)間序列信號(hào)進(jìn)行傅立葉變換\n對(duì)上一步的到的離散時(shí)間序列信號(hào)按以下離散傅立葉變換公式進(jìn)行離散傅立葉變換：\n$F\left(u\right)=\frac{1}{N}\underset{t=0}{\overset{N-1}{\Sigma }}s\left(t\right)e^{-j2\mathrm{\pi ut}/N},u=\mathrm{0,1},···,N-1$\n變換后得到以函數(shù)F(u)，u＝0，1，…，N-1表示的頻域信號(hào)，如圖4所示。\n(5)計(jì)算行人步態(tài)的周期\n首先計(jì)算上一步得到的頻域信號(hào)的功率譜，如下式所示：\nP(u)＝|F(u)|2，u＝0，1，…，N-1\n然后選出除0頻率之外功率最大的頻率就為行人步態(tài)的頻率，根據(jù)下式計(jì)算其周期，單位為幀：\n$\mathrm{Perd}=\frac{N}{\mathrm{Freq}}$\n式中：Freq表示功率最大的頻率u的值；Perd表示以幀為單位的行人步態(tài)的周期值。\n由此完成視頻中行人步態(tài)周期自動(dòng)提取。\n根據(jù)以上方法得到以幀為單位的周期值16.67幀。周期頻譜圖如圖5所示，功率最大值對(duì)應(yīng)的周期為16.67(幀/周期)。