基礎(chǔ)信息
權(quán)利要求
說明書
PDF全文
法律信息
引證文獻(xiàn)
著錄項信息
專利名稱 | 拍攝裝置和拍攝控制方法 |
申請?zhí)?/td> | CN201010229252.3 | 申請日期 | 2010-03-30 |
法律狀態(tài) | 授權(quán) | 申報國家 | 中國 |
公開/公告日 | 2010-12-15 | 公開/公告號 | CN101917547A |
優(yōu)先權(quán) | 暫無 | 優(yōu)先權(quán)號 | 暫無 |
主分類號 | H04N5/232 | IPC分類號 | H;0;4;N;5;/;2;3;2;;;G;0;3;B;3;5;/;0;2查看分類表>
|
申請人 | 卡西歐計算機株式會社 | 申請人地址 | 日本國東京都
變更
專利地址、主體等相關(guān)變化,請及時變更,防止失效 |
權(quán)利人 | 卡西歐計算機株式會社 | 當(dāng)前權(quán)利人 | 卡西歐計算機株式會社 |
發(fā)明人 | 中島光康 |
代理機構(gòu) | 中科專利商標(biāo)代理有限責(zé)任公司 | 代理人 | 張遠(yuǎn) |
摘要
本發(fā)明提供一種拍攝裝置和拍攝控制方法。本發(fā)明的拍攝裝置包括:第1拍攝控制機構(gòu),其進(jìn)行控制,以便通過拍攝部來進(jìn)行拍攝;獲取機構(gòu),其在上述第1拍攝控制機構(gòu)的拍攝后,獲取生成該已拍攝的被拍攝體的三維圖像所必需的上述拍攝部的移動距離;第1判斷機構(gòu),其判斷上述拍攝部是否移動了由上述獲取機構(gòu)所獲取的移動距離;第2拍攝控制機構(gòu),其在由上述第1判斷機構(gòu)判斷為進(jìn)行了移動的情況下,對上述拍攝部進(jìn)行控制,以便進(jìn)行拍攝;三維圖像生成機構(gòu),其根據(jù)由上述第1拍攝控制機構(gòu)所拍攝的圖像、和由上述第2拍攝控制機構(gòu)所拍攝的圖像,來生成三維圖像。
1.一種拍攝裝置,包括:
第1拍攝控制機構(gòu),其進(jìn)行控制,以便通過拍攝部進(jìn)行拍攝;
獲取機構(gòu),其在上述第1拍攝控制機構(gòu)的拍攝后,獲取生成已拍攝的被拍攝體的三維模型所必需的上述拍攝部的移動距離;
第1判斷機構(gòu),其判斷上述拍攝部是否移動了由上述獲取機構(gòu)所獲取的移動距離;
第2拍攝控制機構(gòu),其在由上述第1判斷機構(gòu)判斷為進(jìn)行了移動的情況下,對上述拍攝部進(jìn)行控制,以便進(jìn)行拍攝;以及
三維模型生成機構(gòu),其根據(jù)由上述第1拍攝控制機構(gòu)所拍攝的圖像、和由上述第2拍攝控制機構(gòu)所拍攝的圖像,來生成上述被拍攝體的三維模型,
上述獲取機構(gòu)基于到上述被拍攝體的距離Z、拍攝元件的像素大小p、允許誤差ΔZ、焦距f、以及L=(Z·Z·p)/(ΔZ·f)來獲取生成上述被拍攝體的三維模型所必需的上述拍攝部的移動距離L。
2.根據(jù)權(quán)利要求1所述的拍攝裝置,其特征在于:
所述拍攝裝置還包括:
距離獲取機構(gòu),其獲取到上述被拍攝體的距離。
3.根據(jù)權(quán)利要求1所述的拍攝裝置,其特征在于:
所述拍攝裝置還包括:
加速度獲取機構(gòu)(231),其獲取上述拍攝部移動時的加速度,
上述第1判斷機構(gòu)基于對由上述加速度獲取機構(gòu)所獲取的加速度進(jìn)行2次積分處理而得到的值,來判斷上述拍攝部是否移動了由上述獲取機構(gòu)所獲取的移動距離。
4.根據(jù)權(quán)利要求1所述的拍攝裝置,其特征在于:
所述拍攝裝置還包括:
特征點檢測機構(gòu),其根據(jù)由上述第1拍攝控制機構(gòu)所獲取的圖像,來檢測特征點;
第3拍攝控制機構(gòu),其控制上述拍攝部,以便在上述第1拍攝控制機構(gòu)的拍攝結(jié)束時,按照規(guī)定的周期反復(fù)進(jìn)行拍攝;以及
特征點移動量獲取機構(gòu),其獲取由上述第3拍攝控制機構(gòu)反復(fù)進(jìn)行拍攝所得到的圖像間的、與由上述特征點檢測機構(gòu)所檢測的特征點相對應(yīng)的點的移動量,上述第1判斷機構(gòu)基于由上述特征點移動量獲取機構(gòu)所獲取的特征點的移動量,來判斷上述拍攝部是否移動了由上述獲取機構(gòu)所獲取的移動距離。
5.根據(jù)權(quán)利要求4所述的拍攝裝置,其特征在于:
所述拍攝裝置還包括:
顯示機構(gòu)(205),其在顯示部中依次顯示由上述第3拍攝控制機構(gòu)反復(fù)進(jìn)行拍攝所得到的圖像,
上述特征點移動量獲取機構(gòu)基于由上述顯示機構(gòu)依次顯示的圖像中的與由上述特征點檢測機構(gòu)所檢測的特征點相對應(yīng)的點在上述顯示部上的顯示位置的變化,來獲取上述特征點的移動量。
6.根據(jù)權(quán)利要求1所述的拍攝裝置,其特征在于,
所述拍攝裝置還包括:
第2判斷機構(gòu),其判斷上述第1拍攝控制機構(gòu)的拍攝時的光軸與拍攝后的光軸是否基本保持平行;以及
第4拍攝控制機構(gòu),其在由上述第2判斷機構(gòu)判斷為拍攝時的光軸與拍攝后的光軸并非基本保持平行的情況下,進(jìn)行控制,以便不進(jìn)行上述第2拍攝控制機構(gòu)的拍攝。
7.根據(jù)權(quán)利要求1所述的拍攝裝置,其特征在于:
所述拍攝裝置還包括:
通報機構(gòu),其在由上述第1判斷機構(gòu)判斷為進(jìn)行了移動的情況下,通報表示進(jìn)行了移動的意思的信息。
8.一種拍攝控制方法,包括:
第1拍攝控制步驟,進(jìn)行控制,以便通過拍攝部進(jìn)行拍攝;
獲取步驟,在上述第1拍攝控制步驟的拍攝之后,獲取生成已拍攝的被拍攝體的三維模型所必需的上述拍攝部的移動距離;
判斷步驟,判斷上述拍攝部是否移動了在上述獲取步驟中所獲取的移動距離;
第2拍攝控制步驟,在上述判斷步驟中判斷為進(jìn)行了移動的情況下,對上述拍攝部進(jìn)行控制,以便進(jìn)行拍攝;以及
三維模型生成步驟,根據(jù)在上述第1拍攝控制步驟中所拍攝的圖像、和在上述第2拍攝控制步驟中所拍攝的圖像,來生成上述被拍攝體的三維模型,
上述獲取步驟中,基于到上述被拍攝體的距離Z、拍攝元件的像素大小p、允許誤差ΔZ、焦距f、以及L=(Z·Z·p)/(ΔZ·f)來獲取生成上述被拍攝體的三維模型所必需的上述拍攝部的移動距離L。
拍攝裝置和拍攝控制方法 \n技術(shù)領(lǐng)域\n[0001] 本發(fā)明涉及拍攝裝置和拍攝控制方法。 \n[0002] 背景技術(shù)\n[0003] 3D建模是在要獲取人、動物、或美術(shù)品等的立體像時,通過照相機來對實際的被拍攝體進(jìn)行攝影,獲取三維坐標(biāo)的技術(shù)。 \n[0004] 作為檢測物體的三維位置的方法,在過去人們知道有采用2臺照相機的立體圖像方式。例如,在專利文獻(xiàn)1(JP特開平07-167633號公報)中記載的立體圖像方式中,根據(jù)\n2臺照相機的間隔、和分別通過2臺照相機而拍攝到的物體的圖像的特定部位的表觀的差(視差),來計算物體和照相機的距離(進(jìn)深)。接著,基于該距離,構(gòu)建物體的3D模型。 [0005] 但是,具有下述問題,即,為了獲取具有所希望的視差的多個圖像,必須要求多臺照相機或具有多個拍攝部的照相機,由此,必須要求大而特別的器材。 [0006] 發(fā)明內(nèi)容\n[0007] 本發(fā)明是為了解決上述問題而提出的,本發(fā)明提供一種拍攝裝置,其可在不采用大而特別的器材的情況下,獲取精度高的3D模型。 \n[0008] 為了實現(xiàn)上述目的,本發(fā)明的第1方面的拍攝裝置的特征在于,其包括: [0009] 拍攝機構(gòu); \n[0010] 第1拍攝控制機構(gòu),其進(jìn)行控制,以便通過拍攝機構(gòu)進(jìn)行拍攝; [0011] 獲取機構(gòu),其在上述第1拍攝控制機構(gòu)的拍攝后,獲取生成該已拍攝的被拍攝體的三維模型所必需的上述拍攝部的移動距離; \n[0012] 第1判斷機構(gòu),其判斷上述拍攝部是否移動了由上述獲取機構(gòu)所獲 取的移動距離; \n[0013] 第2拍攝控制機構(gòu),其在由上述第1判斷機構(gòu)判斷為進(jìn)行了移動的情況下,對上述拍攝部進(jìn)行控制,以便進(jìn)行拍攝;以及 \n[0014] 三維模型生成機構(gòu),其根據(jù)由上述第1拍攝控制機構(gòu)所拍攝的圖像、和由上述第2拍攝控制機構(gòu)所拍攝的圖像,來生成上述被拍攝體的三維模型。 \n[0015] 為了實現(xiàn)上述目的,本發(fā)明的第2方面的拍攝控制方法的特征在于,該方法包括: [0016] 第1拍攝控制步驟,進(jìn)行控制,以便通過拍攝部進(jìn)行拍攝; \n[0017] 獲取步驟,在上述第1拍攝控制步驟的拍攝之后,根據(jù)該已拍攝的被拍攝體,獲取生成該被拍攝體的三維模型所必需的上述拍攝部的移動距離; \n[0018] 判斷步驟,判斷上述拍攝部是否移動了在上述獲取步驟中所獲取的移動距離; [0019] 第2拍攝控制步驟,在上述判斷步驟中判斷為進(jìn)行了移動的情況下,進(jìn)行控制,以便進(jìn)行上述拍攝部的拍攝;以及 \n[0020] 三維模型生成步驟,根據(jù)在上述第1拍攝控制步驟中所拍攝的圖像、和在上述第2拍攝控制步驟中所拍攝的圖像,來生成上述被拍攝體的三維模型。 \n[0021] 發(fā)明的效果 \n[0022] 按照本發(fā)明,可提供能夠在不采用大而特別的器材的情況下,獲取精度高的3D模型的拍攝裝置。 \n[0023] 附圖說明\n[0024] 圖1為表示本發(fā)明的實施方式1的數(shù)字照相機的一個例子的外觀的圖,圖1(A)為主視圖,圖1(B)為背視圖,圖1(C)為頂視圖; \n[0025] 圖2為數(shù)字照相機的電路結(jié)構(gòu)的一個例子的方框圖; \n[0026] 圖3為說明本發(fā)明的實施方式1的裝置的動作用的流程圖; \n[0027] 圖4為用于說明3D建模處理的流程圖; \n[0028] 圖5為表示3D建模處理用的坐標(biāo)系的圖; \n[0029] 圖6為用于說明根據(jù)本發(fā)明的實施方式2的實時取景(live view)圖像信息來推算照相機的位置,并進(jìn)行3D建模的方法的流程圖; \n[0030] 圖7為用于說明3D建模處理的流程圖; \n[0031] 圖8為說明本發(fā)明的實施方式3的3D建模方法的流程圖。 \n具體實施方式\n[0032] 下面參照附圖,對本發(fā)明的實施方式進(jìn)行說明。 \n[0033] (實施方式1) \n[0034] 本發(fā)明的實施方式1的數(shù)字照相機1如圖1(A)所示的那樣,在正面?zhèn)染哂泄鈱W(xué)系統(tǒng)(拍攝透鏡)2。 \n[0035] 另外,如圖1(B)所示的那樣,在數(shù)字照相機1的背面,設(shè)置:菜單鍵3、顯示部4、游標(biāo)鍵5、SET鍵6、和3D建模模式鍵7。3D建模模式鍵7通過按壓來切換普通攝影模式和3D建模模式。 \n[0036] 此外,如圖1(C)所示的那樣,在頂面上,設(shè)置快門鍵9和電源按鈕8。 [0037] 圖2為表示圖1所示的數(shù)字照相機1的電路結(jié)構(gòu)的一個例子的方框圖。 [0038] 在圖2中,數(shù)字照相機1這樣構(gòu)成:拍攝部210、CPU201、閃存203、工作存儲器204、顯示控制部205、鍵輸入部202、圖像引擎220、傳感器231通過總線210a連接。 [0039] 拍攝部210由光學(xué)系統(tǒng)2、光學(xué)系統(tǒng)驅(qū)動控制部211、CMOS傳感器212、ISP(Image Signal Processor)213構(gòu)成。 \n[0040] 通過光學(xué)系統(tǒng)2,在CMOS傳感器212的拍攝面上進(jìn)行被拍攝體的光像的成像。 [0041] 光學(xué)系統(tǒng)驅(qū)動控制部211對光學(xué)系統(tǒng)2進(jìn)行控制。光學(xué)系統(tǒng)2和光學(xué)系統(tǒng)驅(qū)動控制部211的內(nèi)部結(jié)構(gòu)的圖示省略,但是光學(xué)系統(tǒng)驅(qū)動控制部211包括:調(diào)整倍率的變焦電動機、進(jìn)行對焦的合焦電動機、調(diào)整光圈的光圈控制部、和快門速度控制部等。 [0042] CMOS傳感器212對通過光學(xué)系統(tǒng)成像的光像進(jìn)行光電變換,接著進(jìn)行A/D變換,形成數(shù)字?jǐn)?shù)據(jù)。 \n[0043] ISP213針對上述數(shù)字?jǐn)?shù)據(jù),進(jìn)行顏色的調(diào)整、數(shù)字格式變換,變換為亮度信號Y、色差信號Cb、Cr。 \n[0044] CPU201進(jìn)行數(shù)字照相機1整體的控制動作。 \n[0045] CPU201對應(yīng)于鍵輸入部202的操作,取出與存儲于程序存儲器(圖示省略)中的各模式相對應(yīng)的動作程序、菜單數(shù)據(jù)。接著,根據(jù)該已取出的動作程序、菜單數(shù)據(jù),進(jìn)行數(shù)字照相機1的各部分的控制。在該動作程序中,包括3D建模模式時的拍攝控制程序。 [0046] 鍵輸入部202輸入圖1(B)所示的菜單鍵3、游標(biāo)鍵5、SET鍵6、3D建模模式鍵7、電源按鈕8、以及快門鍵9的各鍵的操作,并通知給CPU201。 \n[0047] 工作存儲器204由DRAM等構(gòu)成,通過CPU201,轉(zhuǎn)送來自拍攝部210的輸出(Y、Cb、Cr的數(shù)據(jù))。 \n[0048] 閃存203存儲通過圖像引擎220的JPEG壓縮部(圖示省略)而編碼的攝影圖像數(shù)據(jù)、以及按照3D建模模式生成的3D建模數(shù)據(jù)。 \n[0049] 顯示控制部205將VRAM206與顯示部4連接。顯示控制部205從VRAM206中取出RGB形式的顯示數(shù)據(jù),并在顯示部4中顯示。 \n[0050] 圖像引擎220由DSP(數(shù)字·信號處理器)等構(gòu)成。該圖像引擎220將存儲于工作存儲器204內(nèi)的Y、Cb、Cr的各數(shù)據(jù)變換為RGB形式,之后,經(jīng)由顯示控制部205,轉(zhuǎn)送給VRAM206。 \n[0051] 傳感器231由角速度傳感器和加速度傳感器構(gòu)成。角速度傳感器用于檢測數(shù)字照相機1的旋轉(zhuǎn)的有無。另一方面,加速度傳感器用于計算攝影時的平行移動距離。 [0052] 即,CPU201在角速度傳感器的檢測的結(jié)果、數(shù)字照相機1所拍攝的視角的光軸幾乎不平行的(即,數(shù)字照相機1不平行移動)的情況下,根據(jù)加速度傳感器檢測獲取的加速度,獲取數(shù)字照相機1所拍攝的視角的平行移動距離。 \n[0053] 下面參照圖3,對上述實施方式1的數(shù)字照相機1的動作進(jìn)行說明。 [0054] 如果通過檢測用戶的3D建模模式鍵7的操作,來選擇3D建模模式,則CPU201開始圖3所示的3D建模的處理(步驟S301)。首先,CPU201 在該3D建模模式開始時,判斷是否檢測到記錄指示(步驟S302)。具體來說,判斷是否檢測到用戶的快門鍵9的操作,在沒有檢測到該操作的情況下(步驟S302:否),進(jìn)行等待,直至檢測到。 [0055] 用戶相對攝影對象,朝向數(shù)字照相機1,對快門鍵9進(jìn)行操作,由此,在CPU201檢測到記錄指示時(步驟S302:是),CPU201通過光學(xué)系統(tǒng)驅(qū)動控制部211,對攝影對象進(jìn)行光學(xué)系統(tǒng)2的對焦,由此,獲取焦距f,另外,將光學(xué)系統(tǒng)2的倍率與該已獲取的焦距f相乘,計算從數(shù)字照相機1到攝影對象的距離Z(步驟S303)。接著,從拍攝部210取入攝影圖像(步驟S304)。將此時的攝影圖像作為對象圖像A。 \n[0056] 接著,CPU201采用下述的式(1),計算3D建模所必需的數(shù)字照相機1的平行移動距離L(步驟S305)。 \n[0057] L=(Z·Z·p)/(ΔZ·f) …(1) \n[0058] 另外,在上述式中,p表示拍攝元件的像素大小。另外,ΔZ表示相對在進(jìn)行3D建模的情況下允許的平行移動的允許誤差。 \n[0059] 例如,如果距離Z為1m,像素大小p為4um,焦距f為6mm,允許誤差ΔZ為5cm,則平行移動距離L為13mm。即,在距對象物的距離為1m的情況下,在取入對象圖像A后,如果取入平行移動13mm之后的視角,則可進(jìn)行良好的3D建模處理。 \n[0060] CPU201在檢測到數(shù)字照相機1本身的平行移動的開始時,根據(jù)從加速度傳感器輸出的加速度,來判斷是否移動了相當(dāng)于通過上述式(1)計算出的平行移動距離L的距離(步驟S306)。另外,在移動距離沒有達(dá)到L的情況下(步驟S306:否),CPU201等待,直至移動距離達(dá)到L。另外,CPU201與此動作并行地檢測角速度傳感器的規(guī)定角度以上的旋轉(zhuǎn),還判斷光軸是否幾乎不平行。接著,CPU201在判斷為旋轉(zhuǎn)了超過規(guī)定角度時,通報失敗。 [0061] CPU201在判斷為移動了相當(dāng)于平行移動距離L的距離時(步驟S306:是),則進(jìn)行用于獲取基準(zhǔn)圖像B的拍攝(步驟S307)。接著,CPU201鳴響應(yīng)向用戶傳遞攝影結(jié)束的報警(步驟S308),采用對象圖像A、基準(zhǔn)圖像B、和來自傳感器231的信息,進(jìn)行3D建模(步驟S309)。 \n[0062] 參照圖4,對上述3D建模處理進(jìn)行說明。 \n[0063] 首先,CPU201在對象圖像A上,獲取特征點候補(步驟S401)。 \n[0064] 該特征點候補可采用任何的方法獲取,但是,在本實施例中,采用廣泛知道的Harris角點檢測函數(shù),按照下述的方式進(jìn)行。 \n[0065] CPU201通過廣泛知道的模板(template)匹配,來獲取與已獲取的對象圖像A的特征點候補相對應(yīng)的基準(zhǔn)圖像B的特征點候補。接著,CPU201通過下述的方法,選擇這些已獲取的特征點候補中的,差異度為規(guī)定的閾值以下的特征點候補(步驟S402)。 [0066] 這里,參照圖5,進(jìn)行為了上述3D建模處理而導(dǎo)入的三維坐標(biāo)系統(tǒng)的說明。 [0067] 在圖5中,標(biāo)號501表示對象圖像A,標(biāo)號502表示基準(zhǔn)圖像B。t’表示移動矢量。\n設(shè)3D建模對象圖像中的上述特征點的1個三維坐標(biāo)為M。如果假定與此M相對應(yīng)的對象圖像A的像素位置為m,基準(zhǔn)圖像B的像素位置為m’,則M通過求解下述式(2)、(3)的方式來求出。 \n[0068] m~P·M …(2) \n[0069] m’~P’·M …(3) \n[0070] (數(shù)學(xué)公式1) \n[0071] \n[0072] \n[0073] \n[0074] 另外,trans指轉(zhuǎn)置矩陣(transposed matrix),~指其兩邊在允許常數(shù)倍的差值的情況下相等。 \n[0075] 此外,P指對對象圖像A進(jìn)行攝影時的M的透射射影矩陣,其通過 [0076] P=C·(R|t) …(4) \n[0077] 表示。(R|t)為表示對對象圖像A進(jìn)行攝影的位置的參數(shù),R表示3×3的旋轉(zhuǎn)矩陣(rotation matrix),t表示3×1的移動矩陣。 \n[0078] 在本實施方式中,由于以對對象圖像A進(jìn)行攝影的位置為原點,故R為I,t為0(I為3×3的單位矩陣,0為3×1的零矩陣。)。 \n[0079] 同樣,P’為對基準(zhǔn)圖像B進(jìn)行攝影時的M的透視射影矩陣,其通過 [0080] P’=C·(R’|t’) …(5) \n[0081] 表示。(R’|t’)為表示對對象圖像B進(jìn)行攝影的位置的參數(shù),R’與上述R相同,表示3×3的旋轉(zhuǎn)矩陣,t’與上述t相同,表示3×1的移動矩陣。 \n[0082] 接著,旋轉(zhuǎn)矩陣R’采用來自角速度傳感器的信息。移動矩陣t’采用包括對來自上述加速度傳感器的加速度進(jìn)行2次積分處理而獲取的三維移動距離在內(nèi)的信息。 [0083] [C]為預(yù)先配備于數(shù)字照相機1中的內(nèi)部參數(shù),例如,為下述式(6)的3×3矩陣。 [0084] (數(shù)學(xué)公式2) \n[0085] \n[0086] 另外,在上述C中,f指焦距。另外,δu指拍攝元件的水平方向尺寸,δv指拍攝元件的垂直方向尺寸。 \n[0087] 于是,CPU201通過在對象圖像A的特征點的像素位置m和與其相對應(yīng)的基準(zhǔn)圖像B的點的像素位置m’求解上述式(2)、(3),來計算該特征點的三維坐標(biāo)M(步驟S403)。 [0088] 如果將上述式(2)、(3)展開,則 \n[0089] u=(p11·X+p12·Y+p13·Z+p14)/ \n[0090] (p31·X+p32·Y+p33·Z+p34) …(7) \n[0091] v=(p21·X+p22·Y+p23·Z+p14)/ \n[0092] (p31·X+p32·Y+p33·Z+p34) …(8) \n[0093] u’=(p’11·X+p’12·Y+p’13·Z+p’14)/ \n[0094] (p’31·X+p’32·Y+p’33·Z+p’34) …(9) \n[0095] v’=(p’21·X+p’22·Y+p’23·Z+p’14)/ \n[0096] (p’31·X+p’32·Y+p’33·Z+p’34) …(10) \n[0097] 這里,例如,p12表示已知的透視射影矩陣P的第1行第2列的要素,p’21表示已知透視射影矩陣P’的第2行第1列的要素。 \n[0098] 根據(jù)這樣獲取的特征點的三維坐標(biāo)成分[M],CPU201進(jìn)行用于構(gòu)成多面體來進(jìn)行\(zhòng)n3D顯示的多邊形化(步驟S404)。 \n[0099] 然后,返回到圖3的步驟S309的處理。接著,返回到開始步驟S301,在步驟S302,等待用戶下次按壓快門。 \n[0100] 如以上具體描述的那樣,按照實施方式1,如圖5所示的那樣,在3D建模模式中CPU201根據(jù)對對象圖像A進(jìn)行拍攝時的焦距f,對到被拍攝體的距離Z進(jìn)行概算。然后,CPU201根據(jù)該距離Z,計算用于確保所希望的精度的平行移動距離L。在對對象圖像A進(jìn)行拍攝后,CPU201在檢測到已計算出的平行移動距離L的數(shù)字照相機1的移動時,進(jìn)行基準(zhǔn)圖像B的拍攝。然后,CPU201根據(jù)已獲取的對象圖像A和基準(zhǔn)圖像B, 生成3D模型。 [0101] 通過如上述那樣構(gòu)成,用戶通過使數(shù)字照相機1平行移動,從而即使在不配備多個攝影裝置和特別的器材的情況下,仍可簡單地獲取精度高的3D模型。 [0102] 另外,在上述實施方式1中,檢測平行移動距離L的傳感器采用加速度傳感器,但是,即使采用GPS,也沒有關(guān)系。 \n[0103] 此外,在上述實施方式1中,通過CPU201,計算數(shù)字照相機1的平行移動距離L,但是,也可以由用戶通過手動方式來設(shè)定平行移動距離L。 \n[0104] (實施方式2) \n[0105] 實施方式2通過實時取景(live view)圖像A’上的特征點的移動量,檢測數(shù)字照相機1的移動量,進(jìn)行3D建模。下面參照圖6,對該實施方式2進(jìn)行說明。 [0106] 這里,預(yù)先確定用戶應(yīng)移動的距離,即,使顯示畫面上的多少像素量進(jìn)行移動。接著,首先對對象圖像A進(jìn)行拍攝,根據(jù)已拍攝的對象圖像A來檢測特征點,如果該特征點按照在顯示畫面上預(yù)先確定的像素數(shù)量而移動,則進(jìn)行基準(zhǔn)圖像B的拍攝。 [0107] 最好,對于上述像素數(shù)量,在攝影圖像上的像素中,抑制在橫向?qū)挾鹊臄?shù)%的程度的移動量。如果超過10%,則表觀的差異造成的對照的錯誤增加。例如,在攝影圖像的橫向?qū)挾葹?600像素的情況下,如果移動其6%,則所移動的像素數(shù)量為96像素。另外,如果實時取景(live view)圖像A’的橫向?qū)挾葹?50像素,則其6%的移動量為9像素。于是,上述預(yù)先確定的像素數(shù)量例如為9像素。該像素數(shù)值作為默認(rèn)值,存儲于閃存203中。 [0108] 在此情況下,如也通過實施方式1描述的那樣,如果上述坐標(biāo)的移動量大,則視差大,精度高。但是,另一方面,如果上述坐標(biāo)的移動量大,則在通過視線的不同(通過表觀的差異)進(jìn)行對象圖像A和基準(zhǔn)圖像B的對應(yīng)的點的對照時,產(chǎn)生錯誤的可能性增加。于是,在實施方式2中,用戶可適當(dāng)變更在3D建模模式的攝影之前,作為默認(rèn)值而存儲的特征點的移動量(像素數(shù)量的值)。該變更通過游標(biāo)鍵5和SET鍵6的操 作,在觀看顯示部4的同時而進(jìn)行。 \n[0109] 如果通過檢測用戶的3D建模模式鍵7的操作,選擇3D建模模式,則CPU201開始圖\n6所示的3D建模的處理(步驟S601)。首先,CPU201在該3D建模模式開始時,判斷是否檢測到記錄指示(步驟S602)。具體來說,CPU201判斷是否檢測到用戶的快門鍵9的按壓操作,在沒有檢測到按壓操作的情況下(步驟S602:否),則進(jìn)行等待,直至檢測到。接著,在檢測到通過用戶而按壓快門鍵9,即,檢測到對象圖像A的記錄指示的情況下(步驟S602:\n是),CPU201對對象圖像A進(jìn)行拍攝(步驟S604)。然后,CPU201根據(jù)已拍攝的對象圖像A,通過Harris角點檢測等的已有的方法,獲取多個特征點。接著,CPU201將該圖像和特征點的坐標(biāo)臨時存儲于工作存儲器204中(步驟S605)。 \n[0110] 接著,如果用戶使數(shù)字照相機1平行移動,則CPU201根據(jù)按照規(guī)定的周期所拍攝的實時取景圖像A’,檢測與已臨時存儲的多個特征點相對應(yīng)的特征點。然后,獲取已檢測的實時取景圖像A’的多個特征點的顯示畫面上的坐標(biāo)(步驟S606)。之后,CPU201將這些坐標(biāo)與上述臨時存儲的對象圖像A的特征點的坐標(biāo)相比較,根據(jù)已比較的坐標(biāo)的差,判斷特征點的移動量是否到達(dá)上述已存儲的像素值(移動量)(步驟S607)。然后,CPU201反復(fù)進(jìn)行上述處理(步驟S606、S607),直至到達(dá)上述已存儲的像素數(shù)量的移動量。這里,對于多個特征點,在移動量不同時,既可采用實時取景圖像A’的中心附近的特征點的移動量,也可采用移動量最大的特征點的移動量。另外,也可從根據(jù)對象圖像A檢測到的特征點中,選擇任意的特征點,采用與該已選擇的特征點相對應(yīng)的特征點的移動量。 \n[0111] 如果CPU201判斷為上述對象圖像A的特征點的坐標(biāo)與實時取景(live view)圖像A’的特征點的坐標(biāo)之間的差達(dá)到上述已存儲的像素數(shù)量(步驟S607:是),則CPU201將該實時取景(live view)圖像A’的正式圖像作為基準(zhǔn)圖像B而記錄(步驟S608),通過警報而將攝影結(jié)束通知給用戶(步驟S609)。 \n[0112] 然后,CPU201通過如上述那樣獲取的對象圖像A和基準(zhǔn)圖像B的2 個圖像,進(jìn)行\(zhòng)n3D建模。 \n[0113] 對此,參照圖7進(jìn)行說明。CPU201根據(jù)上述2個圖像,分別求出8點以上的對應(yīng)點,求出基礎(chǔ)矩陣F(fundamental matrix)。3×3的基礎(chǔ)矩陣F給出2個圖像的約束條件,通過下述式(11)給出。 \n[0114] trans(m’)·F·m=0 …(11) \n[0115] 這里,m表示對象圖像A的像素位置,m’表示基準(zhǔn)圖像B的像素位置。另外,trans()表示轉(zhuǎn)置(transpose)。 \n[0116] 此外,F(xiàn)通過下述式(12)表示。 \n[0117] F=trans(inv(C))··R·inv(C) …(12) \n[0118] 這里,inv()表示逆矩陣,<>表示斜對稱矩陣(skew symmetricmatrix)。內(nèi)部參數(shù)C為預(yù)先配備的值。由此,可求出旋轉(zhuǎn)矩陣R和移動矢量t的方向(步驟S701)。 [0119] 之后,可與圖4所示的順序相同,進(jìn)行3D建模(步驟S702~S704)。 [0120] 如以上具體描述的那樣,按照實施方式2,首先,如果CPU201對對象圖像A進(jìn)行拍攝,根據(jù)已拍攝的對象圖像A來檢測特征點。接著,根據(jù)已檢測的特征點的實時取景(live view)圖像A’上的移動量,推算數(shù)字照相機1的移動量。接著,在該平行移動量達(dá)到所希望的平行移動量時,可自動地對基準(zhǔn)圖像B進(jìn)行拍攝。由此,即使在沒有設(shè)置用于檢測移動量的傳感器的情況下,仍可獲取精度高的3D模型。 \n[0121] (實施方式3) \n[0122] 圖8為說明本發(fā)明的實施方式3的3D建模方法的流程圖。 \n[0123] 圖8的流程圖不同于圖6的流程圖的方面在于,在存在以數(shù)字照相機1的光軸(圖\n5的Z軸)以外的軸為基準(zhǔn)的旋轉(zhuǎn)動作的情況下,限制拍攝動作。即,CPU201在產(chǎn)生了以圖\n5的X、Y軸為基準(zhǔn)的旋轉(zhuǎn)的情況下,不視為使數(shù)字照相機1平行移動。即,CPU201在旋轉(zhuǎn)為規(guī)定的閾值以上的情況下,由于光軸不基本保持平行,故無法獲取基準(zhǔn)圖像B。由此,可對數(shù)字照相機1的平行移動是否到達(dá)規(guī)定的距離的情況進(jìn)行更正確的判斷。于是,可進(jìn)一步提高3D建模的精度。 \n[0124] 接著,與圖6相比較,對在圖8中追加的步驟S621的處理進(jìn)行說明。 [0125] CPU201從實時取景(live view)圖像A’中提取特征點,按照上述的順序,推算基礎(chǔ)矩陣F。數(shù)字照相機1的內(nèi)部參數(shù)C事先求出。 \n[0126] (數(shù)學(xué)公式3) \n[0127] \n[0128] 這里,f表示數(shù)字照相機1的焦距,cx、cy表示數(shù)字照相機1的光軸的中心位置的圖像坐標(biāo)上的位置。于是,基本矩陣E(essential matrix)通過下述式(14)求出。 [0129] E=trans(C)·F·C …(14) \n[0130] 這里,trans()表示轉(zhuǎn)置。通過下述的公式(15)表示的照相機移動的并進(jìn)矢量t作為trans(E)·E的最小固有值的固有矢量(eigenvector)而求出。其中,對于t,程度(scale)和符號是不定的,但是,通過在數(shù)字照相機1的前方有被拍攝體存在這樣的制約,可求出t的符號。 \n[0131] 于是,求出-t和E的向量積,按照下述的公式(15),對該向量積進(jìn)行奇異值分解(singular value decomposition)。 \n[0132] V·S·U=svd(cross(-t,E)) …(15) \n[0133] 這里,cross表示向量積,svd表示奇異值分解。 \n[0134] 其中,旋轉(zhuǎn)矩陣R通過下述公式(16)來求出。 \n[0135] R=V·diag(1,1,det(V·U))·U …(16) \n[0136] 這里,det表示行列式,diag表示對角矩陣(diagonal matrix)。 [0137] 由于旋轉(zhuǎn)矩陣R包括X、Y、Z軸的旋轉(zhuǎn),故對它們進(jìn)行分解。在旋轉(zhuǎn)角小的情況下,在設(shè) \n[0138] (數(shù)學(xué)公式4) \n[0139] \n[0140] 時,有 \n[0141] θy=arcsin(r02) …(18) \n[0142] θx=arctan(-r12/r22) …(19) \n[0143] 在步驟S621中,CPU201進(jìn)行這些θy、θx是否為規(guī)定的閾值θ以下的判斷。 [0144] 如果如上述那樣,采用實施方式3,則相對實施方式2,追加進(jìn)行上述步驟S621的處理,由此,在旋轉(zhuǎn)為規(guī)定的閾值以上的情況下,由于光軸基本不保持平行,故無法獲取基準(zhǔn)圖像B。由此,可對數(shù)字照相機1的平行移動是否達(dá)到規(guī)定的距離的情況更正確地進(jìn)行判斷。于是,可進(jìn)一步提高3D建模的精度。 \n[0145] (變形例) \n[0146] (1)在上述實施方式1~3中,雖然是用戶使數(shù)字照相機1平行地移動,但是,也可將數(shù)字照相機1固定在架子上,將平行地移動的機構(gòu)設(shè)置在該架子上。由此,用戶不必使數(shù)字照相機1平行移動。另外,可防止使數(shù)字照相機1增加旋轉(zhuǎn)的情況。 \n[0147] 這種機構(gòu)可通過采用周知的橫動(traverse)機構(gòu)而實施。 \n[0148] (2)另外,在上述各實施方式中,使數(shù)字照相機1的整體平行移動,但是,也可將使光學(xué)系統(tǒng)2本身平行地移動的機構(gòu)設(shè)置于數(shù)字照相機1上。由此,用戶不必使照相機平行移動,另外,即使在將照相機固定于三腳架或架子上的狀態(tài)下,仍可進(jìn)行攝影。 [0149] (3)此外,在上述各實施方式中,在數(shù)字照相機1中,進(jìn)行3D建模,但是,數(shù)字照相機1也可僅僅進(jìn)行對象圖像A和基準(zhǔn)圖像B的攝影和記錄,并將這些已記錄的數(shù)據(jù)發(fā)送給個人計算機,進(jìn)行3D建模處理。
法律信息
- 2014-02-05
- 2011-02-02
實質(zhì)審查的生效
IPC(主分類): H04N 5/232
專利申請?zhí)? 201010229252.3
申請日: 2010.03.30
- 2010-12-15
引用專利(該專利引用了哪些專利)
序號 | 公開(公告)號 | 公開(公告)日 | 申請日 | 專利名稱 | 申請人 |
1
| |
2008-05-07
|
2006-12-30
| | |
2
| | 暫無 |
2001-12-24
| | |
被引用專利(該專利被哪些專利引用)
序號 | 公開(公告)號 | 公開(公告)日 | 申請日 | 專利名稱 | 申請人 | 該專利沒有被任何外部專利所引用! |