基礎(chǔ)信息
權(quán)利要求
說(shuō)明書(shū)
PDF全文
法律信息
引證文獻(xiàn)
著錄項(xiàng)信息
專(zhuān)利名稱(chēng) | 分布式視頻點(diǎn)播系統(tǒng)及其實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和訪問(wèn)的方法 |
申請(qǐng)?zhí)?/td> | CN02136350.1 | 申請(qǐng)日期 | 2002-07-30 |
法律狀態(tài) | 權(quán)利終止 | 申報(bào)國(guó)家 | 中國(guó) |
公開(kāi)/公告日 | 2004-02-04 | 公開(kāi)/公告號(hào) | CN1472963 |
優(yōu)先權(quán) | 暫無(wú) | 優(yōu)先權(quán)號(hào) | 暫無(wú) |
主分類(lèi)號(hào) | 暫無(wú) | IPC分類(lèi)號(hào) | 暫無(wú)查看分類(lèi)表>
|
申請(qǐng)人 | 深圳市中興通訊股份有限公司 | 申請(qǐng)人地址 | 深圳市南山區(qū)高新技術(shù)產(chǎn)業(yè)園科技南路中興通訊大廈法律部
變更
專(zhuān)利地址、主體等相關(guān)變化,請(qǐng)及時(shí)變更,防止失效 |
權(quán)利人 | 中興通訊股份有限公司 | 當(dāng)前權(quán)利人 | 中興通訊股份有限公司 |
發(fā)明人 | 夏建洲,劉湘宇,王華,王懌忻,張建強(qiáng),李加周,李喜欣,溫央央 |
代理機(jī)構(gòu) | 暫無(wú) | 代理人 | 暫無(wú) |
摘要
本發(fā)明公開(kāi)了一種分布式視頻點(diǎn)播系統(tǒng)及其實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和訪問(wèn)的方法,所述的存儲(chǔ)方法包括以下步驟:數(shù)據(jù)存儲(chǔ)的方法包括以下步驟:對(duì)數(shù)據(jù)文件按設(shè)定的方式進(jìn)行數(shù)據(jù)分塊,對(duì)設(shè)定數(shù)目的數(shù)據(jù)塊計(jì)算形成校驗(yàn)數(shù)據(jù)塊,將所述數(shù)據(jù)塊和校驗(yàn)數(shù)據(jù)塊按設(shè)定的方式輪流存儲(chǔ)到設(shè)定的多個(gè)緩沖服務(wù)器中,在所述每一個(gè)緩沖服務(wù)器中生成相應(yīng)的數(shù)據(jù)塊存儲(chǔ)的索引信息。采用本發(fā)明的技術(shù)方案,達(dá)到了提高存儲(chǔ)效率的效果,節(jié)省了大量的存儲(chǔ)空間,同時(shí)由于數(shù)據(jù)采用分布式存儲(chǔ),數(shù)據(jù)文件在多個(gè)緩沖服務(wù)器間分布,提高了數(shù)據(jù)的安全性,另一方面由于采用了優(yōu)選的數(shù)據(jù)冗余校驗(yàn)的方法,提高數(shù)據(jù)分布的可靠性。
1、一種分布式視頻點(diǎn)播系統(tǒng)中實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的方法,其特征在 于數(shù)據(jù)存儲(chǔ)的方法包括以下步驟:
A.對(duì)數(shù)據(jù)文件按設(shè)定的方式進(jìn)行數(shù)據(jù)分塊;
B.對(duì)設(shè)定數(shù)目的數(shù)據(jù)塊計(jì)算形成校驗(yàn)數(shù)據(jù)塊;
C.將所述數(shù)據(jù)塊和校驗(yàn)數(shù)據(jù)塊按設(shè)定的方式輪流存儲(chǔ)到設(shè)定的多個(gè) 緩沖服務(wù)器中;
D.在所述每一個(gè)緩沖服務(wù)器中生成相應(yīng)的數(shù)據(jù)塊存儲(chǔ)的索引信息。
2、一種分布式視頻點(diǎn)播系統(tǒng)中實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)的方法,其特征在于數(shù) 據(jù)訪問(wèn)的方法包括以下步驟:
a.客戶(hù)端與服務(wù)器建立連接;
b.客戶(hù)端從索引服務(wù)器中讀取要訪問(wèn)的數(shù)據(jù)文件對(duì)應(yīng)的索引信息;
c.按照索引信息在相應(yīng)的多個(gè)緩沖服務(wù)器中讀取數(shù)據(jù)塊;
d.對(duì)已讀取達(dá)到組密度的數(shù)據(jù)塊組進(jìn)行去校驗(yàn);
e.客戶(hù)端對(duì)讀取的數(shù)據(jù)塊進(jìn)行重組,恢復(fù)數(shù)據(jù)文件。
3、根據(jù)權(quán)利要求1所述的存儲(chǔ)方法,其特征在于對(duì)數(shù)據(jù)文件進(jìn) 行均勻的數(shù)據(jù)分塊。
4、根據(jù)權(quán)利要求1所述的存儲(chǔ)方法,其特征在于所述每個(gè)數(shù)據(jù) 塊組中,任一數(shù)據(jù)塊可以通過(guò)校驗(yàn)數(shù)據(jù)塊和其他數(shù)據(jù)塊恢復(fù)。
5、根據(jù)權(quán)利要求1所述的存儲(chǔ)方法,其特征在于其中對(duì)設(shè)定數(shù) 目的數(shù)據(jù)塊計(jì)算形成校驗(yàn)數(shù)據(jù)塊的步驟中,還包括以下步驟:
B.1.判斷包含文件最后一個(gè)數(shù)據(jù)塊的數(shù)據(jù)組的數(shù)量,是否達(dá)到設(shè) 定的數(shù)目,若達(dá)到,計(jì)算形成校驗(yàn)數(shù)據(jù)塊;
B.2.若沒(méi)有達(dá)到,填充數(shù)量不足的數(shù)據(jù)塊,然后計(jì)算形成校驗(yàn)數(shù) 據(jù)塊。
6、根據(jù)權(quán)利要求1所述的存儲(chǔ)方法,其特征在于其中將所述數(shù) 據(jù)塊按設(shè)定的方式輪流存儲(chǔ)到多個(gè)服務(wù)器中步驟中,還包括以下步 驟:
C.1.設(shè)定分布存儲(chǔ)緩沖服務(wù)器的數(shù)量和名稱(chēng);
C.2.確定初始存儲(chǔ)緩沖服務(wù)器。
7、根據(jù)權(quán)利要求1所述的存儲(chǔ)方法,其特征在于數(shù)據(jù)塊組中的 校驗(yàn)數(shù)據(jù)塊存儲(chǔ)位置是動(dòng)態(tài)的。
8、根據(jù)權(quán)利要求1所述的存儲(chǔ)方法,其特征在于其中在所述每 一個(gè)緩沖服務(wù)器中生成相應(yīng)的數(shù)據(jù)存儲(chǔ)的索引信息的步驟中,索引信 息包括以下內(nèi)容:所存儲(chǔ)的數(shù)據(jù)塊對(duì)應(yīng)的文件名;
所存儲(chǔ)的數(shù)據(jù)塊序號(hào);
所存儲(chǔ)數(shù)據(jù)塊的相鄰數(shù)據(jù)塊存儲(chǔ)的服務(wù)器名稱(chēng);
所存儲(chǔ)的數(shù)據(jù)塊在服務(wù)器中的存儲(chǔ)地址。
9、根據(jù)權(quán)利要求2所述的數(shù)據(jù)訪問(wèn)方法,其特征在于其中按照索 引信息在相應(yīng)的多個(gè)服務(wù)器中讀取數(shù)據(jù)塊的步驟中還包括以下步驟:
c.1.連接起始服務(wù)器;
c.2.按索引信息讀取文件對(duì)應(yīng)的數(shù)據(jù)塊;
c.3.判斷所讀取的數(shù)據(jù)塊數(shù)量是否等于組密度,若否,執(zhí)行下一 步,若是,執(zhí)行客戶(hù)端對(duì)讀取的數(shù)據(jù)塊進(jìn)行重組,還原數(shù)據(jù)文件的步 驟;
c.4.連接下一個(gè)服務(wù)器,繼續(xù)讀取數(shù)據(jù)塊,執(zhí)行步驟c.2。
10、分布式視頻點(diǎn)播系統(tǒng),包括若干個(gè)視頻客戶(hù)端,若干個(gè)存貯視頻 數(shù)據(jù)文件的緩沖服務(wù)器和索引服務(wù)器,所述客戶(hù)端和服務(wù)器通過(guò)通信 網(wǎng)絡(luò)進(jìn)行連接和通訊,其特征在于:
客戶(hù)端向索引服務(wù)器發(fā)出文件請(qǐng)求,對(duì)從緩沖服務(wù)器讀取的數(shù)據(jù)塊重 組;索引服務(wù)器,控制數(shù)據(jù)文件按設(shè)定方式被劃分成數(shù)據(jù)塊,對(duì)設(shè)定 數(shù)目的數(shù)據(jù)塊計(jì)算形成校驗(yàn)數(shù)據(jù)塊,控制所述數(shù)據(jù)塊和校驗(yàn)數(shù)據(jù)塊按 設(shè)定的方式分別輪流存儲(chǔ)到多個(gè)數(shù)據(jù)塊存儲(chǔ)服務(wù)器;
緩沖服務(wù)器,記錄數(shù)據(jù)塊存儲(chǔ)的索引信息,并存儲(chǔ)數(shù)據(jù)塊。
技術(shù)領(lǐng)域\n發(fā)明涉及分布式視頻點(diǎn)播系統(tǒng),尤其涉及數(shù)據(jù)的存儲(chǔ)和訪問(wèn)。\n背景技術(shù)\n數(shù)據(jù)存儲(chǔ)是視頻點(diǎn)播系統(tǒng)中涉及的一種關(guān)鍵技術(shù)。在分布式視頻點(diǎn)播系 統(tǒng)中,對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)有很特殊的要求。由于視頻點(diǎn)播系統(tǒng)中對(duì)數(shù)據(jù)存儲(chǔ)空 間的需求非常大,因此,在分布式視頻點(diǎn)播系統(tǒng)中,如何提高存儲(chǔ)空間的利 用率就成為一個(gè)很困難的問(wèn)題。\n在常規(guī)的分布式視頻點(diǎn)播系統(tǒng)中,如采用美國(guó)專(zhuān)利56491%(Di由場(chǎng) 時(shí)記。tora,mana沙ment?sys扭.having?a?cache?server?a.d?me比 記偽e掛fer)中描述的方法,所述分布式方法是基于一種地理區(qū)域上的 劃分,為了讓所有的視頻服務(wù)器共享某個(gè)或某些需要緩沖的數(shù)據(jù)流,就必須 將數(shù)據(jù)復(fù)制到所有的緩沖服務(wù)器,這意味著數(shù)據(jù)在整個(gè)分布式視頻點(diǎn)播系統(tǒng) 中存在多個(gè)拷貝,因此數(shù)據(jù)存儲(chǔ)空間的占用很大,整個(gè)分布式視頻點(diǎn)播系統(tǒng) 的數(shù)據(jù)存儲(chǔ)空間利用率很低。此外由于數(shù)據(jù)的完整拷貝在多個(gè)服務(wù)器上存 在,大大地降低了數(shù)據(jù)的安全性,增加了數(shù)據(jù)被黑客等入侵者竊取的可能性。\n發(fā)明內(nèi)容\n本發(fā)明所要解決的技術(shù)問(wèn)題是為了克服現(xiàn)有的分布式視頻點(diǎn)播系統(tǒng)中數(shù) 據(jù)流需要在分布的緩沖服務(wù)器多次拷貝而造成存儲(chǔ)空間利用率低的缺點(diǎn)。實(shí) 現(xiàn)本發(fā)明所要解決的技術(shù)問(wèn)題而采取的技術(shù)方案概括如下:一方面,提出分 布式視頻點(diǎn)播系統(tǒng)中實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和訪問(wèn)的方法,其特征在于數(shù)據(jù)存儲(chǔ)的方 法包括以下步驟:\nA.對(duì)數(shù)據(jù)文件按設(shè)定的方式進(jìn)行數(shù)據(jù)分塊;\nB.對(duì)設(shè)定數(shù)目的數(shù)據(jù)塊計(jì)算形成校驗(yàn)數(shù)據(jù)塊;\nC.將所述數(shù)據(jù)塊和校驗(yàn)數(shù)據(jù)塊按設(shè)定的方式輪流存儲(chǔ)到設(shè)定的多個(gè)緩沖服 務(wù)器中;\nD.在所述每一個(gè)緩沖服務(wù)器中生成相應(yīng)的數(shù)據(jù)塊存儲(chǔ)的索引信息。數(shù)據(jù)訪 問(wèn)的方法包括以下步驟:\na.客戶(hù)端與服務(wù)器建立連接;\nb.客戶(hù)端從索引服務(wù)器中讀取要訪問(wèn)的數(shù)據(jù)文件對(duì)應(yīng)的索引信息:c.按 照索引信息在相應(yīng)的多個(gè)緩沖服務(wù)器中讀取數(shù)據(jù)塊;\nd.對(duì)已讀取達(dá)到組密度的數(shù)據(jù)塊組進(jìn)行去校驗(yàn);\ne.客戶(hù)端對(duì)讀取的數(shù)據(jù)塊進(jìn)行重組,恢復(fù)數(shù)據(jù)文件。\n另一方面,提出一種分布式視頻點(diǎn)播系統(tǒng),包括若干個(gè)視頻客戶(hù)端,若干個(gè) 存貯數(shù)據(jù)文件的緩沖服務(wù)器和索引服務(wù)器,所述客戶(hù)端和服務(wù)器通過(guò)通信網(wǎng) 絡(luò)進(jìn)行連接和通訊,其特征在于:\n客戶(hù)端向索引服務(wù)器發(fā)出視頻文件請(qǐng)求,對(duì)從緩沖服務(wù)器讀取的數(shù)據(jù)塊重 組;\n索引服務(wù)器,控制數(shù)據(jù)文件按設(shè)定方式被劃分成數(shù)據(jù)塊,對(duì)設(shè)定數(shù)目的數(shù)據(jù) 塊計(jì)算形成校驗(yàn)數(shù)據(jù)塊,控制所述數(shù)據(jù)塊和校驗(yàn)數(shù)據(jù)塊按設(shè)定的方式分別輪 流存儲(chǔ)到多個(gè)數(shù)據(jù)塊存儲(chǔ)服務(wù)器;\n緩沖服務(wù)器,記錄數(shù)據(jù)塊存儲(chǔ)的索引信息,并存儲(chǔ)數(shù)據(jù)塊。\n采用本發(fā)明技術(shù)方案,與現(xiàn)有技術(shù)相比,取得了系統(tǒng)數(shù)據(jù)存儲(chǔ)和訪問(wèn)方法上 的進(jìn)步,達(dá)到了提高存儲(chǔ)效率的效果,節(jié)省了大量的存儲(chǔ)空間。同時(shí)由于數(shù) 據(jù)采用分布式存儲(chǔ),數(shù)據(jù)文件在多個(gè)緩沖服務(wù)器間分布,因此非法入侵者(如 黑客),即使攻破了某個(gè)或某幾個(gè)服務(wù)器,也無(wú)法獲取完整的文件數(shù)據(jù),因 此,采取本發(fā)明的技術(shù)方案提高了數(shù)據(jù)的安全性;另一方面由于采用了優(yōu)選 的數(shù)據(jù)冗余校驗(yàn)的方法,即使某一個(gè)緩沖服務(wù)器出現(xiàn)異常,通過(guò)其他的緩沖 服務(wù)器中存儲(chǔ)的文件數(shù)據(jù)塊也可以將受損的數(shù)據(jù)塊恢復(fù)出來(lái),從而實(shí)現(xiàn)對(duì)數(shù) 據(jù)文件的重組和恢復(fù),提高數(shù)據(jù)分布的可靠性。\n附圖說(shuō)明\n圖1是本發(fā)明提供的分布式視頻點(diǎn)播系統(tǒng)的一個(gè)實(shí)施例;圖2是圖1示出 的系統(tǒng)的主索引信息表的數(shù)據(jù)結(jié)構(gòu):圖3是圖1示出的系統(tǒng)的二級(jí)索引信 息的數(shù)據(jù)結(jié)構(gòu);圖4是圖1示出的系統(tǒng)的對(duì)數(shù)據(jù)文件的存儲(chǔ)流程圖;圖5是 圖4中分塊后校驗(yàn)數(shù)據(jù)的生成方法流程圖;圖6是圖4中分布存儲(chǔ)處理的 流程圖;\n圖7是圖1示出的系統(tǒng)中對(duì)數(shù)據(jù)進(jìn)行訪問(wèn)的流程圖。\n具體實(shí)施方式\n下面將結(jié)合附圖,舉例說(shuō)明本發(fā)明的一個(gè)實(shí)施的方式.\n圖1是本發(fā)明提供的分布式視頻點(diǎn)播系統(tǒng)的一個(gè)實(shí)施例。在下面的描述 中,假設(shè)視頻點(diǎn)播系統(tǒng)客戶(hù)端10通過(guò)通信網(wǎng)絡(luò)20從索引服務(wù)器50發(fā)出 數(shù)據(jù)請(qǐng)求,數(shù)據(jù)文件均勻存儲(chǔ)在N(N為自然數(shù))個(gè)二級(jí)服務(wù)器60上(本 實(shí)施例基于兩級(jí)結(jié)構(gòu),故將緩沖服務(wù)器稱(chēng)為二級(jí)服務(wù)器)。用戶(hù)的請(qǐng)求首先 在索引服務(wù)器50處被處理,查找請(qǐng)求的數(shù)據(jù)在N個(gè)二級(jí)服務(wù)器60中的分 布情況,然后由多個(gè)二級(jí)服務(wù)器60將請(qǐng)求的數(shù)據(jù)通過(guò)通信網(wǎng)絡(luò)加發(fā)送到用 戶(hù)端10,用戶(hù)端10完成數(shù)據(jù)的重新組合過(guò)程。\n索引服務(wù)器50保存有多個(gè)目錄表格。對(duì)每個(gè)數(shù)據(jù)文件都生成一個(gè)記錄。 每當(dāng)有數(shù)據(jù)文件被分布式存儲(chǔ)一次,都生成一個(gè)對(duì)應(yīng)的主索引信息30,主 索引信息是一個(gè)由多行數(shù)據(jù)形成的表格,稱(chēng)為主索引數(shù)據(jù)表200,主索引 數(shù)據(jù)表如圖2所示。對(duì)于分布在各個(gè)服務(wù)器上的數(shù)據(jù),在二級(jí)服務(wù)器上對(duì) 應(yīng)有二級(jí)索引數(shù)據(jù)表40。二級(jí)索引數(shù)據(jù)表如圖3所示。\n主索引數(shù)據(jù)表200包含的數(shù)據(jù)記錄有:數(shù)據(jù)文件名,用來(lái)表示數(shù)據(jù)分布 情況的分布度;分布存儲(chǔ)的第一個(gè)二級(jí)服務(wù)器標(biāo)識(shí)-初始服務(wù)器;用于標(biāo) 識(shí)一個(gè)塊組中設(shè)定數(shù)據(jù)塊數(shù)目的組密度;存儲(chǔ)數(shù)據(jù)的二級(jí)服務(wù)器名序列。如 果客戶(hù)端10需要請(qǐng)求某個(gè)數(shù)據(jù)文件,則通過(guò)連接索引服務(wù)器50獲取主索 引30,讀取屬于該請(qǐng)求文件的主索引數(shù)據(jù)表200,從中獲得文件的分布信 息、初始二級(jí)服務(wù)器、組密度和服務(wù)器名序列。\n獲取了主索引信息后,客戶(hù)端10將與在主索引數(shù)據(jù)表200中服務(wù)器名 序列中的二級(jí)服務(wù)器一一建立連接,利用二級(jí)索引數(shù)據(jù)表210提供的檢索 信息請(qǐng)求數(shù)據(jù),連接從第一個(gè)二級(jí)服務(wù)器一一初始服務(wù)器開(kāi)始,直到最后一 份數(shù)據(jù)塊讀完,整個(gè)過(guò)程結(jié)束。\n二級(jí)索引數(shù)據(jù)表210中包含第一個(gè)記錄是數(shù)據(jù)文件名,數(shù)據(jù)文件名是和主 索引數(shù)據(jù)表中的數(shù)據(jù)文件名字段相關(guān)聯(lián)的,第二個(gè)記錄是數(shù)據(jù)塊的序號(hào),用 來(lái)標(biāo)示數(shù)據(jù)塊在源文件中的位置,第三個(gè)記錄是前一個(gè)服務(wù)器,第四個(gè)記錄 是后一個(gè)服務(wù)器,這兩個(gè)記錄指示了相鄰的數(shù)據(jù)塊的存儲(chǔ)位置,最后一個(gè)記 錄是數(shù)據(jù)塊的存儲(chǔ)地址,存儲(chǔ)地址包含了數(shù)據(jù)塊在外存儲(chǔ)器70中的存儲(chǔ)位 置。\n圖4是圖1示出的系統(tǒng)的對(duì)數(shù)據(jù)文件的存儲(chǔ)流程圖。在進(jìn)行數(shù)據(jù)文件 的存儲(chǔ)時(shí),首先執(zhí)行由索引服務(wù)器讀取文件進(jìn)行分析的步驟300,然后執(zhí) 行根據(jù)文件分塊的參數(shù)對(duì)文件進(jìn)行分塊的步驟310,在該步驟中,數(shù)據(jù)塊 的大小可以具體設(shè)定,各數(shù)據(jù)塊之間可以是大小相等,也可以不等,在本實(shí) 施例中,各數(shù)據(jù)塊的大小是相等的,即采用均勻分塊的方式;分塊完成后將 設(shè)定數(shù)量的數(shù)據(jù)塊形成數(shù)據(jù)塊組,執(zhí)行對(duì)每個(gè)塊組計(jì)算形成校驗(yàn)數(shù)據(jù)塊的步 驟320,然后\n將校驗(yàn)數(shù)據(jù)作為塊組數(shù)據(jù)之一放入數(shù)據(jù)塊組中,形成新的數(shù)據(jù)塊組,最 后執(zhí)行將所有的數(shù)據(jù)塊進(jìn)行分布式輪流存儲(chǔ)到指定的N個(gè)二級(jí)服務(wù)器的外 存70中的步驟330。\n圖5是圖4中分塊后校驗(yàn)數(shù)據(jù)的生成方法流程圖,在已設(shè)定好數(shù)據(jù)塊 大小和塊組中的塊數(shù)目(即組密度)后,主要步驟如下:\n1、讀取指定數(shù)據(jù)塊數(shù)據(jù)的步驟400;\n2、判斷是否達(dá)到了最后一個(gè)數(shù)據(jù)塊的步驟410,如果達(dá)到最后一塊轉(zhuǎn)到 步驟426處理,否則,執(zhí)行步驟420,即判斷數(shù)據(jù)塊組指定的塊數(shù)目(組 密度)是否達(dá)到,如果沒(méi)有達(dá)到,則繼續(xù)讀取下一個(gè)數(shù)據(jù)塊,執(zhí)行步驟400, 否則表示已經(jīng)讀取了一個(gè)數(shù)據(jù)塊組,執(zhí)行步驟425;\n3、步驟425,對(duì)已讀取得數(shù)據(jù)塊組計(jì)算生成校驗(yàn)數(shù)據(jù)塊,然后繼續(xù)執(zhí)行 步驟400;\n4、步驟426,判斷數(shù)據(jù)塊組指定的塊數(shù)目(組密度)是否達(dá)到,若達(dá)到, 執(zhí)行步驟440,否則執(zhí)行步驟430;\n5、步驟430,對(duì)數(shù)量不足的數(shù)據(jù)塊部分填充數(shù)據(jù),以補(bǔ)充不足的數(shù)據(jù)塊, 補(bǔ)充數(shù)據(jù)塊形成塊組后,生成最后一個(gè)數(shù)據(jù)塊組;6、步驟440,對(duì)最后 一個(gè)數(shù)據(jù)塊組計(jì)算生成校驗(yàn)數(shù)據(jù)塊;7、步驟450,將所有的數(shù)據(jù)塊連同 校驗(yàn)數(shù)據(jù)塊進(jìn)行分布存儲(chǔ)處理,具體見(jiàn)圖6。\n在本實(shí)施例中,校驗(yàn)數(shù)據(jù)塊的計(jì)算生成方法很多,這里舉出幾個(gè)具體的例子, 假定組密度200d=M(M為自然數(shù)),相應(yīng)地各個(gè)塊組為D?1,Dz,...DM, 待生成的校驗(yàn)數(shù)據(jù)為P,可以采取如下幾種校驗(yàn)方法:\n(1)奇偶校驗(yàn)方法:又稱(chēng)為RAID方法,方法是,采用按位進(jìn)行二進(jìn)制 加法的方法,按照這種方法,P=D1田DZ.....DM.或P=一(D10DZ,..... 鞏),其中“.”表示“異或”運(yùn)算,“一”表示“非”運(yùn)算。假設(shè)塊組中 的鞏發(fā)生錯(cuò)誤,那么相應(yīng)地,對(duì)應(yīng)該校驗(yàn)的數(shù)據(jù)恢復(fù)方法是:幾=D1.幾.... 環(huán)一P.Dk+1...田DM.或Dk二·(DI.DZ。...Dk-loP田Dk+ 1...。DM).\n(2)模運(yùn)算方法:方法是,將塊組看成二進(jìn)制數(shù),假設(shè)每個(gè)塊的數(shù)二進(jìn) 制位數(shù)為K,將所有塊組數(shù)相加,并對(duì)ZAK取模,即:P==(D1+DZ+... +nM)mod?ZAK。假設(shè)塊組中的Dk發(fā)生錯(cuò)誤,那么對(duì)應(yīng)該校驗(yàn)的數(shù)據(jù)恢 復(fù)方法是:Dk=P+2嘆一(DI+DZ+...+Dk一1+D卜1...+DM) modZAK。\n(3)鏡像方法:該方法是對(duì)每個(gè)塊生成一個(gè)相同的數(shù)據(jù)拷貝塊,相當(dāng) 于在系統(tǒng)中生成兩個(gè)相同的分布式拷貝。\n方法還有很多,這里不再逐一舉例,所有的方法都必須滿(mǎn)足以下條件: 一般地,校驗(yàn)數(shù)據(jù)P的生成方法是:對(duì)數(shù)據(jù)D1,DZ,...,DM·對(duì)應(yīng)校 驗(yàn)生成函數(shù)f(·),滿(mǎn)足P二f(D,,DZ,...,DM),相應(yīng)地, 對(duì)于任意數(shù)據(jù)認(rèn),對(duì)應(yīng)一個(gè)校驗(yàn)數(shù)據(jù)恢復(fù)函數(shù)g(·),滿(mǎn)足Dk=g(D,, DZ,一Dk-1,P,D卜卜一DM),函數(shù)f(·)和g(·)可以 相同,也可以不同。\n圖6是圖4中分布存儲(chǔ)處理的流程圖,包括以下步驟:\n1.步驟500,設(shè)定分布參數(shù),即設(shè)定參與分布存儲(chǔ)的服務(wù)器數(shù)目及所 有的服務(wù)器名稱(chēng),生成主索引數(shù)據(jù)表200;\n2.步驟510,設(shè)定起始服務(wù)器,即確定第一個(gè)開(kāi)始存儲(chǔ)的服務(wù)器;\n3.步驟520,讀取數(shù)據(jù)塊組;\n4.步驟530,分布式存儲(chǔ)數(shù)據(jù)塊組及生成二級(jí)索引,即從起始服務(wù)器 開(kāi)始,存儲(chǔ)第一個(gè)數(shù)據(jù)塊,在該服務(wù)器上生成該塊的二級(jí)索引數(shù)據(jù)表信息 210;然后順次連接下一個(gè)服務(wù)器,存儲(chǔ)第二個(gè)數(shù)據(jù)塊,在該服務(wù)器上生成 該塊的二級(jí)索引數(shù)據(jù)表信息210,直到該塊組的所有數(shù)據(jù)塊分步存儲(chǔ)到服 務(wù)器上為止(包括對(duì)應(yīng)的校驗(yàn)數(shù)據(jù)塊);\n5.步驟540,判斷該塊組是否是最后一個(gè)塊組,如果不是,則重新設(shè) 定起始服務(wù)器,執(zhí)行步驟510,如果是,那么表示所有的數(shù)據(jù)塊組已經(jīng)分 布存儲(chǔ)完畢,分布式存儲(chǔ)結(jié)束;\n6、結(jié)束步驟550。 為了進(jìn)一步提高數(shù)據(jù)的可靠性和靈活性,校驗(yàn)數(shù)據(jù)可以在塊組中按照一定的 規(guī)則指定位置,如在固定位置或動(dòng)態(tài)位置,其中動(dòng)態(tài)位置存儲(chǔ)的可采用動(dòng)態(tài) 循環(huán)方法,如將校驗(yàn)數(shù)據(jù)在第一數(shù)據(jù)塊組中放在第一塊,第二數(shù)據(jù)塊組中放 在第二塊,,......當(dāng)校驗(yàn)數(shù)據(jù)塊所在位置達(dá)到組密度時(shí),又從第一塊開(kāi)始 循環(huán),可在實(shí)施過(guò)程中進(jìn)行選擇。\n圖7是圖1示出的系統(tǒng)中對(duì)數(shù)據(jù)進(jìn)行訪問(wèn)的流程圖,主要包括如下步驟:\n1.步驟610,客戶(hù)端10通過(guò)通信網(wǎng)絡(luò)20與索引服務(wù)器50進(jìn)行連接, 請(qǐng)求某個(gè)數(shù)據(jù)文件;\n2.步驟620,連接建立后,索引服務(wù)器通過(guò)請(qǐng)求查找主索引信息,獲 取主索引30,獲得標(biāo)識(shí)該請(qǐng)求數(shù)據(jù)文件索引數(shù)據(jù)表200,從200中提取 該文件的分布信息,包含文件名,分布度,初始服務(wù)器,組密度,服務(wù)器名 序列等信息;\n3.步驟630,連接起始服務(wù)器;\n4.步驟640,調(diào)用讀取二級(jí)索引信息過(guò)程,獲取二級(jí)索引40,取得 屬于該請(qǐng)求文件的二級(jí)索引數(shù)據(jù)表210,從210中獲得該數(shù)據(jù)塊在服務(wù)器 中的對(duì)應(yīng)文件名、數(shù)據(jù)塊號(hào)、上一個(gè)服務(wù)器、下一個(gè)服務(wù)器、存儲(chǔ)位置等信 息;\n5.步驟650,在外存70中讀取數(shù)據(jù)塊;\n6.步驟660,判斷讀取的數(shù)據(jù)塊數(shù)是否達(dá)到為該文件指定組密度值: (1)如果達(dá)到組密度值,那么執(zhí)行步驟680,即去校驗(yàn)和數(shù)據(jù)塊的重新 組合過(guò)程,去校驗(yàn)重組過(guò)程將原來(lái)進(jìn)行數(shù)據(jù)可靠性保證的冗余校驗(yàn)數(shù)據(jù)去 掉。繼續(xù)執(zhí)行步驟690;\n(2)如果沒(méi)有達(dá)到組密度值,執(zhí)行步驟670,即連接下一個(gè)服務(wù)器,然 后繼續(xù)執(zhí)行步驟640;\n7.步驟690,判斷數(shù)據(jù)塊號(hào),察看是否達(dá)到最后一個(gè)數(shù)據(jù)塊:(1) 若沒(méi)有達(dá)到,執(zhí)行步驟670,即連接下一個(gè)服務(wù)器,繼續(xù)執(zhí)行步驟640;\n(2)若已經(jīng)達(dá)到最后一個(gè)數(shù)據(jù)塊,那么整個(gè)數(shù)據(jù)檢索訪問(wèn)過(guò)程結(jié)束。\n盡管參照實(shí)施例對(duì)所公開(kāi)的涉及分布式視頻點(diǎn)播系統(tǒng)及其實(shí)現(xiàn)數(shù)據(jù)存 儲(chǔ)和訪問(wèn)的方法進(jìn)行了特別描述,本領(lǐng)域技術(shù)人員將能理解,在不偏離本發(fā) 明的范圍和精神的情況下,可以對(duì)它進(jìn)行形式和細(xì)節(jié)的種種顯而易見(jiàn)的修 改,如可自選數(shù)據(jù)校驗(yàn)方法和數(shù)據(jù)分布密度,同時(shí)可以將實(shí)施例中的服務(wù)器 分布的二級(jí)方式改為3級(jí)或多級(jí)方式,也可改為單級(jí),索引信息表也可自 行設(shè)計(jì),增加新字段等。因此,以上描述的實(shí)施例是說(shuō)明性的而不是限制性 的,在不脫離本發(fā)明的精神和范圍的情況下,所有的變化和修改都在本發(fā)明 的范圍之內(nèi)。
法律信息
- 2015-09-23
未繳年費(fèi)專(zhuān)利權(quán)終止
IPC(主分類(lèi)): H04N 7/173
專(zhuān)利號(hào): ZL 02136350.1
申請(qǐng)日: 2002.07.30
授權(quán)公告日: 2006.06.07
- 2006-06-07
- 2005-06-08
實(shí)質(zhì)審查的生效
實(shí)質(zhì)審查的生效
- 2004-02-04
引用專(zhuān)利(該專(zhuān)利引用了哪些專(zhuān)利)
序號(hào) | 公開(kāi)(公告)號(hào) | 公開(kāi)(公告)日 | 申請(qǐng)日 | 專(zhuān)利名稱(chēng) | 申請(qǐng)人 | 該專(zhuān)利沒(méi)有引用任何外部專(zhuān)利數(shù)據(jù)! |
被引用專(zhuān)利(該專(zhuān)利被哪些專(zhuān)利引用)
序號(hào) | 公開(kāi)(公告)號(hào) | 公開(kāi)(公告)日 | 申請(qǐng)日 | 專(zhuān)利名稱(chēng) | 申請(qǐng)人 | 1 | | 2011-03-31 | 2011-03-31 | | |
2 | | 2013-02-27 | 2013-02-27 | | |