廣西電視臺播出素材的近線存儲系統(tǒng)

廣西電視臺高標(biāo)清播出素材的近線存儲是縮編上載系統(tǒng)的子系統(tǒng)，其硬件主要由存儲遷移服務(wù)器和數(shù)據(jù)流磁帶庫組成，其軟件由縮編系統(tǒng)中的圖形化業(yè)務(wù)流程控制ESB和歸檔中心軟件組成。

該系統(tǒng)以一套NAS架構(gòu)的EMC存儲體為共用存儲核心，將其劃分為M、N、P、Q四個區(qū)域，通過10套高清上載服務(wù)器完成節(jié)目的編碼采集工作，形成的媒體文件碼流經(jīng)以太網(wǎng)存入存儲體的M、P區(qū)域，并通過存儲遷移服務(wù)器歸檔到近線存儲體——數(shù)據(jù)流磁庫，實現(xiàn)節(jié)目素材與重要數(shù)據(jù)長期保存的安全性、使用的高效性。

一、硬件結(jié)構(gòu)

    系統(tǒng)的存儲遷移服務(wù)器主要完成數(shù)據(jù)流磁帶庫與網(wǎng)絡(luò)間媒體文件的交互，由4臺工控機集群而成，結(jié)構(gòu)相對簡單。數(shù)據(jù)流磁帶庫是其核心部件，由Quantum的一套Scalar i500系列組成。Scalar i500 是一個智能庫存機平臺，采用模塊化設(shè)計與自動化技術(shù)相結(jié)合，在可擴展性、性能和可靠性方面都較理想，其體系結(jié)構(gòu)和管理技術(shù)設(shè)計使數(shù)據(jù)備份容易管理。

數(shù)據(jù)流磁帶庫機體由14U控制庫體和9U擴展庫體組成，共23U，225個磁帶槽位，每盒磁帶800G，總?cè)萘繛?80T，有效存儲空間為168T。

二、軟件結(jié)構(gòu)

1.ESB架構(gòu)

圖2  ESB圖形化流程定義示意圖

企業(yè)服務(wù)總線ESB系統(tǒng)（如圖2）負(fù)責(zé)完成系統(tǒng)間元數(shù)據(jù)等控制信息的通訊和交互。ESB主要由引擎服務(wù)器、監(jiān)控服務(wù)器和管理配置控制臺組成。為實現(xiàn)系統(tǒng)與其他業(yè)務(wù)系統(tǒng)的快速、多任務(wù)量的實際交互、兼顧流媒體傳輸和文件傳輸特點、實現(xiàn)全流程控制，系統(tǒng)引入媒資管理理念，將數(shù)據(jù)采集為兩類：一類是媒體數(shù)據(jù)，是數(shù)據(jù)量巨大的視音頻文件或其它媒體數(shù)據(jù)文件，為非結(jié)構(gòu)化數(shù)據(jù)。另一類是描述媒體數(shù)據(jù)的元數(shù)據(jù)，包括數(shù)據(jù)庫內(nèi)存儲的各類媒體數(shù)據(jù)的描述信息和屬性、視音頻數(shù)據(jù)的低碼流文件、關(guān)鍵幀數(shù)據(jù)等，為結(jié)構(gòu)化據(jù)，是實現(xiàn)媒體資產(chǎn)檢索、交互控制的重要數(shù)據(jù)。ESB提供流程組織調(diào)用服務(wù)，由存儲遷移服務(wù)器提供文件歸檔、交換服務(wù)。

ESB系統(tǒng)平臺主要有服務(wù)器引擎、流程配置、工作流監(jiān)控幾大部分。服務(wù)器引擎提供核心工作流引擎和對外接口功能。流程配置則是提供圖形化流程配置和直觀的流程監(jiān)控功能。工作流監(jiān)控用于監(jiān)控流程運行狀態(tài)。在實際應(yīng)用中，流程配置過程是十分復(fù)雜的，往往要經(jīng)過多次調(diào)試才能得到最佳的業(yè)務(wù)流程。本文所涉及的流程相對簡單，僅在縮編上載軟件中應(yīng)用“簽章”功能按鈕就可完成流程的發(fā)起，由ESB系統(tǒng)平臺完成任務(wù)流程驅(qū)動及監(jiān)控，由以下的歸檔軟件實施具體的業(yè)務(wù)運行。（如圖2）

2.歸檔中心軟件

歸檔中心軟件是縮編上載系統(tǒng)的一套對近線存儲設(shè)備進行管理的應(yīng)用軟件系統(tǒng)，主要負(fù)責(zé)視音頻及其他元數(shù)據(jù)文件的存儲與調(diào)度，把電視臺需要備份的素材妥善地保存起來，是其他應(yīng)用子系統(tǒng)的基礎(chǔ)平臺具有很高的可靠性、安全性和穩(wěn)定性。歸檔中心系統(tǒng)采用分級存儲架構(gòu)，整個歸檔系統(tǒng)劃分為在線、近線存儲區(qū)。數(shù)據(jù)流磁帶庫劃為近線存儲區(qū)。存儲區(qū)域由歸檔中心系統(tǒng)統(tǒng)一管理調(diào)用，共同完成數(shù)據(jù)對象的存儲、交換和維護任務(wù)。

它具有的功能包括：存儲任務(wù)調(diào)度及策略管理；執(zhí)行數(shù)據(jù)的遷移：歸檔/回遷、備份/恢復(fù)和刪除等操作；允許數(shù)據(jù)在歸檔遷移的同時建立相應(yīng)的鏡像備份，使系統(tǒng)數(shù)據(jù)更加可靠；存儲系統(tǒng)采用三級容錯：系統(tǒng)運行過程中，任意一級錯誤均有相應(yīng)的容錯機制，保證數(shù)據(jù)完整性、任務(wù)的連續(xù)性和可靠性；支持節(jié)目資料分段回調(diào)等。

軟件系統(tǒng)由兩個模塊組成：前臺監(jiān)控管理Monitor及后臺服務(wù)。

（1）前臺控制管理Monitor

前臺控制管理Monitor是歸檔中心管理控制臺監(jiān)控界面，是人機交互的中心——主要負(fù)責(zé)對整個歸檔中心的系統(tǒng)參數(shù)配置、系統(tǒng)資源配置及系統(tǒng)運行狀況的監(jiān)控和系統(tǒng)日志、歸檔任務(wù)、存儲對象及磁帶的簡單檢索等。

圖3 歸檔中心管理控制臺

歸檔中心管理控制臺如圖3所示，采用 Windows系統(tǒng)標(biāo)準(zhǔn)界面顯示，能夠完成如下功能：

監(jiān)控：監(jiān)視系統(tǒng)所有資源的運行狀況，包括括服務(wù)器、遷移器、帶庫、磁帶機、磁帶組、磁帶、存儲對象等的運行狀態(tài)，并且操作員可通過執(zhí)行相關(guān)操作對系統(tǒng)各個資源進行調(diào)度及控制，如進行人工干預(yù)，將某磁帶/磁帶機掛起等。

系統(tǒng)資源配置：配置遷移器、帶庫、磁帶機、磁帶及磁帶組等資源，分別對它們進行添加、刪除、屬性設(shè)置、狀態(tài)提示方式等，靈活方便。

系統(tǒng)參數(shù)設(shè)置：配置歸檔中心服務(wù)器IP/備用服務(wù)器IP、端口、并發(fā)任務(wù)數(shù)、自動彈帶時限、磁盤緩沖、磁帶緩沖等參數(shù)。

系統(tǒng)日志：系統(tǒng)日志包括四個方面：操作日志、運行日志、警告日志和錯誤日志，支持對日志的搜索和分頁顯示。

（2）后臺服務(wù)

后臺服務(wù)由三個可執(zhí)行服務(wù)器程序組成，各個模塊之間用TCP（傳輸控制協(xié)議）的方式通訊。三個可執(zhí)行服務(wù)分別是：

Manager(存儲管理服務(wù)器)：存儲管理服務(wù)是系統(tǒng)的核心，負(fù)責(zé)各個模塊之間的通訊、消息的傳輸及系統(tǒng)內(nèi)所有資源的分配調(diào)度。

Controller帶庫控制服務(wù)：帶庫控制服務(wù)（可執(zhí)行該服務(wù)的機器直接與帶庫物理連接）通過TCP/IP協(xié)議接 Manager轉(zhuǎn)發(fā)來的任務(wù)消息，實現(xiàn)對帶庫的控制，如：讀取帶庫狀態(tài)、槽位狀態(tài)等信息；控制機械手實現(xiàn)磁帶的加載、移動等。

Actor(遷移器服務(wù)器)：在所有的系統(tǒng)資源都具備以后，執(zhí)行數(shù)據(jù)的搬移：歸檔/回遷、備份/恢復(fù)和刪除等操作。

三、具體應(yīng)用與實現(xiàn)

1.節(jié)目素材的近線歸檔

如將節(jié)目“測試”上載并歸檔到近線，其過程是：由縮編系統(tǒng)的上載軟件如圖4領(lǐng)取節(jié)目單后進行采集，完成后將素材進行歸檔。由 ESB 系統(tǒng)平臺完成任務(wù)流程驅(qū)動及監(jiān)控，歸檔中心軟件完成素材文件的寫入控制。

圖4 縮編系統(tǒng)的上載界面

而此過程可在 ESB系統(tǒng)平臺中制定多個的流程：一是設(shè)定一個“水位”，待多個素材文件的大小值到達此水位后批量寫入帶庫，流程是：

這是兩步不同任務(wù)驅(qū)動，“素材屬性”中將素材設(shè)為“發(fā)布”，由 ESB即在完成節(jié)目采集后的系統(tǒng)平臺監(jiān)控存儲空間，達到設(shè)定值后形成歸檔任務(wù)，交由歸檔中心軟件自動執(zhí)行素材文件寫入數(shù)據(jù)流磁帶庫的操作。

二是利用上載軟件的“簽章”功能鍵生成驅(qū)動流程，由ESB互聯(lián)平臺自動完成任務(wù)驅(qū)動，歸檔中心軟件自動執(zhí)行素材文件寫入數(shù)據(jù)流磁帶庫的操作，任務(wù)完成后，素材將處于“在線+近線”狀態(tài)。

系統(tǒng)主要采用第二種業(yè)務(wù)流程，其優(yōu)點是：歸檔時間可由人工在系統(tǒng)運行最閑時段統(tǒng)一提交，使系統(tǒng)資源利用率達到最高。同時，帶庫的歸檔存儲有幾種方式選擇：單歸檔、雙歸檔及 RAID結(jié)構(gòu)歸檔等，在歸檔中心軟件中進行設(shè)置。目前，系統(tǒng)采用“單歸檔”方式存儲，好處是節(jié)省一半的系統(tǒng)“存儲遷移”帶寬、節(jié)省一半的帶庫存儲空間。這是最優(yōu)的歸檔流程。

2.近線節(jié)目素材的遷出應(yīng)用

如將縮編系統(tǒng)中已存有的處于歸檔入庫的近線狀態(tài)節(jié)目素材daoshi89(264)下載到播出，可在上載軟件中直接點擊“綁定下載”功能鍵提交到播出，ESB系統(tǒng)平臺自動將素材回遷到在線存儲 M、P區(qū)，并提交到播出。圖5是 ESB系統(tǒng)平臺對這流程進行監(jiān)控界面。

 圖5  ESB系統(tǒng)平臺流程監(jiān)控

歸檔中心軟件在接到指令后由后臺程序根據(jù)存儲策略自動生成回遷任務(wù)，如圖6中顯示的任務(wù)列表，包括任務(wù)名稱、任務(wù)ID、任務(wù)類型、創(chuàng)建時間、磁帶類別、狀態(tài)、子狀態(tài)、優(yōu)先級、磁帶、磁帶組、遷移器、磁帶機、開始時間和結(jié)束時間等信息，以及顯示所選中任務(wù)對應(yīng)的文件信息，包括文件名稱、文件路徑、文件狀態(tài)等信息。 

圖6 歸檔中心軟件顯示任務(wù)列表

結(jié)語

近線存儲系統(tǒng)采用海量近線數(shù)據(jù)流磁帶庫架構(gòu)，應(yīng)用歸檔中心軟件、文件化業(yè)務(wù)流程互聯(lián)平臺ESB軟件等實現(xiàn)節(jié)目素材的再編輯、審核發(fā)布、歸檔，大大提高了節(jié)目素材及重要數(shù)據(jù)長期保存的安全、使用的高效性，保證播出的安全。

系統(tǒng)從2011年正式運行至今，其硬件工作運行穩(wěn)定可靠，整個硬件構(gòu)架合理，功能完備；多個應(yīng)用軟件的使用為廣西電視臺播出所需的節(jié)目素材的近線存儲、調(diào)用等提供了高效的業(yè)務(wù)流程，滿足了對節(jié)目源的高度安全需求，為新型播出系統(tǒng)提供高質(zhì)量的、高安全性的節(jié)目源。所有軟件均具有易操作性、高效性、安全性、高穩(wěn)定性，流程合理、清晰、自動，為操作人員提供良好的工作條件，提高了工作效率、增加了節(jié)目的安全，社會效益、經(jīng)濟效益明顯。