視頻監控係統從最初的模擬閉路電視監控開始
，經曆了數字化，網絡化的發展，正在向分布式、智能化的方向邁進。視頻壓縮技術的發展促進了視頻監控係統的數字化
，節約了大量的存儲空間。

    計算機網絡的普及和帶寬的增加使得城域網視頻監控成為現實。而經過科研人員40多年的不懈努力
，計算機視覺已經進入突破式發展階段。得益於計算機視覺的研究成果，智能視頻監控係統開始得到產業化應用。

    從上世紀90年代中期開始，以卡耐基梅隆大學（CMU）和麻省理工學院（MIT）為代表的
，多家美國高校所參與的
，由美國國防高級研究項目署設立的視覺監控重大項目VSAM（Visual Surveillance and Monitoring），以及其它科研機構的研究成果，使得智能視覺分析取得了快速發展。2001年美國“911事件”
，yijihoulaidexibanyamadeliliechelianhuanbaozhaheyingguolundunditiedabaozhadengkongbuxijihou
，quanshijiefanweineiduishipinjiankongxitong
，baokuozhinengshipinfenxixitongdexuqiukongqiangaozhang。zaiyingguoquanguofanweineiyijinganzhuangshexiangji420多萬個，平均每14人一個，一個人一天之中可能出現在多達300個攝像機前（英國《The Daily Mail》）。國內，2007年底廣州市安裝完畢25萬個治安攝像機，北京在26.3萬台攝像機的基礎上
，又在所有重點單位、人員聚集的公共場所、重要的交通樞紐
、城市重要基礎設施及法律法規規定的重點區域安裝公共圖像信息係統並且全部與警方監控網聯網。上海2010年前將在馬路上安裝20多萬個監控攝像機，全麵建立“社會防控體係”。海量的監控圖像需要視頻監控係統智能地選擇壓縮、存儲和檢索內容。

    當前，除了CMU和MIT，奧地利Graz理工大學的嵌入式智能攝像機研究組
，IBM的S3(Smart Surveillance System)項目組，Intel的IRISNET（Internet-scale, Resource-intensive Sensor Network Services）項目組等，分別在分布式智能監控係統的不同領域處於領先地位。Object Video， Hisign，3VR等公司率先實現了智能視頻監控的工業應用。在國內

，中科院自動化所
，清華大學電子工程係和自動化係等處於研究的前列。

2．智能視頻監控係統的技術背景簡介

    智能視頻監控的核心內容之一是對特定目標的自動跟蹤。目標跟蹤可分為5個步驟，包括運動檢測、目標分類、目標（類型）跟蹤、行為分析和目標（個體）跟蹤。例如對人體的跟蹤：首先從實時圖像序列（即視頻）中(zhong)檢(jian)測(ce)出(chu)運(yun)動(dong)物(wu)體(ti)
，再(zai)判(pan)定(ding)運(yun)動(dong)物(wu)體(ti)中(zhong)的(de)人(ren)體(ti)
，然(ran)後(hou)跟(gen)蹤(zong)人(ren)體(ti)的(de)運(yun)動(dong)軌(gui)跡(ji)
，並(bing)分(fen)析(xi)和(he)選(xuan)定(ding)有(you)異(yi)常(chang)行(xing)為(wei)的(de)人(ren)，如(ru)在(zai)車(che)站(zhan)，機(ji)場(chang)等(deng)遺(yi)留(liu)包(bao)裹(guo)的(de)人(ren)
，最(zui)後(hou)對(dui)行(xing)為(wei)異(yi)常(chang)的(de)人(ren)進(jin)行(xing)持(chi)續(xu)跟(gen)蹤(zong)。

    yundongjianceshicongtuxiangxuliezhongjiangbianhuaquyucongbeijingtuxiangzhongtiquchulai。yundongquyudeyouxiaofengejiangdadajianshaohoujiguochengdeyunsuanliang。raner，beijingtuxiangdebuwendingxing，ruyinying，guangzhao，manyidong（如蝸牛的爬行），靜移動（樹葉的擺動）等等，也使得運動檢測非常困難。

    視頻監控係統中的運動檢測有兩種不同的實現途徑

，一種是直接利用視頻壓縮算法的中間結果，比如ADI的第三方合作夥伴利用MPEG 4和H.264編碼過程中的運動向量，在Blackfin處理器上同步實現了運動檢測和視頻壓縮。另外一種是獨立於視頻編碼的方法。

    運動檢測算法可按照不同分類標準分為多種。中科院自動化所把運動檢測算法歸納為三種：背bei景jing消xiao除chu法fa，時shi間jian差cha分fen法fa，光guang流liu法fa。背bei景jing消xiao除chu法fa和he時shi間jian差cha分fen法fa都dou可ke以yi看kan作zuo是shi差cha分fen圖tu像xiang法fa。背bei景jing消xiao除chu法fa是shi目mu前qian運yun動dong分fen割ge中zhong最zui常chang用yong的de一yi種zhong方fang法fa

，它ta利li用yong當dang前qian圖tu像xiang與yu背bei景jing圖tu像xiang的de差cha分fen來lai檢jian測ce出chu運yun動dong區qu域yu。時shi間jian差cha分fen方fang法fa是shi在zai連lian續xu的de圖tu像xiang序xu列lie中zhong兩liang個ge或huo三san個ge相xiang鄰lin幀zhen間jian采cai用yong基ji於yu像xiang素su的de時shi間jian差cha分fen並bing且qie閾yu值zhi化hua來lai提ti取qu出chu圖tu像xiang中zhong的de運yun動dong區qu域yu。基ji於yu光guang流liu方fang法fa的de運yun動dong檢jian測ce采cai用yong了le運yun動dong目mu標biao隨sui時shi間jian變bian化hua的de光guang流liu特te性xing
，通tong過guo計ji算suan位wei移yi向xiang量liang光guang流liu場chang來lai初chu始shi化hua基ji於yu輪lun廓kuo的de跟gen蹤zong算suan法fa，從cong而er有you效xiao地di提ti取qu和he跟gen蹤zong運yun動dong目mu標biao。該gai方fang法fa的de優you點dian是shi在zai攝she像xiang機ji運yun動dong的de情qing況kuang下xia也ye能neng檢jian測ce出chu獨du立li的de運yun動dong目mu標biao。

    目(mu)標(biao)分(fen)類(lei)的(de)目(mu)的(de)是(shi)從(cong)檢(jian)測(ce)到(dao)的(de)運(yun)動(dong)區(qu)域(yu)中(zhong)將(jiang)特(te)定(ding)類(lei)型(xing)物(wu)體(ti)的(de)運(yun)動(dong)區(qu)域(yu)提(ti)取(qu)出(chu)來(lai)。根(gen)據(ju)利(li)用(yong)的(de)信(xin)息(xi)的(de)不(bu)同(tong)，目(mu)標(biao)分(fen)類(lei)可(ke)以(yi)分(fen)為(wei)基(ji)於(yu)運(yun)動(dong)特(te)性(xing)的(de)分(fen)類(lei)和(he)基(ji)於(yu)形(xing)狀(zhuang)信(xin)息(xi)的(de)分(fen)類(lei)兩(liang)種(zhong)方(fang)法(fa)。基(ji)於(yu)運(yun)動(dong)特(te)性(xing)的(de)識(shi)別(bie)利(li)用(yong)目(mu)標(biao)運(yun)動(dong)的(de)周(zhou)期(qi)性(xing)進(jin)行(xing)識(shi)別(bie)
，受(shou)顏(yan)色(se)
、光照的影響較小。基於形狀信息的識別利用檢測出的運動區域的形狀特征與模板或者統計量進行匹配。

    目標跟蹤是在連續的圖像幀間創建基於位置、速度、形狀、紋理
、色彩等有關特征的對應匹配。依據不同的跟蹤方法可分為基於模型的跟蹤、基於區域的跟蹤、基於活動輪廓的跟蹤、基於特征的跟蹤等。

    聯合目標跟蹤與分類（JTC）技(ji)術(shu)是(shi)信(xin)息(xi)融(rong)合(he)領(ling)域(yu)新(xin)興(xing)的(de)一(yi)個(ge)研(yan)究(jiu)方(fang)向(xiang)。其(qi)基(ji)本(ben)思(si)想(xiang)是(shi)，通(tong)過(guo)在(zai)目(mu)標(biao)跟(gen)蹤(zong)器(qi)和(he)目(mu)標(biao)分(fen)類(lei)器(qi)之(zhi)間(jian)進(jin)行(xing)雙(shuang)向(xiang)信(xin)息(xi)交(jiao)互(hu)，來(lai)同(tong)時(shi)有(you)效(xiao)地(di)提(ti)高(gao)目(mu)標(biao)的(de)跟(gen)蹤(zong)精(jing)度(du)和(he)分(fen)類(lei)性(xing)能(neng)。

    zaitedingqingkuangxiaxuyaoduigenzongmubiaocongleixingxihuadaogeti。zhexuyaoduimubiaodexingweijinxingfenxihelijie。xingweilijiedeguanjianwentishiruhecongxuexiyangbenzhonghuoqucankaoxingweixulie，bingqiexuexihepipeidexingweixuliebixunenggouchulizaixiangsideyundongmoshileibiezhongkongjianheshijianchidushangqingweidetezhengbianhua。

3. 智能視頻監控係統實施的難點和Blackfin的優勢

    盡jin管guan已yi經jing取qu得de了le巨ju大da進jin展zhan，智zhi能neng視shi頻pin分fen析xi領ling域yu仍reng然ran沒mei有you公gong認ren的de最zui優you方fang法fa。其qi自zi身shen研yan究jiu內nei容rong的de複fu雜za性xing，使shi得de研yan究jiu方fang法fa和he工gong具ju多duo樣yang
，算suan法fa複fu雜za度du高gao，適shi用yong範fan圍wei有you限xian
，沒mei有you魯lu棒bang性xing、準確度、速度都符合需求的普遍方法。同時
，視頻監控係統的網絡化和分布式處理的要求
，以及大規模工程安裝對成本、體ti積ji和he功gong耗hao的de限xian製zhi

，使shi得de運yun算suan能neng力li和he帶dai寬kuan都dou在zai不bu斷duan提ti高gao的de嵌qian入ru式shi處chu理li器qi成cheng為wei視shi頻pin監jian控kong係xi統tong的de主zhu流liu選xuan擇ze。而er非fei標biao準zhun化hua的de智zhi能neng視shi頻pin分fen析xi，正zheng是shiDSP的用武之地。

    Blackfin處理器是ADI與INTEL聯合研製的會聚式處理器，它的MSA（Micro Signal Architecture）架構兼具MCU的控製能力和DSP的高速運算能力。MCU和DSP融入同一個內核，隻需要同一套開發工具和同一套指令集。與DSP加ARM的芯片架構相比，具有軟硬件實現簡單的優勢。Blackfin支持ThreadX，Nucleus，uCOS-II，uCLinux等十多種嵌入式操作係統，為客戶提供熟悉的軟件架構基礎。Blackfinweigaoqiangdu，gaoshujulvdeshuzihemeitichulizuolezhuanmenyouhua，shilixiangdeshipinchuliqi，erqiejuyoujigaodexingjiabi。tadedigonghaotexingfeichangshihewaiketijixiaodeIP攝像頭產品。

    Blackfin的幾十個DMA通道和可靈活配置的Cache很好地滿足了視頻監控係統對大運算量
，高數據吞吐率的要求。十級流水線使得Blackfin有很強的指令並行執行能力。零開銷循環控製指令讓係統中的大量循環跳轉不再消耗任何處理器的時鍾周期。利用這些優勢，real解碼器的idct4×4算法在Blackfin上速度提高了7倍。

    視頻數據有其自身的特性。在不同顏色空間，表示象素的每個分量通常都是8位寬度。Blackfin的4個視頻算術運算單元和視頻象素指令集大大加速了視頻運算速度。一條視頻象素操作指令可以在一周期之內完成4對視頻數據分量的加法運算
，減法運算，加減混合運算，取平均值
，或者相減並求絕對值等11種視頻象素運算。這些運算在編解碼算法中的運動估計
、loop filter和智能視頻分析的各種算法中大量應用。在智能視頻分析的一些基礎算子中
，例如直方圖統計，中值運算，Sobel運算
，形態學中的膨脹運算等都可以利用Blackfin的MIN, MAX指令來消除條件跳轉
，節省處理器周期。不僅如此

，Blackfin還支持13種非視頻數據的向量運算。適當設計數據結構，在前背景分離，閾值計算和更新等多個環節都可以運用Blackfin的特色指令讓智能視頻分析算法更迅捷。這些本身就很有效的指令中
，大部分指令都能夠並行執行
，使得Blackfin的處理能力再加倍。

4．智能視頻監控係統的實例

    清華大學自動控製係在視覺分析領域有長期的研究和積累。結合ADI的優勢
，雙方在Blackfin BF561雙核處理器上實現了智能視頻監控係統。ADI提供高質量高性能的H.264編碼算法，清華大學自動控製係則在BF561上實現了自動跟蹤算法。係統框圖如圖1所示。

          

圖1：基於BF561的智能監控終端框圖

    H.264編碼算法模塊是ADI為Blackfin客戶提供的免費軟件模塊之一
，目前已經有基於BF53x和BF561兩個係列的芯片的實現。它支持完全動態的參數配置，用戶可在係統運行時根據場景和網絡帶寬的變化改變編碼的碼率
、幀率、關鍵幀間隔、量化值等等。從80KBb的CDMA網絡到3Mb的DVR係統都能使用同一套函數庫達到理想的編碼質量。具有很強的適應性和靈活性。

    qinghuadaxuezidongkongzhixidezhinenggenzongsuanfacaiyongdangaosibeijingjianmodebeijingjianchufangfajinxingyundongjiance，zaimubiaofenleijieduan
，jiehelejiyuyundongtexingdefenleihejiyuxingzhuangxinxidefenleiliangzhongfangfa，liyongrenti、車輛的長寬比例、tiduzhifangtuheyundongzhouqixingdengduiyundongwutijinxingfenlei。zaiduitongleimubiaogenzongshi
，caiyongjiyuquyudesuanfa，panduanlianxudegezhenzhijianyundongwutidezhixinweiyifangxianghejuli。jiyushangshusangejieduandesuanfa
，xitonghainengshixianrenqungenzong
，ruqinjiance，ren

、車數量統計，遺留物體檢測，攝像頭非法遮擋和移位報警等功能。

    係統中，BF561的Core A用於實現H.264編碼算法
，Core B用於智能視頻分析。Core A上同時運行uCos II操作係統以及RTP和TCP/IP協議棧。YUV4:2:2視頻幀通過PPI（並行外設接口）以DMA的方式傳送到SDRAM緩衝區。Core A和Core B共享幀緩衝區。Core B首先啟動memory DMA把視頻幀的Y（亮度）分量傳送到Core B的片內存儲區L1 SRAM的行緩衝區內。Core B對行緩衝區內的Y分量進行背景建模和後繼的運動檢測及目標跟蹤。如果可視區域內出現指定類型的物體，Core B向Core A發送一個中斷信號，Core A可以通過UART接口向本地控製台發送告警信息，或者通過網絡接口向遠程控製台發送告警信息；Core B還可以修改幀緩衝區

，給目標加矩形邊框以標識目標。Core A也通過一個memory DMA接收來自幀緩衝區的視頻亮度和色度數據。編碼器對Core B處理後的幀緩衝區進行編碼。同時係統也可以通過另外一個PPI接口輸出經Core B修xiu改gai後hou的de幀zhen緩huan衝chong區qu，實shi時shi顯xian示shi跟gen蹤zong結jie果guo。目mu標biao跟gen蹤zong算suan法fa是shi實shi時shi的de，因yin此ci不bu會hui造zao成cheng編bian碼ma的de延yan時shi。在zai未wei檢jian測ce到dao運yun動dong物wu體ti時shi，編bian碼ma器qi可ke以yi工gong作zuo在zai低di碼ma率lv或huo低di幀zhen率lv狀zhuang態tai下xia

，甚shen至zhi不bu編bian碼ma。一yi旦dan檢jian測ce到dao指zhi定ding類lei型xing的de運yun動dong物wu體ti，編bian碼ma器qi即ji恢hui複fu正zheng常chang工gong作zuo，把ba壓ya縮suo碼ma流liu和he對dui應ying時shi間jian通tong過guo以yi太tai網wang接jie口kou上shang傳chuan到dao管guan理li係xi統tong。這zhe樣yang既ji能neng節jie約yue存cun儲chu空kong間jian
，又you能neng方fang便bian事shi後hou對dui視shi頻pin錄lu像xiang的de檢jian索suo。

    該係統還可以通過UART或huo者zhe以yi太tai網wang接jie口kou設she定ding監jian控kong區qu域yu邊bian界jie，用yong以yi標biao識shi入ru侵qin檢jian測ce的de監jian視shi範fan圍wei。當dang有you運yun動dong物wu體ti越yue過guo邊bian界jie時shi
，係xi統tong立li即ji向xiang控kong製zhi台tai報bao警jing。控kong製zhi台tai還hai可ke以yi向xiang該gai智zhi能neng監jian控kong終zhong端duan發fa送song指zhi令ling改gai變bian它ta所suo執zhi行xing的de功gong能neng，從cong智zhi能neng跟gen蹤zong

，到dao入ru侵qin檢jian測ce，再zai到dao遺yi留liu物wu體ti檢jian測ce或huo者zhe清qing點dian人ren數shu等deng等deng
，自zi由you切qie換huan。沒mei有youBlackfin強大的處理能力和靈活性
，在一個嵌入式處理器裏實現如此複雜而眾多的功能幾乎是不可想象的。

5．智能視頻監控的發展趨勢

    盡管智能視頻分析在視頻監控中已經得到一定的應用，但它還有很長的發展曆程。一個比較理想的智能視頻監控係統應該是這樣的：

    如ru果guo有you一yi天tian
，城cheng市shi的de一yi角jiao突tu然ran發fa生sheng槍qiang擊ji事shi件jian。犯fan罪zui嫌xian疑yi人ren立li即ji逃tao向xiang不bu遠yuan處chu的de轎jiao車che，試shi圖tu駕jia車che逃tao跑pao。然ran而er

，他ta的de一yi舉ju一yi動dong已yi經jing落luo入ru了le公gong共gong安an全quan監jian控kong網wang之zhi中zhong，難nan以yi遁dun形xing。首shou先xian，帶dai有you聲sheng音yin識shi別bie和he聲sheng源yuan定ding位wei功gong能neng的de視shi頻pin監jian控kong係xi統tong檢jian測ce到dao槍qiang聲sheng之zhi後hou立li即ji調tiao整zheng攝she像xiang頭tou角jiao度du和he方fang向xiang
，對dui準zhun槍qiang聲sheng來lai向xiang

，同tong時shi啟qi動dong第di一yi次ci報bao警jing，報bao告gao槍qiang擊ji發fa生sheng的de大da致zhi位wei置zhi。該gai攝she像xiang頭tou采cai集ji視shi頻pin


，檢jian測ce運yun動dong人ren體ti，分fen析xi人ren物wu的de行xing為wei特te征zheng，並bing立li即ji定ding位wei、跟(gen)蹤(zong)嫌(xian)疑(yi)人(ren)。定(ding)位(wei)後(hou)，通(tong)知(zhi)係(xi)統(tong)內(nei)處(chu)於(yu)合(he)適(shi)位(wei)置(zhi)的(de)多(duo)個(ge)攝(she)像(xiang)頭(tou)提(ti)取(qu)嫌(xian)疑(yi)人(ren)麵(mian)部(bu)特(te)征(zheng)
，試(shi)圖(tu)駕(jia)駛(shi)的(de)車(che)輛(liang)的(de)車(che)牌(pai)等(deng)，並(bing)上(shang)傳(chuan)到(dao)管(guan)理(li)係(xi)統(tong)，建(jian)立(li)數(shu)據(ju)庫(ku)表(biao)項(xiang)，分(fen)發(fa)到(dao)公(gong)安(an)局(ju)
，車(che)站(zhan)，機(ji)場(chang)
，銀(yin)行(xing)
，海(hai)關(guan)等(deng)重(zhong)點(dian)單(dan)位(wei)。監(jian)控(kong)係(xi)統(tong)轉(zhuan)而(er)跟(gen)蹤(zong)該(gai)車(che)輛(liang)。警(jing)方(fang)在(zai)嫌(xian)疑(yi)人(ren)運(yun)動(dong)的(de)路(lu)上(shang)設(she)置(zhi)警(jing)力(li)攔(lan)截(jie)和(he)追(zhui)捕(bu)。即(ji)使(shi)嫌(xian)疑(yi)人(ren)僥(jiao)幸(xing)逃(tao)脫(tuo)現(xian)場(chang)追(zhui)捕(bu)
，當(dang)他(ta)出(chu)現(xian)在(zai)全(quan)國(guo)任(ren)何(he)一(yi)個(ge)攝(she)像(xiang)頭(tou)前(qian)的(de)時(shi)候(hou)，仍(reng)然(ran)無(wu)法(fa)逃(tao)脫(tuo)被(bei)捕(bu)的(de)命(ming)運(yun)。

    這個係統中融合了多種先進監控技術。音視頻結合，視覺成像和非視覺成像結合，目標跟蹤和行為分析、特征識別相結合的全連通的智能視頻監控係統將是未來安防係統的趨勢。其中的各項技術都已經分別得到了相當的發展。Blackfin在紅外攝像頭，相控陣麥克風等方麵已有許多應用。而更準確，更快速，更魯棒的智能視覺分析算法仍然是一個難點。ADI將會繼續在智能視頻監控領域與全球科研機構和企業合作，為我們創造更安全更美好的生活。