1 引言
成像產(chǎn)品可以幫助你采樣和分析以視頻信號(hào)為載體的視頻信息。電子采樣通過工作在主機(jī)平臺(tái)內(nèi)的(如pc機(jī))采集卡這種視頻捕捉設(shè)備來完成。采集卡把由視頻信號(hào)源提供的圖像轉(zhuǎn)換為數(shù)據(jù)陣列，該數(shù)據(jù)陣列可被數(shù)字化存貯、處理、增強(qiáng)，然后被分析或顯示在視頻監(jiān)視器上。
2 視頻基礎(chǔ)
當(dāng)對(duì)視頻信號(hào)進(jìn)行電子采樣時(shí)(通常稱之為圖像獲取)，首先應(yīng)該知道所使用的是哪種視頻信號(hào)。這部分內(nèi)容介紹了一些有關(guān)視頻信號(hào)的基本知識(shí)。
2.1 信號(hào)種類與視頻格式
視頻信號(hào)有多種信號(hào)源，包括：視頻相機(jī)、可攜式攝像機(jī)、錄像機(jī)、電視廣播、x射線設(shè)備、掃描電子顯微鏡、ct掃描器等等。這些信號(hào)源或者提供復(fù)合視頻信號(hào)(信號(hào)中包含視頻數(shù)據(jù)和時(shí)鐘信息)或非標(biāo)準(zhǔn)視頻信號(hào)(其視頻和時(shí)鐘可以有多種不同的格式)。
標(biāo)準(zhǔn)復(fù)合視頻信號(hào)有以下幾種制式：
(1) rs-170
用于北美和日本。這種黑白復(fù)合視頻信號(hào)的空間分辨率為640×480，rs-170工作在60hz，即30fps。
(2) ntsc/rs-330
用于北美和日本。這種視頻信號(hào)除了增加了色彩信息，其它方面和rs-170一致。此信號(hào)類型于20世紀(jì)50年代被國家電視系統(tǒng)委員會(huì)(ntsc)制定標(biāo)準(zhǔn)。
(3) ccir
此復(fù)合信號(hào)最先用于北歐，根據(jù)一個(gè)國際標(biāo)準(zhǔn)組織-國際射線顧問委員會(huì)(ccir)而命名。此黑白視頻信號(hào)的空間分辨率為768×576，工作于50hz，即25fps。
(4) pal
用于北歐。這種視頻信號(hào)除了增加了色彩信息，其它方面和ccir一致。pal是其應(yīng)用的一種技術(shù)phase alteration
line的縮寫。
(5) secam
用于法國、俄羅斯等。其參數(shù)與pal一致。
非標(biāo)準(zhǔn)視頻信號(hào)沒有固定的空間分辨率、信號(hào)時(shí)鐘以及信號(hào)特征。只有查閱信號(hào)源所提供的技術(shù)文檔才能確定這些參數(shù)。
2.2 空間分辨率
空間分辨率定義了一幅圖像的行與列的元素?cái)?shù)。行定義了圖像的長度，由線數(shù)來描述;列定義了圖像的寬度，由像素?cái)?shù)來描述。對(duì)于標(biāo)準(zhǔn)的rs-170/ntsc圖像，其空間分辨率為640×480;對(duì)于標(biāo)準(zhǔn)的ccir/pal圖像，其空間分辨率為768×576。見圖1：
根據(jù)信號(hào)源或所用相機(jī)的不同，其空間分辨率可以從256×256到4096×4096甚至更高。由于空間分辨率直接影響著圖像的大小，大多應(yīng)用只使用符合要求的分辨率?？焖俚膱D像傳輸和處理對(duì)于工業(yè)檢測應(yīng)用來說非常重要，其圖像的空間分辨率通常為512×512。對(duì)于需要更高空間分辨率的應(yīng)用，如高精度的標(biāo)定和測量，經(jīng)常會(huì)使用1024×1024或更高的分辨率。
2.3 寬高比
寬高比是指單個(gè)像素的寬度與高度之比。通常我們都需要寬高比為1:1，即像素的寬、高相等。一些輸入信號(hào)源或相機(jī)和采集卡并不能產(chǎn)生或把視頻數(shù)據(jù)轉(zhuǎn)化為方形像素。這樣經(jīng)常會(huì)致使圖像成為胚珠形或矩形。
寬高比對(duì)某些處理過程很重要，如當(dāng)你試圖通過以一個(gè)區(qū)域內(nèi)的像素個(gè)數(shù)來確定其面積。如果寬高比不是1:1，你必須在圖像處理中加以補(bǔ)嘗或軟件校正。
2.4 亮度分辨率
當(dāng)視頻數(shù)據(jù)被產(chǎn)生或轉(zhuǎn)化時(shí)，還必須確定其亮度分辨率(有時(shí)也稱為數(shù)字深度分辨率)。亮度分辨率定義了一幅圖像中顏色的個(gè)數(shù)或梯度。這些梯度主要指灰度級(jí)(對(duì)于單色圖像)或顏色的個(gè)數(shù)(對(duì)于彩色圖像)。對(duì)于一幅標(biāo)準(zhǔn)的rs-170圖像，其亮度分辨率為8bits或256灰度級(jí)(其術(shù)語通常為640×480×8)。常用的分辨率為8bits(256灰度級(jí))、10bits(1024灰度級(jí))、16bits(65536灰度級(jí))或更高。圖像的數(shù)據(jù)量會(huì)隨著亮度分辨率增加。如：一幅標(biāo)準(zhǔn)的rs-170圖像大約為307kb，而相同空間分辨率的一幅16bit的圖像約為614kb，而24bit時(shí)約為922kb。
2.5 隔行與非隔行格式
視頻信號(hào)中包含數(shù)行像素。水平同步脈沖把行與行之間分開。所有復(fù)合視頻信號(hào)源，包括rs-170/ntsc、ccir/pal和非標(biāo)準(zhǔn)的信號(hào)源以隔行方式傳送數(shù)據(jù)。隔行是指以兩個(gè)稱為“場”的獨(dú)立部分來傳送視頻數(shù)據(jù)。奇數(shù)行的場先被傳送，然后是偶數(shù)行。包含奇數(shù)場與偶數(shù)場的完整圖像稱為幀。
每場被順序顯示時(shí)我們會(huì)感覺每幀是以正常速度的兩倍來顯示的，場同步確定了什么時(shí)候一場結(jié)束什么時(shí)候一場開始。
在顯示某些類型的圖像時(shí)，如圖形或細(xì)線時(shí)，隔行格式會(huì)導(dǎo)致圖像閃爍。
一些非標(biāo)準(zhǔn)視頻信號(hào)源以非隔行格式傳送數(shù)據(jù)。這種過程有時(shí)被稱為逐行掃描。非隔行格式是以一場來傳送視頻信號(hào)中所有行(奇數(shù)與偶數(shù)行)。
注意當(dāng)被觀察的物體運(yùn)動(dòng)時(shí)，通常選用逐行掃描會(huì)更加適合。因?yàn)楦粜懈袷酵ǔＳ捎趦蓤霾荒軐?duì)齊會(huì)引起模糊或頻率混淆。
2.6 幀頻
幀頻是指傳送或顯示幀的速度，通常以fps(每秒幀數(shù))來表示。rs170/ntsc圖像通常為30fps，ccir/pal通常為25fps。幀頻低于此數(shù)時(shí)會(huì)產(chǎn)生如同老式電影中所看到的跳動(dòng)的效果。
3 采集卡基本原理
采集卡有多種種類、規(guī)格。但盡管其設(shè)計(jì)和特性不同，大多數(shù)采集卡的基本原理相同。在此，將基于pci總線的模擬圖像采集卡為例加以說明。
近年來，數(shù)字視頻產(chǎn)品取得了顯著發(fā)展。數(shù)字視頻產(chǎn)品通常需要對(duì)動(dòng)態(tài)圖像進(jìn)行實(shí)時(shí)采集和處理，因此產(chǎn)品性能受圖像采集卡的性能影響很大。由于早期圖像采集卡以幀存為核心，處理圖像時(shí)需讀寫幀存，對(duì)于動(dòng)態(tài)畫面還需“凍結(jié)”圖像，同時(shí)由于數(shù)據(jù)傳輸速率的限制，因此圖像處理速度緩慢。90年代初，intel公司提出了pci(peripheral component interconnect)局部總線規(guī)范。pci總線數(shù)據(jù)傳寬度為32/64位，允許系統(tǒng)設(shè)備直接或間接連接其上，設(shè)備間可通過局部總線完成數(shù)據(jù)的快速傳送，從而較好地解決了數(shù)據(jù)傳輸?shù)钠款i問題。
由于pci總線的高速度，使a/d轉(zhuǎn)換以后的數(shù)字視頻信號(hào)只需經(jīng)過一個(gè)簡單的緩存器即可直接存到計(jì)算機(jī)內(nèi)存，供計(jì)算機(jī)進(jìn)行圖像處理也可將采集到內(nèi)存的圖像信號(hào)傳送到計(jì)算機(jī)顯示卡顯示;甚至可將a/d輸出的數(shù)字視頻信號(hào)經(jīng)pci總線直接送到顯示卡，在計(jì)算機(jī)終端上實(shí)時(shí)顯示活動(dòng)圖像。基于pci總線的圖像采集系統(tǒng)框圖如圖1所示。圖中的緩存(數(shù)據(jù)鎖存器)代替了幀存儲(chǔ)器，這個(gè)緩存是一片容量小、控制簡單的先進(jìn)先出(fifo)存儲(chǔ)器，起到圖像卡向pci總線傳送視頻數(shù)據(jù)時(shí)的速度匹配作用。將圖像卡插在計(jì)算機(jī)的pci插槽中，與計(jì)算機(jī)內(nèi)存、cpu、顯示卡等之間形成調(diào)整數(shù)據(jù)傳送。
由于pci總線的上述優(yōu)點(diǎn)，許多圖像板卡公司陸續(xù)推出了基于pci總線的圖像采集卡。
4 與圖像采集卡相關(guān)技術(shù)名詞
4.1 dma
dma( direct memory access)是一種總線控制方式，它可取代cpu對(duì)總線的控制，在數(shù)據(jù)傳輸時(shí)根據(jù)數(shù)據(jù)源和目的的邏輯地址和物理地址映射關(guān)系，完成對(duì)數(shù)據(jù)的存取，這樣可以大大減輕數(shù)據(jù)傳輸時(shí)cpu的負(fù)擔(dān)。
4.2 scatter/gather table
scatter/gather table實(shí)際上就是一張供dma傳輸時(shí)邏輯地址與物理地址的動(dòng)態(tài)映射表。根據(jù)不同的板卡設(shè)計(jì)，這張表可直接位于采集卡的某個(gè)buffer模塊內(nèi)，稱為硬件式的scatter/gather，它在pci傳輸時(shí)的最高速度可達(dá)120m/s;此表也可位于主機(jī)的某段內(nèi)存中，稱為軟件式的scatter/gather，傳輸?shù)淖罡咚俣纫话銥?0bps。大部會(huì)pc系列采集卡都屬于硬件式的scatter/gather。
4.3 lut(look-up table)
對(duì)于圖像采集卡來說，lut(look-up table)實(shí)際上就是一張像素灰度值的映射表，它將實(shí)際采樣到的像素灰度值經(jīng)過一定的變換如閾值、反轉(zhuǎn)、二值化、對(duì)比度調(diào)整、線性變換等，變成了另外一個(gè)與之對(duì)應(yīng)的灰度值，如右圖為一個(gè)8位的對(duì)應(yīng)表。這樣可以起到突出圖像的有用信息，增強(qiáng)圖像的光對(duì)比度的作用。很多pc系列卡具有8/10/12/16甚到32位的lut，具體在lut里進(jìn)行什么樣的變換是由軟件來定義的。如圖2所示。
4.4 planar convertor
planar convertor能從以4位表示的彩色象素值中將r、g、b分量提取出來，然后在pci傳輸時(shí)分別送到主機(jī)內(nèi)存中三個(gè)獨(dú)立的buffer中，這樣可以方便在后續(xù)的處理中對(duì)彩色信息的存取。在有些采集卡(如pc2vision)中，它也可用于在三個(gè)黑白相機(jī)同步采集時(shí)將它們各自的象素值存于主機(jī)中三個(gè)獨(dú)立的buffer中。
如下圖3所示：
4.5 decimation
decimation實(shí)際上是對(duì)原始圖像進(jìn)行子采樣，如每隔2、4、8、16行(列)取一行(列)組成新的圖像。decimation可以大大減小原始圖像的數(shù)據(jù)量，同時(shí)也降低了分辨率，有點(diǎn)類似于相機(jī)的binning。如下圖4所示：
4.6 pwg
pwg (programmable window generator)指在獲取的相機(jī)原始圖像上開一個(gè)感興趣的窗口，每次只存儲(chǔ)和顯示該窗口的內(nèi)容，這樣也可以在一定程度上減少數(shù)據(jù)量，但不會(huì)降低分辨率。
一般采集卡都有專門的寄存器存放有關(guān)窗口大小、起始點(diǎn)和終了點(diǎn)坐標(biāo)的有關(guān)數(shù)據(jù)，這些數(shù)據(jù)都可通過軟件設(shè)置。pc系列卡的窗口可在很大范圍內(nèi)變化，如pc-dig最大可達(dá)64k×64k，最小可為1×1。如下圖5所示：
4.7 resequencing
resequencing可以認(rèn)為是一種對(duì)多通道或不同數(shù)據(jù)掃描方式的相機(jī)所輸出數(shù)據(jù)的重組能力，即將來自ccd靶面不同區(qū)域或象素點(diǎn)的數(shù)據(jù)重新組合成一幅完整的圖像。
4.8 non-destructive overlay
overlay是指在視頻數(shù)據(jù)顯示窗口上覆蓋的圖形(如彈出式菜單，對(duì)話框等)或字符等非視頻數(shù)據(jù)。non-destructive overlay，即“非破壞性覆蓋”是相對(duì)于“破壞性覆蓋”來說的，“破壞性覆蓋”指顯示窗口中的視頻信息和覆蓋信息被存放于顯存中的同一段存儲(chǔ)空間內(nèi)，而“非破壞性覆蓋”指視頻信息與覆蓋信息分別存放于顯存中兩段不同的存儲(chǔ)空間中，顯示窗口中所顯示的信息是這兩段地址空間中所存數(shù)據(jù)的迭加。如果采用“破壞性覆蓋”，顯存中的覆蓋信息是靠cpu來刷新的，這樣既占cpu時(shí)間，又會(huì)在實(shí)時(shí)顯示時(shí)由于不同步而帶來閃爍，如果采用“非破壞性覆蓋”則可消除這些不利因素。
4.9 pll、xtal和vscan此為模擬采集卡的三種不同工作模式
(1) pll(phase lock loop)模式：相機(jī)向采集卡提供a/d轉(zhuǎn)換的時(shí)鐘信號(hào)，此時(shí)鐘信號(hào)來自于相機(jī)輸出的video信號(hào)，hs和vs同步信號(hào)可以有三種來源：composite video，composite sync， separate sync;
(2)xtal模式：圖像采集卡給相機(jī)提供時(shí)鐘信號(hào)以及hd/vd信號(hào)，并用提供的時(shí)鐘信號(hào)作為a/d轉(zhuǎn)換的時(shí)鐘，但同步信號(hào)仍可用相機(jī)輸出的hs/vs;
(3) vscan模式：由相機(jī)向分別卡提供pixel clock信號(hào)、hs和vs信號(hào)。
5 選擇采集卡要考慮的重點(diǎn)
5.1 接口制式，數(shù)據(jù)格式
接口制式包括數(shù)字(camera link、lvds/rs422)、模擬(pal、ntsc、ccir、rs170/eia、非標(biāo)準(zhǔn)模擬制式)一定與視覺系統(tǒng)所選用相機(jī)一致。如選用數(shù)字制式還必須考慮相機(jī)的數(shù)字位數(shù)。
5.2 模擬采集卡要考慮數(shù)字化精度
模擬采集卡的數(shù)字化精度主要包括兩個(gè)方面即
(1) 像素抖動(dòng)pixel jitter
像素抖動(dòng)是由圖像采集卡的a/d轉(zhuǎn)換器的采樣時(shí)鐘的誤差產(chǎn)生的像元位置上的微小的錯(cuò)誤從而導(dǎo)致對(duì)距離測量的錯(cuò)誤。如圖6所示：
(2) 灰度噪音grey-scale noise
圖像采集卡的數(shù)字化轉(zhuǎn)換的過程包括對(duì)模擬視頻信號(hào)的放大和對(duì)其亮度(灰度值)進(jìn)行測量。在此過程中會(huì)有一定的噪聲和動(dòng)態(tài)波動(dòng)由圖像采集卡的電路產(chǎn)生。
如像素抖動(dòng)一樣，灰度噪聲將導(dǎo)致對(duì)距離測量的錯(cuò)誤。典型的灰度噪聲為0.7個(gè)灰度單元，表示為0.7lsb。
5.3 數(shù)字采集卡要考慮數(shù)據(jù)率大小
計(jì)算數(shù)字采集卡的數(shù)據(jù)率是否滿足系統(tǒng)的要求可按下列公式計(jì)算：
data rate(grabber)>1.2×data rate(camera)
data rate(camera)=r×f×d/8
式中data rate(grabber)為采集卡的數(shù)據(jù)率，data
rate(camera)為相機(jī)的數(shù)據(jù)率，r為相機(jī)的分辨率，f為相機(jī)的幀頻，d為相機(jī)的數(shù)字深度(或稱灰度級(jí))。
5.4 memory大小， pci總線的傳輸速率
pci總線可支持bus master設(shè)備以132mbps突發(fā)速率傳輸數(shù)據(jù)。而其平均持續(xù)數(shù)據(jù)傳輸率一般在50～90mbps。
來自相機(jī)的數(shù)據(jù)總是以一個(gè)固定的速率傳輸?shù)摹Ｈ绻鹥ci總線可以維持大于視頻數(shù)據(jù)率的平均持續(xù)數(shù)據(jù)傳輸率，問題看起來就解決了。然而實(shí)際上并不是這么簡單，pci總線設(shè)備只能以突發(fā)的方式向總線傳輸數(shù)據(jù)。圖像采集卡必須將每一突發(fā)之間的連續(xù)的圖像數(shù)據(jù)保存起來。解決的方法就是采用on-board memory。有些廠家出于經(jīng)濟(jì)方面的考慮去除了memory而采用數(shù)據(jù)緩存隊(duì)列(fifo)，fifo的大小一般以足以保存一行圖像數(shù)據(jù)為限。然而，當(dāng)圖像數(shù)據(jù)的速率大于pci的持續(xù)數(shù)據(jù)傳輸率時(shí)fifo就不起作用了。
5.5 相機(jī)控制信號(hào)及外觸發(fā)信號(hào)
使圖像采集卡的時(shí)序電路與外部視頻信號(hào)的時(shí)序電路同步，需要采用鎖相環(huán)電路或數(shù)字時(shí)鐘同步電路。
(1) 外觸發(fā)：由外部事件啟動(dòng)采集的過程。
(2) 同步觸發(fā)：不改變相機(jī)與板卡之間的同步關(guān)系，采集從下一個(gè)場有效信號(hào)開始。
(3) 異步觸發(fā)：改變相機(jī)與板卡的同步關(guān)系，采集從相機(jī)復(fù)位后的第一個(gè)場有效信號(hào)開始。
當(dāng)視覺系統(tǒng)要對(duì)運(yùn)動(dòng)中目標(biāo)進(jìn)行檢測時(shí)，相機(jī)和采集卡必須要具備異步觸發(fā)的功能。
5.6 硬件系統(tǒng)的可靠性
硬件的可靠性在生產(chǎn)系統(tǒng)中是十分重要的，由設(shè)備故障而停產(chǎn)造成的損失遠(yuǎn)遠(yuǎn)大于設(shè)備本身。很多板卡廠家并沒有標(biāo)明如平均無故障時(shí)間等可靠性指標(biāo)。
這里有兩個(gè)經(jīng)驗(yàn)性的技巧用以評(píng)估不同板卡的可靠性，板上的器件的數(shù)量和功耗。
試著去選擇具有更低功耗的采集卡。在其它條件都同等的情況下一塊復(fù)雜具有更多器件的卡會(huì)比器件較少的卡耗散更多的熱量。好的設(shè)計(jì)會(huì)采用更多的asic(applica tion-specific integrated circuits)和可編程器件以減少電子器件的數(shù)量，而達(dá)到更高的功能。你還可以選擇具有更少的無用功能的卡以減少不必要的麻煩。
過壓保護(hù)是可靠性的一個(gè)重要指標(biāo)。接近高壓會(huì)在視頻電纜產(chǎn)生很強(qiáng)的電涌，在視頻輸入端和i/o口加過壓保護(hù)電路可保護(hù)采集卡不會(huì)被工業(yè)環(huán)境電磁干擾會(huì)產(chǎn)生的高壓擊穿。
5.7 支持軟件的功能
大多采集卡的廠商多是把其采集卡和其專用圖像處理軟件捆綁銷售的，因此在選擇采集卡的同時(shí)還必須考慮此視覺系統(tǒng)要選用的軟件與采集卡是否兼容。如dalsa coreco公司的圖像處理軟件wit、sapera、mvtools等只能在其bandit系統(tǒng)、pc系列、x64系列、viper系列等采集卡上使用，而cognex公司的vision pro只能在其8100、8500系列采集卡上運(yùn)行。
6 結(jié)束語
隨著機(jī)器視覺技術(shù)的不斷發(fā)展，采集卡的技術(shù)也在不斷加強(qiáng)，功能也在不斷更新。如何選擇適合視覺系統(tǒng)的采集卡對(duì)于一個(gè)視覺系統(tǒng)能否正常運(yùn)行將起到很關(guān)鍵的作用。
（轉(zhuǎn)載）
