工控網(wǎng)首頁
>

新聞中心

>

人物專訪

>

3D視覺+AI,如何打破藥盒盲文OCR讀取難題?

3D視覺+AI,如何打破藥盒盲文OCR讀取難題?

——— 中國機器視覺網(wǎng)專訪Teledyne?DALSA視覺軟件部門高級技術(shù)工程師黃明

640.jpg

近年來,隨著醫(yī)藥行業(yè)的快速發(fā)展,上游的制藥裝備行業(yè)也愈來愈受重視,一系列利好政策和相關(guān)標準不斷落地。制藥裝備業(yè)作為醫(yī)藥行業(yè)整體發(fā)展的重要抓手,將在國家醫(yī)藥衛(wèi)生水平整體進步的過程中發(fā)揮更重要的作用。前幾年席卷全球的新冠病毒流行,更是助推了國內(nèi)整個制藥裝備行業(yè)將由中低端向高端方向轉(zhuǎn)型,制藥設(shè)備產(chǎn)業(yè)結(jié)構(gòu)升級勢在必行,提升自動化、數(shù)字化、智能化仍是接下來制藥設(shè)備行業(yè)發(fā)展的主要方向。

機器視覺技術(shù)在醫(yī)藥行業(yè)整體的升級轉(zhuǎn)型中有著不容忽視的地位。機器視覺技術(shù)在醫(yī)藥行業(yè)具體有哪些應(yīng)用?Teledyne?DALSA在該領(lǐng)域有哪些助力?日前,Teledyne?DALSA視覺軟件部門高級技術(shù)工程師黃明接受中國機器視覺網(wǎng)專訪,并對以上問題進行了詳細解答。

相比于其他行業(yè),醫(yī)藥及醫(yī)療行業(yè)一直都有著更高的行業(yè)標準,尤其在醫(yī)藥制造業(yè)。一直以來在整個醫(yī)藥制造流程,對醫(yī)藥質(zhì)量控制、跟蹤和追蹤過程都至關(guān)重要,新冠疫情大流行凸顯了疫苗質(zhì)量作為一個全球衛(wèi)生問題的重要性。

在制藥行業(yè),機器視覺檢測的典型應(yīng)用與其他行業(yè)大抵相同,但每一項特定任務(wù)都需要制定更加嚴格的標準和規(guī)范。因此,作為質(zhì)控的一環(huán),制造商必須確保生產(chǎn)的每一個步驟,從產(chǎn)品密封到膠囊型號再到瓶子印刷的批號,都需要確保在規(guī)定的標準范圍內(nèi),特別是安全和保障方面的標準規(guī)范。

機器視覺在整個醫(yī)藥制造的各個環(huán)節(jié)中的應(yīng)用:

1、存在和缺失檢測

存在和缺失檢測旨在檢查某種特定屬性以及視覺系統(tǒng)是否能夠看到該屬性,此類檢測常用于藥品或醫(yī)療器械的包裝。制造商需要確保每件產(chǎn)品包裝妥當,每個部件放置到位,無一遺漏。制造過程中就會用到存在和缺失檢測,以確保恰當?shù)陌惭b每件產(chǎn)品。檢測可采用圖像匹配方式驗證是否存在訓練后目標。另一應(yīng)用實例是使用計數(shù)工具清點零件并記錄零件所在位置。

640.png

2、缺陷檢測

表面缺陷檢測工具可識別玻璃和金屬等表面的劃痕和裂紋。此類檢測對醫(yī)療器械檢測十分有用,提前發(fā)現(xiàn)缺陷可以節(jié)省生產(chǎn)成本。缺陷可以通過瑕疵形式進行識別,例如小瓶或藥瓶中的灰塵或污垢的規(guī)格。

3、驗證—一維碼、二維碼的讀取和OCR(光學字符辨識)

讀碼與OCR在醫(yī)藥行業(yè)是十分重要的一個角色,由于印刷質(zhì)量差,對于大多數(shù)傳統(tǒng)OCR算法而言,很難保證讀取每個字符的準確性。OCR讀取屬于人工智能的應(yīng)用場景之一,可以利用工具模型進行人工智能推理,基于大量圖像進行學習優(yōu)化分類、異常檢測、目標檢測、分割、降噪等任務(wù)。OCR與人工智能技術(shù)集成后,無需對系統(tǒng)進行所有字符的訓練,就可圓滿完成檢測任務(wù)。

美國FDA發(fā)布的“條碼標簽要求”中要求產(chǎn)品采用國家藥品代碼(NDC)標識符編碼所采用的一維條碼進行貼標。FDA頒布的《藥品供應(yīng)鏈安全法案》中要求藥品采用含產(chǎn)品NDC的一維條碼進行標記。該法令還要求產(chǎn)品采用帶有NDC、序列號、批號和有效期的數(shù)據(jù)矩陣條碼進行標記。

為確保這些信息印刷清晰可讀,采用讀取一維條碼和二維碼(例如QR碼)或執(zhí)行OCR的掃描工具讀取標簽上的字母和數(shù)字。通常,配備這些工具的機器是集成視覺解決方案的重要組成部分,可檢測一維碼和二維碼,從而確保有效期正確、印刷清晰、位置正確。這些掃描工具用于制藥行業(yè)的追溯、分類和過程控制,對于產(chǎn)品日期、批次代碼、包裝單元和劑量代碼的驗證以及滿足整個制藥供應(yīng)鏈的跟蹤和追蹤要求并符合FDA制定的《聯(lián)邦規(guī)章典集》第21篇(21 CFR)第11部的規(guī)定均十分重要。

640 (1).png

4、測量

幾乎所有行業(yè)都會使用機器視覺作為質(zhì)量檢測工具,而在制藥行業(yè)中也是各種應(yīng)用均需要進行準確測量,例如測量醫(yī)用針頭或外科手術(shù)刀的尺寸。因此,需要利用機器視覺來精確測量一個零件的形狀和尺寸。如果任何零件的測量結(jié)果超出規(guī)定范圍,其后果可能危及生命。測量工具也可用于確定藥瓶或疫苗注射器的灌裝液位高度,或者驗證是否存在安全密封。

640 (2).png

5、機器人引導

除了檢測物體外,機器視覺還可通過機器人引導對其進行定位。這個過程包括定位和驗證機器人引導抓取應(yīng)用的零件,對裝配線上的零件進行定位。在制藥行業(yè)中,定位工具可以對藥瓶瓶蓋進行正確對位或正確放置注射器中的橡膠密封圈。

Teledyne DALSA機器視覺軟硬件直面醫(yī)藥領(lǐng)域新挑戰(zhàn)

Teledyne DALSA公司有42年以上為機器視覺行業(yè)提供部件和解決方案的歷史,有著完備的相機產(chǎn)品線,從智能相機到視覺軟件,從面陣相機到線掃相機。在面陣相機方面,DALSA主要集中在高端高分辨率的面陣相機譬如,譬如5G接口,Cameralink接口的高達86M面陣相機,分辨率從30w 到8600w 像素。

Teledyne DALSA的線掃描相機追求更好的圖像質(zhì)量以及更高的相機分辨率,從1k到32K,從技術(shù)到應(yīng)用屬于全球前列水平,滿足了不同視覺項目的選型。同時在滿足高分辨率的前提下,又要提高相機的采集頻率,Teledyne DALSA針對不同型號的相機使用不同的傳輸接口,以滿足更高的傳輸帶寬需求。

640 (3).png

640 (1).jpg

Teledyne?DALSA視覺軟件部門高級技術(shù)工程師黃明

“視覺軟件在整個視覺項目中更像是人的大腦,負責處理圖像,和外設(shè)通訊的作用。強大的視覺軟件是所有視覺方案的基石。Teledyne DALSA的iNspect和Sherlock,基于幾十年在工業(yè)自動化各個制造領(lǐng)域的沉淀積累,建立了強大的客戶群體?!?/p>

iNspect

iNspect是一款簡單易用的機器視覺檢測軟件,無需編程與培訓,簡單直接的設(shè)置過程讓用戶能夠快速配置和實施應(yīng)用,提供了一整套可隨時應(yīng)用于大批量檢測任務(wù)的工具,例如定位、測量、識別、驗證和瑕疵探測,對于精度計量到醫(yī)藥包裝等多種應(yīng)用領(lǐng)域十分友好。

Sherlock

Sherlock主要針對視覺工程師能夠應(yīng)對更為負責的視覺項目,是更強大高級機器視覺軟件。包含2D圖像的處理工具,3D點云圖像的處理,同時集成了人工智能AI工具來應(yīng)對更負責的項目。

3D+AI打破藥盒盲文OCR讀取難題

藥品容器上印刷質(zhì)量差的藥品說明書可能會讓患者面臨巨大風險,比如錯過續(xù)藥日期、吞錯藥片或服用過期藥物。這些風險對盲人來說更具挑戰(zhàn)性,他們必須閱讀盲文才能理解處方名稱、劑量說明和其他標簽信息等。

從本質(zhì)上來說,盲點很難閱讀。一般的盲文高度只有0.2毫米,在已印刷的字符表面形成凸點,對大多數(shù)視覺技術(shù)來說,檢測盲文質(zhì)量極具挑戰(zhàn)性。此外,在字符背景下讀取盲文使問題更加復(fù)雜。

Teledyne DALSA開發(fā)了一種特殊的盲文視覺檢測系統(tǒng),該系統(tǒng)使用帶有面掃描攝像頭的VICORE智能視覺系統(tǒng)的形狀陰影技術(shù),以及Sherlock形狀陰影算法,從背景復(fù)雜的盲文中獲取對比度較高的3D效果圖像。然后,Sherlock應(yīng)用預(yù)處理程序優(yōu)化盲文點的殘缺形狀,從而使OCR算法能夠讀取盲文字符。

640 (4).png

隨著3D技術(shù)及AI技術(shù)的深入發(fā)展,Teledyne?DALSA也發(fā)布相關(guān)的人工智能AI軟件及3D相機,開始應(yīng)用到醫(yī)療的各個應(yīng)用環(huán)節(jié),比如人工智能AI 利用工具模型進行人工智能推理。如分類、異常檢測、目標檢測、分割、降噪等任務(wù)都可以基于大量圖像進行學習優(yōu)化,其中一個應(yīng)用場景是支持OCR讀取。例如,由于印刷質(zhì)量差,對于大多數(shù)傳統(tǒng)OCR算法而言,很難保證讀取每個字符的準確性。OCR與人工智能技術(shù)集成后,無需對系統(tǒng)進行所有字符的訓練,就可圓滿完成檢測任務(wù)。

Teledyne DALSA的圖像傳感器、相機、智能相機、圖像采集卡、軟件和視覺解決方案是全球多個行業(yè)的數(shù)千個檢測系統(tǒng)的核心。醫(yī)藥行業(yè)在在產(chǎn)品識別、分類和驗證方面,是要求比較高的行業(yè)應(yīng)用之一,生產(chǎn)、包裝或?qū)ψ匪莘矫娴馁|(zhì)量檢測錯誤可能會造成人員傷害或死亡。這些都凸顯了使用比較佳檢測工具和方法的重要性。

審核編輯(
吳新慧
)

提交

查看更多評論
其他資訊

查看更多

Teledyne FLIR IIS宣布推出一款用于高精度機器人應(yīng)用的新型立體視覺產(chǎn)品

Teledyne FLIR IIS擴展其Forge相機系列,達到IP67防護等級,適用于智能農(nóng)業(yè)、食品和飲料行業(yè)

Sherlock AI 助力PCB產(chǎn)業(yè)流程完善及質(zhì)量提升

360° 球面視覺 | 移動地圖 - GIS 和 AEC

10GigE最佳實踐:設(shè)置單攝像頭系統(tǒng)