粉體行業在線展覽
AI智能視頻分析系統
面議
江蘇三恒
AI智能視頻分析系統
611
一、系統概述
煤礦Al智能視頻分析監控系統是以Al圖像智能識別技術為核心、通過人工智能深度學習技術學習總結大量煤礦井下攝像儀的視頻圖像數據的規律,實現對井下實時視頻畫面自動檢測分析,并作出提示、報警、控制等動作。
煤礦生產環境復雜,“人、機、環”安全狀態的不確定性,給傳統基于人工監測的手段帶來巨大挑戰。本產品面向煤炭企業用戶,提出基于“云、邊、端”架構和機算機視覺技術的定制化實時視頻智能識別范式,實現了“感知、預警、溯源、管理”的閉環。解決了傳統監測手段人工成本高、時效性差、無法量化的難題。
二、系統特點
1.自主創新研發深度學習算法
平臺采用自主創新研發適用于煤礦圖像識別的卷積神經網絡算法、深度殘差神經網絡算法、在線學習提升模型等,并結合動態分析預測模型和多冗余自學習決策機制,實現智能圖像分析、目標跟蹤識別以及重大危險源辨識預警,滿足特定場景下識別率≥99%、準確率≥99%。
2.自主推流、免插件訪問
平臺根據攝像頭通用視頻協議,服務器進行視頻流獲取解析并進行推流到標準websocket協議客戶端。客戶端通過標準通用協議進行訪問、并實現視頻流實時顯示、抓拍、錄像等功能。因此就不需要,基于攝像頭本身客戶端插件實時顯示視頻、抓圖等功能。從而實現自主推流、免客戶端插件安裝,使用效率更高、更便捷、更友好。此外,還針對主流監控設備廠家的攝像儀、硬盤錄像機進行了專項適配,使得視頻流更加流暢、實時和清晰。
3.視頻智能存儲
系統中如檢測到畫面長時間靜止不動,則會自動停止錄制視頻,相較于24小時不間斷的錄像,我們的軟件大大減少硬盤存儲壓力,并提高查找視頻的效率。此外,軟件直接提供用戶方便的視頻查詢與播放功能,無需繁瑣的瀏覽文件和額外的播放器,方便用戶查看以往視頻記錄。
4.智能檢索功能
平臺支持視頻配置接入、視頻監控、異常分析存儲等常用功能。支持關鍵詞對視頻進行檢索。隨著視頻數據和視頻標簽信息的積累,提供基于人工智能技術的智能視頻分析功能,提供的視頻標簽信息智能地對視頻內容進行學習,實現對視頻的智能分類管理和根據視頻內容的智能檢索功能。
5.多系統融合聯動功能
平臺支持多系統融合聯動功能,可以對精確定位數據進行深度應用,結合精確定位數據可以在監控中標識人員和設備的信息,配合Al智能云臺變焦攝像機可以實現智能追蹤功能,在必要情況下可以聯動相關系統的報警和控制設備。
三、系統組成
四、系統應用場景
1、皮帶運輸分析
皮帶運輸分析是為了解決現場井下皮帶運輸時的監控巡查問題。在皮帶運輸中,因從安全角度考慮,皮帶流開啟遵循自后向前,關閉遵循自前向后,嚴重影響生產效率,浪費電力資源。本產品通過對皮帶的視頻分析,可自動實現皮帶的煤流量、流速檢測,提供皮帶開停建議,實現提高生產效率、降低生產成本的功能。
主要功能是實現在視頻監控的基礎上實現實時煤流量的自動監測,將每個時刻的煤流寬度、高
度等消息進行識別,并集合PLC中皮帶速度等數據,將實時的煤流中用戶關心的實時提取出來。
另外,軟件還會對一些異常情況進行識別處理,主要包括:連續超載時報警、長期空載時報警、皮帶偏離時報警、嚴重異常時停止皮帶急停、畫面遮擋時報警、聯動其他系統等……
(1)皮帶跑偏識別及報警管理功能
通過視頻智能識別算法識別皮帶位置形態,監測皮帶是否跑偏,當出現跑偏時立即發送報警,平臺與報警點附近相關系統聯動(工業視頻系統、主煤流系統、調度通信系統、應急廣播系統和人員位置監測系統等)告知附近人員,及發出聲光警報提醒值班人員,進行報警處理。
(2)堆煤報警管理功能
實現智能分析生產過程中因下方皮帶突然停機而上方皮帶繼續生產或者有大塊物料卡住倉口而產生的堆煤狀況。下料倉口煤流堆起超過設定時間、高度時,平臺與報警點附近相關系統聯動(工業視頻系統、主煤流系統、調度通信系統、應急廣播系統和人員位置監測系統等)告知附近人員,及發出聲光警報提醒值班人員,進行報警處理,并記錄處理流程,截圖存證信息,以備管理使用。
(4)皮帶異物報警管理功能
實現智能視頻分析異物突然出現(如錨桿、鋼板、大塊矸石等)時的檢測,平臺可發出聲光警報提醒值班人員,并記錄處理流程,形成截圖存證信息,以備管理使用。
(5)煤流調速功能
通過視頻分析對皮帶運輸過程的空重載情況進行識別。實時識別皮帶是否空重載,并將識別結果存儲到數據庫,便于對皮帶運輸數據進行統計分析。當連續檢測到空重載達到一定時長時觸發報警并與與變頻器聯動和皮帶控制系統實現聯動,實現皮帶自動調速。
此外,還可以對皮帶運輸煤流體積進行識別,得到實時運輸的煤量占比與煤流體積,進而為用戶提供相關實時數據和統計數據,以不同的時間尺度呈現給用戶,可以對運輸系統的工作情況有更為直觀的感受,提供皮帶運輸管理參考。
對于一些運輸數據異常的時間點,也可以直接查看其時間節點的歷史視頻。
2、人員行為分析
(1)巡檢行為識別功能
通過視頻及人臉識別技術自動識別工作人員是否按規定對變電所進行巡檢,并記錄巡檢時間和巡檢次數。與人員位置監測系統聯動,識別該人員是否是巡檢人員,是否違規進入變電所,以及對巡檢過程進行截圖存照,保存巡檢視頻以便后續查看。
(2)電子圍欄識別功能
通過視頻監測人員是否站在軌道上或在道芯內,或其他不允許進入人員的區域。當出現時立即發送報警信號。與人員位置監測系統聯動并截圖存證,責任到人。
(3)人員穿戴檢測
人員穿戴檢測的工作原理是對是否佩戴個體防護設備進行實時分析錄制現場視頻、識別、跟蹤和報警,系統不依賴于其他傳感器,直接通過視頻實時分析和預警并上傳至管理系統服務器,然后服務器實時分析視頻流,通過精密的計算識別準確判定是否有違章不佩戴個體防護設備行為,如果發現工作人員未按要求佩戴個體防護設備,系統會自動發出警報,在提醒監理人員的同時,系統會自動保存時間、地點及相應的照片,作為處罰的依據,值班人員看到上傳的數據圖文可以遠程或者現場糾正監督佩戴個體防護設備。
可以說,人員穿戴檢測是應用在安全管理上更加有效的重要手段,為安全員進行現場監督提供了有力的技術保障。
(4)操作工離崗位檢測
自動識別、監測值班人員的在崗情況,24小時檢測識別,對工作人員的脫崗行為進行報警提醒高效監管,既能提高監控區域的安全性,避免因脫崗而造成損失或意外,減少人力監管成本,又能考核監控人員的工作質量。
(5)行車行人檢測
在軌道運輸場景下,軌道上的列車的行進速度較快,慣性大,一旦啟動很難剎車。因此鐵軌上的行人會對列車的行進造成很大的不良影響,甚至會威脅到人們的生命安全,帶來危險。通過行車行人檢測可以利用機器采集鐵軌的視頻幀圖像,并依據對視頻幀圖像中行人的檢測,提前做好相關防范措施。
(6)人員違規穿越皮帶及坐皮帶行為識別功能
可通過劃定皮帶區域,從視頻中自動檢測人員違規穿越皮帶及坐皮帶行為,并進行報警,與人員位置監測系統聯動并截圖存證,責任到人。
(7)**性檢測功能(人臉識別)
可通過人臉識別的手段,結合人員定位、精確定位等系統,實現井下人員軌跡查詢、人員考勤實時識別,綜合達到視頻檢索人員工作場景的功能。
3、熱成像分析
紅外熱像分析為井下隱性火區分布火源位置檢測、煤炭堆積自燃預防、頂板冒落和采取透水排查、礦用機械安全檢測等場景,提供結遠距離、零接觸、視頻顯示的紅外成像檢測,實現提前發現和排除熱故障隱患的一種礦用本質安全型紅外熱像儀。礦用本質安全型紅外熱像儀是利用紅外探測器和光學成像物鏡接受被礦用機械機電設備的紅外輻射能量分布圖形反映到紅外探測器的光敏元件上,從而獲得紅外熱像圖,這種熱像圖與物體表面的熱分布場相對應。
功能說明:
控制補償:通過熱像儀安裝位置,調整補償的區間幅值,補償分為﹔固定差值補償、比例誤差補償。
聯動告警:可以與其他監測監控系統聯動報警,振動、人員定位、無線通信、廣播。
定點溫度獲取:根據畫面像素點384*288(110592),通過圖像鼠標圈選,可以獲取到每個像素點溫度。
區域溫度獲取:根據畫面像素點384*288(110592),通過圖像鼠標圈選,可以獲取到區域中**溫度。
熱力圖獲取:通過手動、定時獲取指定區域監控熱力圖,保存期限60天。
熱力圖圖像分析對比:可以動態生成圖像色塊變化趨勢(5分鐘、60分、2小時、24小時)。
4、視頻打鉆智能分析
(1)實時監控功能
對于煤礦井下鉆桿抽采機工作視頻實時監控顯示,起到一個基礎的視頻監控功能。
(2)實時計數分析功能
通過對煤礦井下鉆桿計數常用方法的對比分析,結合井下鉆機打鉆場景的實際情況,采用計算機視覺技術的方法對打鉆視頻中鉆桿進行計數。主要通過對鉆桿目標分析識別,對傳統跟蹤算法進行了改進,利用對算法中反向投影圖的重新計算,將運動特征和顏色特征融入其中,有效地解決了由于井下光照不均引起的顏色相似干擾問題。同時,在鉆桿目標遇到遮擋的情況時融入濾波算法,進行運動軌跡預測分析,加入多區域相對校準識別,有效地解決了鉆桿目標被短暫全部遮擋的問題,提高了跟蹤的準確性和穩定性。另外,在固定場景下可通過現場提供的該場景工作視頻進行深度學習識別,提高其準確率。
(3)異常行為識別報警功能
在獲取到視頻的幀數據時,根據物體識別檢測的結果,判斷是否報警。將報警的數據,顯示到界面中,提示用戶給予干預,并進行記錄,實現可回查,可糾正,可備份。在實時檢測視頻數據過程中,根據物體識別的結果,判斷出如下集中類型的報警:
1)若長時間無法檢測到有效的鉆機位置,則報警(目標無法跟蹤)
2)若長時間不在鉆機的運動軌跡范圍內,則報警(目標超出軌跡范圍)
3)若長時間圖像沒有變化,則會提醒用戶停止錄像(無操作則自動執行)
4)若長時間圖像丟失,則會嘗試重新鏈接攝像頭。若重新連接后還是不能得到圖像信息,則報警(圖像丟失)。
(4)終端管理功能
顧名思義,就是對攝像機設備的添加、修改、刪除等功能操作。
(5)報警管理、回查功能
對歷史報警記錄提供根據時間、類型、地點等消息的多維度查詢功能,可實現對歷史報警時刻的視頻回放,全方面保障打鉆相關操作的安全性。
(6)歷史打鉆管理、錄入、回查功能
對于歷史打鉆記錄,軟件中都會進行記錄存儲,用戶也可以錄入更早的打鉆數據進行管理。若打鉆時軟件已啟用,則會自動錄像,用戶可直接調用播放當時的視頻圖像,以校驗、糾正、記錄或作為存證。
(7)歷史視頻檢索、分析功能
和人員定位系統的數據庫綁定后,可以針對時間、人員、工作模式等全維度的方式進行視頻檢索。極大的提升了檢索效率。對于歷史打鉆視頻,也提供了打鉆計數分析功能,可在歷史視頻回顧時進行計數分析,一來減輕用戶工作量,而來也可以對無人值守時的視頻進行計數分析、存儲及糾正。
5、多系統融合
(1)聯動報警
當異常情況出現時,可通過用戶配置進行多系統聯動報警提示。如出現人員翻越皮帶時,可同步調用廣播報警、違章人員定位確定、調度室提醒處理、違章信息截圖錄像保存等,實現多系統同步交互。
(2)人員標注
在視頻監控時,可結合人員定位、人臉識別等功能,實現圖像中人員身份識別并標注,進而達到人員檢索的效果。
(3)視頻聯動
實現視頻監控與其他系統聯動調用,開放視頻聯動接口,可有其他系統調用顯示。此外,還可實現云臺攝像儀自動對準對焦等。
(4)語音喊話
對于音視頻攝像儀,可實現語音對講功能,保證對于畫面中異常場景,監控人員可實現實時干預提醒。
GCG1000粉塵濃度傳感器
KXH18(C)礦用本安型控制器
GSH6礦用本安型速度傳感器
LH2礦用本安型電纜連接器
KLX4LM(A)本安型信息礦燈
GLY800/904G礦用本安型管道流量傳感器
GCQ管道用汽水分離裝置
KXJ8/660隔爆兼本安PLC控制器
TH12礦用本安型操作臺
KGT9-A、KGT9-E系列礦用機電設備開停傳感器
KJ973-F2金屬非金屬礦山綜合基站
YHSK40礦用本安型標識卡搜索儀