本發(fā)明一種采用視頻監(jiān)測和模擬相結(jié)合的人群失穩(wěn)閾值監(jiān)測方法及系統(tǒng)，涉及應(yīng)急疏散領(lǐng)域，具體涉及一種運(yùn)用計(jì)算機(jī)視覺技術(shù)和疏散模擬軟件相結(jié)合的實(shí)時(shí)監(jiān)測高密度人群的方法及系統(tǒng)。

背景技術(shù)：

1、通道疏散過程中，行人失穩(wěn)踩踏是一種典型的由外部干擾引發(fā)的不穩(wěn)定狀況，它成為影響后續(xù)疏散和救援行動(dòng)的關(guān)鍵因素。迅速發(fā)現(xiàn)并制止人群失穩(wěn)踩踏事件對(duì)于減少傷亡和財(cái)產(chǎn)損失方面極為關(guān)鍵。

2、目前，關(guān)于人群失穩(wěn)的研究主要采用構(gòu)建二剛體、四剛體和七剛體模型的方式，以此建立行人的動(dòng)力學(xué)方程，進(jìn)而對(duì)人體運(yùn)動(dòng)展開動(dòng)力學(xué)模擬與分析，探尋其動(dòng)態(tài)穩(wěn)定性的范圍。還有的是在社會(huì)力模型的基礎(chǔ)上，通過引入擁擠力和加入經(jīng)驗(yàn)公式等方法來改進(jìn)該模型，然后經(jīng)由力的計(jì)算得出人群失穩(wěn)的臨界判定標(biāo)準(zhǔn)。過去的研究大多側(cè)重于定性分析，在定量結(jié)論方面僅僅停留在力、加速度等層面，很少把視頻監(jiān)測技術(shù)運(yùn)用到人群監(jiān)測當(dāng)中，與模擬軟件相結(jié)合的情況更是極為罕見。

3、基于系統(tǒng)熵的人群失穩(wěn)閾值的視頻監(jiān)測和模擬相結(jié)合的方法為人群失穩(wěn)監(jiān)測提供了一個(gè)全新的手段，降低了解決問題的成本。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是針對(duì)背景技術(shù)所提出的問題，提供一種采用視頻監(jiān)測和模擬相結(jié)合的人群失穩(wěn)閾值監(jiān)測方法及系統(tǒng)，是一種基于系統(tǒng)熵，采用視頻監(jiān)測和模擬相結(jié)合的人群失穩(wěn)閾值監(jiān)測方法及系統(tǒng)，可以彌補(bǔ)目前高密度場景中視頻監(jiān)測與模擬相結(jié)合研究方面的空白，從而為應(yīng)急響應(yīng)和決策制定提供重要依據(jù)與技術(shù)支撐。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明是采用以下技術(shù)方案實(shí)現(xiàn)的：

3、一種采用視頻監(jiān)測和模擬相結(jié)合的人群失穩(wěn)閾值監(jiān)測方法，包括以下步驟：

4、步驟1，構(gòu)建虛擬環(huán)境，并采用高密度人群數(shù)據(jù)集圖片進(jìn)行訓(xùn)練；

5、步驟2，把訓(xùn)練好的模型同deepsort算法(多目標(biāo)跟蹤算法)相結(jié)合，載入現(xiàn)有的事故視頻，實(shí)施透視變換，提取行人的特征參數(shù)；

6、步驟3，對(duì)選定發(fā)生人員踩踏區(qū)域檢測框中的行人速度、密度、位置、數(shù)量等數(shù)據(jù)進(jìn)行計(jì)算得出速度密度，同時(shí)計(jì)算系統(tǒng)熵?cái)?shù)據(jù)，進(jìn)而得出人群失穩(wěn)的閾值；

7、步驟4，運(yùn)用anylogic軟件程序搭建場景，鎖定密度最大區(qū)域，將步驟3得到的人群失穩(wěn)的閾值輸入到anylogic軟件程序的狀態(tài)圖里，達(dá)成邏輯判斷；

8、步驟5，通過anylogic軟件程序?qū)崿F(xiàn)對(duì)行人行走邏輯的實(shí)時(shí)判斷；

9、步驟6，運(yùn)用anylogic軟件程序內(nèi)置的圖表功能，得出模擬場景內(nèi)不同長寬通道結(jié)構(gòu)下臨界人數(shù)的安全閾值，并且針對(duì)通用場景開展敏感性分析、敏感程度的比較及轉(zhuǎn)換時(shí)間規(guī)律分析的監(jiān)測工作。

10、進(jìn)一步的，步驟1通過anconda軟件程序構(gòu)建虛擬環(huán)境；選用crowdhuman高密度人群數(shù)據(jù)集，并從已經(jīng)發(fā)生踩踏事故的視頻里挑選出不同角度、不同視點(diǎn)拍攝的高分辨率、高清晰度且避免模糊和噪聲的高密度圖片來用于訓(xùn)練。

11、進(jìn)一步的，所述步驟1基于yolov8基礎(chǔ)模型構(gòu)建虛擬環(huán)境，訓(xùn)練好的模型通過如下參數(shù)進(jìn)行檢驗(yàn)：

12、通過使用precision(精確率)、recall(召回率)、map(平均精度)、map@.5、map@.5:.95來全面衡量每種算法的綜合檢測能力；

13、所述精確率和召回率的計(jì)算公式如下：

14、

15、其中，p表示模型預(yù)測的精確率，r表示模型預(yù)測的召回率，tp表示正確分類為正樣本的數(shù)量，fp表示錯(cuò)誤分類為正樣本的數(shù)量，fn表示錯(cuò)誤分類為負(fù)樣本的數(shù)量。

16、

17、其中，ap表示在不同置信閾值下特定類別的精確召回率曲線下的面積；map表示平均精度，是目標(biāo)檢測算法中最重要的指標(biāo)之一，其值始終在[0,1]區(qū)間內(nèi)；

18、map@0.5為平均精度(iou＝0.5)，即當(dāng)閾值iou設(shè)置為0.5時(shí)，計(jì)算每個(gè)類別下所有圖像的平均ap；所述iou閾值用于衡量兩個(gè)邊界框之間重疊程度的指標(biāo)；

19、map@0.5:0.95表示在多個(gè)iou閾值(閾值取值范圍從0.5到0.95，步長為0.05，當(dāng)閾值取值為0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.8和0.95)下計(jì)算得到的平均map；map值越大，曲線越平滑，表明模型的網(wǎng)絡(luò)性能越好。

20、進(jìn)一步的，步驟2中采用的透視變換如公式如下：

21、

22、式中(x,y)為原始圖像的點(diǎn)，(x'，y')為轉(zhuǎn)換后的點(diǎn)，(x,y,1)為(x,y)的齊次坐標(biāo)；w’表示第三個(gè)坐標(biāo)；a為透視變換矩陣，a∈r3×3；其中，a11、a12、a13、a21、a22、a23、a31和a32是透視變換矩陣中的元素；a33為比例因子，通常設(shè)為1。

23、由于變換是在齊次坐標(biāo)下進(jìn)行的，因此需要將第三個(gè)坐標(biāo)w’進(jìn)行歸一化處理，實(shí)際尺寸的像素坐標(biāo)x，y表示為公式(6)和(7)；將公式(6)和(7)兩邊同時(shí)乘以w’轉(zhuǎn)化為公式(8)和(9)。

24、x＝a11x+a21y+a31-a13xx-a23yx?(8)

25、y＝a12x+a22y+a32-a13xy-a23yy?(9)

26、在實(shí)際應(yīng)用中，從源圖像和目標(biāo)圖像中分別挑選出4個(gè)關(guān)鍵點(diǎn)(共8個(gè)點(diǎn))來計(jì)算變換矩陣，并在源圖像和目標(biāo)圖像上一一標(biāo)出這8個(gè)點(diǎn)；因此，包含這8個(gè)點(diǎn)以及變換矩陣的矩陣形式的線性方程組便可以用公式(10)表示。方程(10)中，共有八個(gè)未知數(shù)代表變換矩陣的八個(gè)自由度。

27、

28、鑒于這8個(gè)點(diǎn)的坐標(biāo)已知，因此可以通過方程(10)來求解這8個(gè)未知數(shù)。在opencv庫里，可使用“getperspectivetransform”函數(shù)來完成這一計(jì)算任務(wù)，通過計(jì)算返回變換矩陣；最后，將源圖像中四邊形區(qū)域內(nèi)的所有其他點(diǎn)通過圖像插值方法(如三次插值、最近鄰插值和雙線性插值)映射到目標(biāo)圖像；

29、所述getperspectivetransform函數(shù)通過給定的源圖像中的四個(gè)點(diǎn)和目標(biāo)圖像中的四個(gè)點(diǎn)來計(jì)算一個(gè)3x3的透視變換矩陣。

30、進(jìn)一步的，步驟3中人群速度和密度的計(jì)算公式如下：

31、

32、式中，c代表所畫檢測框中檢測的人數(shù)，s代表對(duì)應(yīng)實(shí)際場景檢測框的面積，行人在t2幀時(shí)的坐標(biāo)為(x2,y2),在t1幀的坐標(biāo)為(x1,y1)，△t＝t2-t1。

33、進(jìn)一步的，步驟3中，描述系統(tǒng)熵?cái)?shù)據(jù)計(jì)算公式如下：

34、

35、式中，δ是系統(tǒng)熵，u是廣義力，表示人群壓力；j是廣義流量，表示人數(shù)；表示群體所受壓力，單位是ped/(m*s)；n為研究區(qū)域的人數(shù)，單位為ped。

36、群體壓力與n的計(jì)算分別如公式(14)和(15)所示；

37、

38、式中，ρ表示區(qū)域人群密度，單位為ped/m2；t表示人群的運(yùn)動(dòng)時(shí)間，單位為s，即秒；表示速度與目標(biāo)區(qū)域之間的夾角，單位為rad；δv表示人群速度的變化驅(qū)動(dòng)壓力變化，單位為m/s；δa為研究區(qū)域面積，單位為m2；

39、將公式(14)和(15)代入公式(13)得公式(16)；

40、

41、根據(jù)局部平衡假設(shè)，研究區(qū)域熵產(chǎn)為:

42、

43、由此可以得出，熵產(chǎn)是人群密度、速度變化和研究區(qū)域面積的函數(shù)。

44、熵是一個(gè)與系統(tǒng)過程無關(guān)的狀態(tài)變量。當(dāng)系統(tǒng)達(dá)到平衡狀態(tài)時(shí)，熵是完全確定的，與達(dá)到平衡的路徑無關(guān)。在初始狀態(tài)下，最大速度為v0，人群密度為ρ0，熵產(chǎn)為0，人群壓力為0，系統(tǒng)處于平衡狀態(tài)。因此，系統(tǒng)熵為s0＝0。在這種情況下，人群是自由流動(dòng)的。

45、任何其他平衡態(tài)的熵可以表示為：

46、

47、進(jìn)一步的，人群疏散分為穩(wěn)態(tài)疏散與非穩(wěn)態(tài)疏散兩種不同的狀態(tài)：

48、在穩(wěn)態(tài)疏散狀態(tài)下，系統(tǒng)熵為穩(wěn)態(tài)人群系統(tǒng)熵；在穩(wěn)定階段，人群的速度和密度不隨時(shí)間變化，研究區(qū)域的人口流入和流出是相同的，整個(gè)區(qū)域處于均衡狀態(tài)；系統(tǒng)熵表示為：

49、

50、在非穩(wěn)態(tài)疏散狀態(tài)下，系統(tǒng)熵為非穩(wěn)態(tài)人群系統(tǒng)熵；在高人群密度的情況下，一些人會(huì)因?yàn)橥蝗患铀倩蚓o急情況而沖擊正常人群；假設(shè)在短時(shí)間內(nèi)，人群速度由v1變?yōu)関2，密度由ρ1變?yōu)棣?，則系統(tǒng)熵表示為：

51、

52、其中，dρ表示變量ρ的微分，dv表示變量v的微分，da表示變量a的微分。

53、進(jìn)一步的，在步驟4中，根據(jù)anylogic所搭建場景的實(shí)際情況將場景等分成若干個(gè)監(jiān)測區(qū)域；從所述監(jiān)測區(qū)域中提取人群密度，確定最大密度區(qū)域；將步驟3得到的人群失穩(wěn)的閾值輸入到anylogic軟件程序的狀態(tài)圖里，即將計(jì)算機(jī)得出的臨界密度、速度、系統(tǒng)熵臨界數(shù)據(jù)與anylogic軟件最大密度區(qū)域?qū)?yīng)得出的數(shù)據(jù)在狀態(tài)圖變遷中進(jìn)行比較，若滿足條件(均達(dá)到臨界閾值)發(fā)生跌倒，以此構(gòu)建計(jì)算機(jī)技術(shù)與模擬場景的結(jié)合。

54、進(jìn)一步，步驟5將所述步驟3得出的人群失穩(wěn)的閾值具體輸入到行人初始狀態(tài)框的變遷中，若密度最大區(qū)域未達(dá)到人群失穩(wěn)的臨界條件，那么行人不會(huì)跌倒，邏輯判斷結(jié)束；

55、否則，發(fā)出指令，在下一個(gè)狀態(tài)框的變遷中判斷行人是否在密度最大區(qū)域(前面鎖定的密度最大區(qū)域)內(nèi)，如果在該密度最大區(qū)域內(nèi)，則會(huì)發(fā)生跌倒現(xiàn)象；

56、如在該密度最大區(qū)域外，則繼續(xù)在再下一個(gè)狀態(tài)框的變遷中進(jìn)行逐一檢查；如果密度最大區(qū)域外的行人與密度最大區(qū)域內(nèi)跌倒的行人的距離小于跌倒所需占用的空間，則發(fā)出指令，預(yù)判這些區(qū)域外的行人也會(huì)跌倒；對(duì)于其余的區(qū)域外行人，則引導(dǎo)通過最短路徑進(jìn)行疏散。

57、本發(fā)明還提供了一種采用視頻監(jiān)測和模擬相結(jié)合的人群失穩(wěn)閾值監(jiān)測方法的監(jiān)測系統(tǒng)，包括：

58、數(shù)據(jù)集圖片訓(xùn)練模塊，用于構(gòu)建虛擬環(huán)境，并采用高密度人群數(shù)據(jù)集圖片進(jìn)行訓(xùn)練；

59、特征參數(shù)提取模塊，用于把訓(xùn)練好的模型同deepsort算法(多目標(biāo)跟蹤算法)相結(jié)合，載入現(xiàn)有的事故視頻，實(shí)施透視變換，提取行人的特征參數(shù)；

60、人群失穩(wěn)閾值獲取模塊，用于對(duì)選定發(fā)生人員踩踏區(qū)域檢測框中的行人速度、密度、位置、數(shù)量等數(shù)據(jù)進(jìn)行計(jì)算得出速度密度，同時(shí)計(jì)算系統(tǒng)熵?cái)?shù)據(jù)，進(jìn)而得出人群失穩(wěn)的閾值；

61、邏輯判斷模塊，用于通過anylogic軟件程序搭建場景，鎖定密度最大區(qū)域，將人群失穩(wěn)的閾值輸入到anylogic軟件程序的狀態(tài)圖里，達(dá)成邏輯判斷；

62、行走邏輯實(shí)時(shí)判斷模塊，用于通過anylogic軟件程序?qū)崿F(xiàn)對(duì)行人行走邏輯的實(shí)時(shí)判斷；

63、監(jiān)測分析模塊，用于運(yùn)用anylogic軟件程序內(nèi)置的圖表功能，得出模擬場景內(nèi)不同長寬通道結(jié)構(gòu)下臨界人數(shù)的安全閾值，并且針對(duì)通用場景開展敏感性分析、敏感程度的比較及轉(zhuǎn)換時(shí)間規(guī)律分析的監(jiān)測工作。

64、進(jìn)一步的，所述數(shù)據(jù)集圖片訓(xùn)練模塊通過anconda軟件程序構(gòu)建虛擬環(huán)境；選用crowdhuman高密度人群數(shù)據(jù)集，并從已經(jīng)發(fā)生踩踏事故的視頻里挑選出不同角度、不同視點(diǎn)拍攝的高分辨率、高清晰度且避免模糊和噪聲的高密度圖片來用于訓(xùn)練。

65、進(jìn)一步的，所述特征參數(shù)提取模塊通過與現(xiàn)有成熟的deepsort算法結(jié)合，加載現(xiàn)有的事故視頻，運(yùn)用透視變換校正視角畸變，運(yùn)用計(jì)算公式來提取行人的特征參數(shù)。

66、進(jìn)一步的，人群失穩(wěn)閾值獲取模塊選取多個(gè)發(fā)生踩踏事故的視頻進(jìn)行特征參數(shù)的提取，將行人由站立至跌倒的數(shù)值作為人群失穩(wěn)的臨界條件，以此得出臨界條件的范圍，并輸入到anylogic狀態(tài)圖中建立聯(lián)系。

67、進(jìn)一步的，邏輯判斷模塊提取可能發(fā)生跌倒行為的人群密度最大區(qū)域進(jìn)行監(jiān)測。如果監(jiān)測區(qū)域未達(dá)到臨界范圍，行人正常疏散，否則更進(jìn)一步進(jìn)行行走邏輯實(shí)時(shí)判斷。

68、進(jìn)一步的，行走邏輯實(shí)時(shí)判斷模塊因達(dá)到臨界條件，系統(tǒng)將進(jìn)一步判斷行人是否在最大密度區(qū)域內(nèi)。如若行人在最大密度區(qū)域內(nèi)，則預(yù)判發(fā)生跌倒。對(duì)于最大密度區(qū)域外的行人，系統(tǒng)會(huì)進(jìn)行遍歷檢查，如果與最大密度區(qū)域內(nèi)跌倒的行人的距離小于跌倒所需占用的空間，則預(yù)判最大密度區(qū)域外的行人也會(huì)跌倒。對(duì)于剩余的最大密度區(qū)域外行人，系統(tǒng)將引導(dǎo)他們通過最短路徑進(jìn)行疏散。

69、進(jìn)一步的，監(jiān)測分析模塊可通過anylogic軟件搭建通用疏散場景，然后依據(jù)前述構(gòu)建好的模塊，得出不同長寬通道結(jié)構(gòu)下臨界人數(shù)的安全閾值。并且，針對(duì)通用場景，該模塊還能開展敏感性分析、敏感程度比較以及轉(zhuǎn)換時(shí)間規(guī)律分析等監(jiān)測工作。

70、有益效果：本發(fā)明著眼于解決人群失穩(wěn)閾值的視頻監(jiān)測與模擬相結(jié)合這一問題，進(jìn)一步拓展了yolo模型的應(yīng)用范圍，提出一種將視頻監(jiān)測技術(shù)和模擬相融合的方法，即將視頻監(jiān)測所提取的人群失穩(wěn)閾值數(shù)據(jù)輸入到現(xiàn)有的模擬軟件當(dāng)中。與傳統(tǒng)疏散模型相比，本發(fā)明方法能夠給出更為精確、安全的疏散建議，對(duì)提升緊急疏散的效率與安全性有幫助；與傳統(tǒng)模型相比，能更好地對(duì)風(fēng)險(xiǎn)進(jìn)行評(píng)估，助力人們更有效地預(yù)防因人群失穩(wěn)而引發(fā)的踩踏事故，從而減少人員傷亡和財(cái)產(chǎn)損失的風(fēng)險(xiǎn)。

71、本發(fā)明通過將視頻監(jiān)測技術(shù)與模擬技術(shù)有機(jī)地結(jié)合起來，為緊急疏散領(lǐng)域提供了一種更加先進(jìn)、高效的解決辦法。