本發(fā)明涉及機器人，尤其涉及一種教學(xué)類視頻具身服務(wù)方法及相關(guān)裝置。

背景技術(shù)：

1、機器人技術(shù)在近年來取得了顯著的進展，并逐漸從機械臂演化成為人形機器人，并用到各個領(lǐng)域中。由于人形機器人具有的擬人外形、靈活移動、具身智能、外表親和等等特點，使得人形機器人應(yīng)用在日常教學(xué)等方面具有顯著優(yōu)勢。

2、具身智能是一種通過將感知、決策和行動融合在一起，使機器能夠像人類一樣具備身體和運動能力的概念，使機器人能夠根據(jù)環(huán)境變化進行自主運動，靈活適應(yīng)不同的任務(wù)和工作環(huán)境，人形機器人由于其具身智能的特性，人形機器人基于具身智能的特性可以進行具身服務(wù)，通過智能系統(tǒng)與環(huán)境的實時互動，為用戶提供更加個性化和高效的服務(wù)體驗。

3、兒童教育是針對兒童進行德育、智育、體育等方面的培養(yǎng)和訓(xùn)練。它是提高人口素質(zhì)的重要環(huán)節(jié)。目前，對于低齡人群的教學(xué)往往需要花費大量的時間和精力，而很多情況下照顧者可能無法抽出充足時間對低齡人群進行教學(xué)。人形機器人可以彌補這一問題，進行教學(xué)任務(wù)。而目前，人形機器人需要先對人類的演示和對應(yīng)指令進行學(xué)習(xí)，從人類演示中提取技能信息并學(xué)習(xí)，進而進行演示學(xué)習(xí)，具有不夠智能，不能靈活調(diào)整學(xué)習(xí)內(nèi)容。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供了一種教學(xué)類視頻具身服務(wù)方法及相關(guān)裝置，能夠靈活針對不同輸入內(nèi)容進行教學(xué)演示，有利于提高人形機器人具身服務(wù)的靈活性和智能性。

2、第一方面，本技術(shù)實施例提供一種教學(xué)類視頻具身服務(wù)方法，應(yīng)用于人形機器人的控制器，人形機器人與移動終端通信連接，方法包括：

3、獲取來自移動終端的多個動作環(huán)節(jié)配置數(shù)據(jù)集，多個動作環(huán)節(jié)配置數(shù)據(jù)集與教學(xué)任務(wù)的多個動作任務(wù)具有對應(yīng)關(guān)系，單個動作任務(wù)的單個動作環(huán)節(jié)配置數(shù)據(jù)集包括單個幀圖像、單個動作參數(shù)集以及單個動作任務(wù)約束條件，單個動作任務(wù)約束條件為單個動作任務(wù)流轉(zhuǎn)至下一個單個動作任務(wù)或者確認(rèn)教學(xué)任務(wù)已完成的觸發(fā)條件；

4、根據(jù)單個動作參數(shù)集控制人形機器人對第一目標(biāo)物體進行操作教學(xué)，第一目標(biāo)物體為人形機器人的操作對象；

5、控制人形機器人獲取第一物體狀態(tài)圖像和第二物體狀態(tài)圖像，第一物體狀態(tài)圖像為單個動作任務(wù)完成時第一目標(biāo)物體的影像，第二物體狀態(tài)圖像為單個動作任務(wù)完成時第二目標(biāo)物體的影像，第二目標(biāo)物體為用戶的操作對象；

6、根據(jù)第一物體狀態(tài)圖像與單個幀圖像的關(guān)系確定機器人任務(wù)完成度，以及，根據(jù)第二物體狀態(tài)圖像與單個幀圖像確定用戶任務(wù)完成度；

7、根據(jù)機器人任務(wù)完成度、用戶任務(wù)完成度以及動作任務(wù)約束條件，對接續(xù)的單個動作任務(wù)基于接續(xù)對應(yīng)的動作環(huán)節(jié)配置數(shù)據(jù)集進行操作教學(xué)，直至確認(rèn)教學(xué)任務(wù)已完成。

8、在一種可能的實施例中，人形機器人還包括頭部結(jié)構(gòu)，頭部結(jié)構(gòu)設(shè)置有畫面獲取裝置，控制人形機器人基于目標(biāo)角度獲取第一物體狀態(tài)圖像和第二物體狀態(tài)圖像包括：

9、根據(jù)單個幀圖像獲取單個幀圖像的拍攝角度；

10、根據(jù)拍攝角度和頭部結(jié)構(gòu)的位置參數(shù)得到目標(biāo)角度，目標(biāo)角度為人形機器人的頭部結(jié)構(gòu)的旋轉(zhuǎn)角度，頭部結(jié)構(gòu)的位置參數(shù)為頭部結(jié)構(gòu)與第一目標(biāo)物體或第二目標(biāo)物體的相對位置；

11、根據(jù)目標(biāo)角度控制人形機器人的頭部結(jié)構(gòu)調(diào)整位置，使得畫面獲取裝置獲取到的畫面角度與單個幀圖像的畫面角度一致；

12、獲取第一物體狀態(tài)圖像和第二物體狀態(tài)圖像。

13、在一種可能的實施例中，根據(jù)第一物體狀態(tài)圖像與單個幀圖像的關(guān)系確定機器人任務(wù)完成度包括：

14、根據(jù)第一物體狀態(tài)圖像得到第一圖像特征，以及，根據(jù)單個幀圖像得到第二圖像特征；

15、根據(jù)第一圖像特征和第二圖像特征進行誤差分析，得到機器人任務(wù)完成度。

16、在一種可能的實施例中，根據(jù)第二物體狀態(tài)圖像與單個幀圖像確定用戶任務(wù)完成度包括：

17、根據(jù)二物體狀態(tài)圖像得到第三圖像特征，以及，根據(jù)單個幀圖像得到第四圖像特征；

18、根據(jù)第三圖像特征和第四圖像特征進行誤差分析，得到用戶任務(wù)完成度。

19、在一種可能的實施例中，動作任務(wù)約束條件包括機器人任務(wù)完成度滿足第一完成度閾值和/或用戶任務(wù)完成度滿足第二完成度閾值，根據(jù)機器人任務(wù)完成度、用戶任務(wù)完成度以及動作任務(wù)約束條件，對接續(xù)的單個動作任務(wù)基于接續(xù)對應(yīng)的動作環(huán)節(jié)配置數(shù)據(jù)集進行操作教學(xué)包括：

20、判斷機器人任務(wù)完成度是否滿足第一完成度閾值，以及，判斷用戶任務(wù)完成度是否滿足第二完成度閾值，第一完成度閾值和第二完成度閾值為預(yù)設(shè)的閾值；

21、若機器人任務(wù)完成度滿足第一完成度閾值，且用戶任務(wù)完成度滿足第二完成度閾值，則流轉(zhuǎn)至接續(xù)的單個動作任務(wù)，并基于接續(xù)對應(yīng)的動作環(huán)節(jié)配置數(shù)據(jù)集對接續(xù)的單個動作任務(wù)進行操作教學(xué)；

22、若機器人任務(wù)完成度不滿足第一完成度閾值或用戶任務(wù)完成度不滿足第一完成度閾值，則重新對當(dāng)前的單個動作任務(wù)進行操作教學(xué)。

23、在一種可能的實施例中，動作環(huán)節(jié)配置數(shù)據(jù)集還包括該動作任務(wù)的任務(wù)幀圖像，任務(wù)幀圖像為除單個幀圖像以外的其他幀圖像，任務(wù)幀圖像為單個動作任務(wù)在非完成狀態(tài)下的影響信息，方法還包括：

24、若機器人任務(wù)完成度滿足第一完成度閾值，對第一物體狀態(tài)圖像對應(yīng)的單個動作任務(wù)的動作環(huán)節(jié)配置數(shù)據(jù)集進行存儲；當(dāng)接收到用戶發(fā)出的疑問指令，則控制人形機器人的畫面獲取裝置獲取第三物體狀態(tài)圖像，第三物體狀態(tài)圖像為人形機器人獲取的當(dāng)前的用戶的操作目標(biāo)的圖像；

25、基于第三物體狀態(tài)圖像匹配對應(yīng)的任務(wù)幀圖像或單個幀圖像；

26、基于任務(wù)幀圖像或單個幀圖像對應(yīng)的單個動作任務(wù)，調(diào)取單個動作任務(wù)對應(yīng)的動作環(huán)節(jié)配置數(shù)據(jù)集；

27、基于調(diào)取的動作環(huán)節(jié)配置數(shù)據(jù)集以及動作模仿系統(tǒng)控制人形機器人對第一目標(biāo)物體進行操作教學(xué)，動作模仿系統(tǒng)用于將單個動作參數(shù)集轉(zhuǎn)化為機器任務(wù)。

28、在一種可能的實施例中，人形機器人還包括音頻播放裝置，動作環(huán)節(jié)配置數(shù)據(jù)集還包括多個音頻，單個音頻與單個動作任務(wù)對應(yīng)，方法還包括：

29、在人形機器人為對單個動作任務(wù)進行操作教學(xué)的狀態(tài)時，控制音頻播放裝置播放與單個動作任務(wù)對應(yīng)的單個音頻；

30、若操作教學(xué)在暫停教學(xué)狀態(tài)，則暫停播放單個音頻，暫停教學(xué)狀態(tài)表征當(dāng)前人形機器人未處在操作教學(xué)的狀態(tài)。

31、在一種可能的實施例中，獲取來自移動終端的多個動作環(huán)節(jié)配置數(shù)據(jù)集包括：

32、檢測用戶是否輸入目標(biāo)教學(xué)視頻，若檢測到目標(biāo)教學(xué)視頻，則對目標(biāo)教學(xué)視頻進行幀圖像拆分，得到多個教學(xué)幀圖像；

33、根據(jù)多個教學(xué)幀圖像進行動作任務(wù)分割得到多個動作任務(wù)，單個動作任務(wù)包括至少一個教學(xué)幀圖像；

34、根據(jù)多個動作任務(wù)生成動作環(huán)節(jié)配置數(shù)據(jù)集。

35、第二方面，本技術(shù)實施例提供一種教學(xué)類視頻具身服務(wù)裝置，應(yīng)用于人形機器人的控制器，人形機器人與移動終端通信連接，裝置包括：

36、數(shù)據(jù)獲取模塊，用于獲取來自移動終端的多個動作環(huán)節(jié)配置數(shù)據(jù)集，多個動作環(huán)節(jié)配置數(shù)據(jù)集與教學(xué)任務(wù)的多個動作任務(wù)具有對應(yīng)關(guān)系，時序約束關(guān)系表征多個動作任務(wù)在目標(biāo)教學(xué)視頻中的時序關(guān)系，單個動作任務(wù)的單個動作環(huán)節(jié)配置數(shù)據(jù)集包括單個幀圖像、單個動作參數(shù)集以及單個動作任務(wù)約束條件，單個動作任務(wù)約束條件為單個動作任務(wù)流轉(zhuǎn)至下一個動作任務(wù)或者確認(rèn)教學(xué)任務(wù)已完成的觸發(fā)條件；

37、第一操作教學(xué)模塊，用于根據(jù)單個動作參數(shù)集控制人形機器人對第一目標(biāo)物體進行操作教學(xué)，第一目標(biāo)物體為人形機器人的操作對象；

38、狀態(tài)圖像獲取模塊，用于控制人形機器人獲取第一物體狀態(tài)圖像和第二物體狀態(tài)圖像，第一物體狀態(tài)圖像為單個動作任務(wù)完成時第一目標(biāo)物體的影像第二物體狀態(tài)圖像為單個動作任務(wù)完成時第二目標(biāo)物體的影像，第二目標(biāo)物體為用戶的操作對象；

39、完成度確定模塊，用于根據(jù)第一物體狀態(tài)圖像與單個幀圖像的關(guān)系確定機器人任務(wù)完成度，以及，根據(jù)第二物體狀態(tài)圖像與單個幀圖像確定用戶任務(wù)完成度；

40、第二操作教學(xué)模塊，用于根據(jù)機器人任務(wù)完成度、用戶任務(wù)完成度以及動作任務(wù)約束條件，對接續(xù)的單個動作任務(wù)基于接續(xù)對應(yīng)的動作環(huán)節(jié)配置數(shù)據(jù)集進行操作教學(xué)，直至確認(rèn)教學(xué)任務(wù)已完成。

41、第三方面，本技術(shù)實施例提供一種計算機可讀存儲介質(zhì)，其上存儲有教學(xué)類視頻具身服務(wù)程序，包括執(zhí)行指令，當(dāng)處理器執(zhí)行執(zhí)行指令，處理器執(zhí)行如第一方面所描述的部分或全部步驟。

42、第四方面，本技術(shù)實施例提供一種電子設(shè)備，包括處理器以及存儲有執(zhí)行指令的存儲器，上述一個或多個程序被存儲在上述存儲器中，當(dāng)處理器執(zhí)行存儲器存儲的執(zhí)行指令時，處理器執(zhí)行如第一方面所描述的部分或全部步驟。

43、第五方面，本技術(shù)實施例提供了一種計算機程序產(chǎn)品，其中，上述計算機程序產(chǎn)品包括存儲了計算機程序的非瞬時性計算機可讀存儲介質(zhì)，上述計算機程序可操作來使計算機執(zhí)行如本技術(shù)實施例第一方面中所描述的部分或全部步驟。該計算機程序產(chǎn)品可以為一個軟件安裝包。

44、通過實施本技術(shù)實施例，獲取來自移動終端的多個動作環(huán)節(jié)配置數(shù)據(jù)集，多個動作環(huán)節(jié)配置數(shù)據(jù)集與教學(xué)任務(wù)的多個動作任務(wù)具有對應(yīng)關(guān)系，單個動作任務(wù)的單個動作環(huán)節(jié)配置數(shù)據(jù)集包括單個幀圖像、單個動作參數(shù)集以及單個動作任務(wù)約束條件，單個動作任務(wù)約束條件為單個動作任務(wù)流轉(zhuǎn)至下一個動作任務(wù)或者確認(rèn)教學(xué)任務(wù)已完成的觸發(fā)條件，根據(jù)單個動作參數(shù)集控制人形機器人對第一目標(biāo)物體進行操作教學(xué)，第一目標(biāo)物體為人形機器人的操作對象，控制人形機器人獲取第一物體狀態(tài)圖像和第二物體狀態(tài)圖像，第一物體狀態(tài)圖像為單個動作任務(wù)完成時第一目標(biāo)物體的影像，第二物體狀態(tài)圖像為單個動作任務(wù)完成時第二目標(biāo)物體的影像，第二目標(biāo)物體為用戶的操作對象，根據(jù)第一物體狀態(tài)圖像與單個幀圖像的關(guān)系確定機器人任務(wù)完成度，以及，根據(jù)第二物體狀態(tài)圖像與單個幀圖像確定用戶任務(wù)完成度，根據(jù)機器人任務(wù)完成度、用戶任務(wù)完成度以及動作任務(wù)約束條件，對接續(xù)的單個動作任務(wù)基于接續(xù)對應(yīng)的動作環(huán)節(jié)配置數(shù)據(jù)集進行操作教學(xué)，直至確認(rèn)教學(xué)任務(wù)已完成。相較于現(xiàn)有的機器人直接基于人類演示視頻生成演示方案的策略，本方案對待演示的目標(biāo)教學(xué)視頻進行任務(wù)拆分并基于每一個動作任務(wù)之間增加了流轉(zhuǎn)判斷條件，基于用戶的實際情況進行演示或暫停或重復(fù)演示，提高了人形機器人教學(xué)類視頻具身服務(wù)的靈活性和智能性，有利于提高針對不同教學(xué)情況的個性化程度，提升用戶體驗感。