AI.MRTP 融合永道AI視覺(jué)分析模型訓(xùn)練平臺(tái)

1. 概述

AI.MRTP是深圳融合永道科技有限公司研發(fā)的視覺(jué)檢測(cè)模型訓(xùn)練平臺(tái)服務(wù)器一體機(jī)產(chǎn)品，為公司AI視覺(jué)分析服務(wù)器一體機(jī)、AI視覺(jué)分析盒子終端、AI視覺(jué)分析攝像機(jī)提供了強(qiáng)有力的技術(shù)支撐，該系統(tǒng)操作簡(jiǎn)易便捷，功能強(qiáng)大穩(wěn)定，具有良好的可用性，對(duì)操作人員無(wú)技術(shù)門檻要求，訓(xùn)練生產(chǎn)的模型能支持全Nvidia顯卡/GPU卡、Ascend 310(Atlas 全系卡)、RK 3568/3588/1109/1126等,并支持將模型轉(zhuǎn)換為我司AIBOX系列產(chǎn)品需要的模型，大大提升了視覺(jué)分析模型生產(chǎn)定制效率。

本系統(tǒng)采用Client/Server架構(gòu)，訓(xùn)練服務(wù)器程序部署于訓(xùn)練服務(wù)器運(yùn)行，操作客戶端和序部署在Windows客戶端電腦，所有操作全部用客戶端操作完成。

2. 客戶端操作功能

2.1 登錄

如上圖客戶端登錄界面，在服務(wù)器地址填寫上訓(xùn)練服務(wù)器的IP,服務(wù)器端口項(xiàng)填寫通訊端口(默認(rèn)為9501)，在用戶名/密碼項(xiàng)填寫登錄用戶名及密碼（默認(rèn)超級(jí)用戶名密碼都是admin），點(diǎn)擊“登錄”按鈕，進(jìn)入主界面：

2.2 模型管理

2.2.1 建立模型

在客戶端主界面，點(diǎn)擊“創(chuàng)建模型”工具欄按鈕，彈出如下界面：

如 上圖示，輸入模型名稱（可以用英文字母和數(shù)字，不要出現(xiàn)特殊字符和中文漢字），備注字段可以使用中文，模型的對(duì)象類別預(yù)置時(shí)，對(duì)象類別欄用英文字母或數(shù)字，類別名稱可以漢字，不要出現(xiàn)特殊字符

點(diǎn)擊“確定”按鈕，保存模型信息。服務(wù)器上會(huì)自動(dòng)建立一個(gè)該模型的初始信息目錄。

點(diǎn)擊“取消”按鈕，放棄退出。

2.2.2 修改模型

模型信息支持修改備注信息，添加修改刪除對(duì)象類別信息，模型名稱一旦建立，不可修改。界面與創(chuàng)建模型一致。

2.1.3 刪除模型

   點(diǎn)擊主界面工具欄的“刪除模型”按鈕，彈出提示框，點(diǎn)擊“是” 按鈕，刪除模型，注意模型一旦刪除不可恢復(fù)。

2.3 數(shù)據(jù)集管理

2.3.1 添加、移除數(shù)據(jù)集

點(diǎn)擊主界面模型列表，某個(gè)模型行中的“數(shù)據(jù)集”按鈕列，彈出數(shù)據(jù)集管理界面，如下圖：

如上圖，點(diǎn)擊“創(chuàng)建數(shù)據(jù)集”按鈕，彈出如下界面：

如上圖，輸入數(shù)據(jù)集名稱，名稱不要存在漢字和特殊字符，點(diǎn)擊“確定”按鈕保存，點(diǎn)擊“取消”按鈕放棄創(chuàng)建。

2.3.2 上傳樣本圖片到數(shù)據(jù)集

在數(shù)據(jù)集管理界面內(nèi)，先點(diǎn)擊選中數(shù)據(jù)集列表中的項(xiàng)目，點(diǎn)擊工具欄菜單內(nèi)的“導(dǎo)入圖片”按鈕，彈出導(dǎo)入圖片樣本的UI界面：

如上圖，點(diǎn)擊“瀏覽...”按鈕，選中您的圖片樣本目錄，如果本地目錄內(nèi)的文件可能與服務(wù)器上的樣本圖片重點(diǎn)的話，選中重新自動(dòng)命名選項(xiàng)，如果本地目錄已經(jīng)用別的工具打好的標(biāo)注的樣本目錄，則可以選中導(dǎo)入Txt標(biāo)注文件選項(xiàng)，點(diǎn)擊“開始導(dǎo)入”按鈕，將本地目錄的樣本圖像集提交到服務(wù)器，導(dǎo)入過(guò)程中，盡量不要選擇點(diǎn)擊“停止導(dǎo)入”按鈕中止上傳，以避免造成樣本圖像不一致，導(dǎo)入開始時(shí)，關(guān)閉按鈕不可用， 導(dǎo)入完成時(shí)，關(guān)閉按鈕可用，點(diǎn)擊“關(guān)閉”按鈕關(guān)閉此界面。

2.3.3 標(biāo)注

在數(shù)據(jù)集管理界面內(nèi)，先點(diǎn)擊選中數(shù)據(jù)集列表中的項(xiàng)目，點(diǎn)“標(biāo)注...”按鈕，彈出標(biāo)注界面，如下圖：

如上圖，點(diǎn)擊左邊目標(biāo)類別列表中的項(xiàng)目，則表示當(dāng)前操作標(biāo)注項(xiàng)為此類別，標(biāo)注方法為用鼠點(diǎn)擊目標(biāo)的左上角再點(diǎn)擊目標(biāo)的右下角完成標(biāo)注，或者點(diǎn)擊目標(biāo)的左上角后拉到右下角松開完成該目標(biāo)標(biāo)注，完成標(biāo)注時(shí)在右邊標(biāo)簽欄生成一項(xiàng)目標(biāo)注數(shù)據(jù)，選中其中一項(xiàng)再點(diǎn)擊“移除選中”按鈕將此項(xiàng)標(biāo)注數(shù)據(jù)移除，點(diǎn)擊“保存”按鈕，保存此圖片的標(biāo)注信息，點(diǎn)擊鍵盤空格或鍵盤-->跳到下一張圖片，點(diǎn)擊鍵盤<--跳到上一張圖片，切換圖片前自動(dòng)保存當(dāng)前圖片標(biāo)注數(shù)據(jù)。

    右邊的功能和工具，是針對(duì)數(shù)據(jù)集的批量刪除、批量修改類別號(hào)、批量導(dǎo)出樣本、圖片翻轉(zhuǎn)、圖片模擬生成、導(dǎo)出對(duì)象圖片等操作。

2.3.4 建立訓(xùn)練文件

如果您當(dāng)前階段樣本都標(biāo)注完了，準(zhǔn)備訓(xùn)練之前先生成訓(xùn)練文件，如下圖：

在數(shù)據(jù)集管理界面里，點(diǎn)擊工具欄菜單內(nèi)“生成訓(xùn)練文件”按鈕，彈出確認(rèn)對(duì)話框：

點(diǎn)擊“是”按鈕，開始生成練文件，看生成提示界面，出現(xiàn)

提示界面，表示生成功，可以進(jìn)行下一步的模型訓(xùn)練了。

2.4 模型訓(xùn)練

在客戶端主界面里，選中模型列表中的您要訓(xùn)練的模型項(xiàng)目，點(diǎn)擊選中項(xiàng)行中的“訓(xùn)練”按鈕，彈出模型訓(xùn)練界面，如下圖：

如上圖，點(diǎn)擊“開始訓(xùn)練”按鈕后，服務(wù)器將啟動(dòng)模型訓(xùn)練引擎，同時(shí)客戶端界面打開訓(xùn)練界面時(shí)，將回傳訓(xùn)練消息到客戶端，方便查看訓(xùn)練服務(wù)是否在正常運(yùn)行，提供良好的模型訓(xùn)練操作體驗(yàn)?？蛻舳说慕缑婵梢躁P(guān)閉，下次再登錄時(shí)再進(jìn)入此界面可實(shí)時(shí)查看模型訓(xùn)練狀態(tài), 同時(shí)右邊訓(xùn)練列和輸出模型可以列出訓(xùn)練過(guò)程產(chǎn)生的PT模型文件，以便用戶了解當(dāng)前訓(xùn)練進(jìn)度狀態(tài)。

    如果您覺(jué)得訓(xùn)練生成的模型夠用了，也可以不用等訓(xùn)練完成，點(diǎn)擊“停止訓(xùn)練”按鈕，中斷訓(xùn)練，使用最近生成的模型即可。

2.5 模型輸出

 在客戶端主界面里，選中模型列表選中的您要輸出的模型項(xiàng)目，點(diǎn)擊選中項(xiàng)行中的“輸出”按鈕，彈出模型輸出界面，如下圖：

可以選擇“訓(xùn)練批次”列出該訓(xùn)練批次生成的所有PT模型文件列表。

2.5.1 輸出PT模型文件轉(zhuǎn)換為ONNX

在模型輸出主界面里，選中pt項(xiàng)，點(diǎn)擊“轉(zhuǎn)換為Onnx模型”按鈕，彈出轉(zhuǎn)化UI界面，并在服務(wù)器執(zhí)行轉(zhuǎn)換，轉(zhuǎn)換過(guò)程消息數(shù)據(jù)回傳到轉(zhuǎn)化UI界面，如下圖：

此界面，回傳轉(zhuǎn)換過(guò)程消息，并接收轉(zhuǎn)換是否成功的消息事件，界面提示轉(zhuǎn)換成功時(shí)，表示模型轉(zhuǎn)換成功，否則表示轉(zhuǎn)換失敗。點(diǎn)擊“關(guān)閉”按鈕，關(guān)閉此界面。界面關(guān)閉后，在輸出主界面列表中，該項(xiàng)出現(xiàn)“下載”按鈕，表示轉(zhuǎn)換成功了，可以提供onnx模型下載功能了。

2.5.2 PT模型文件轉(zhuǎn)換AIBOX系統(tǒng)Nvidia架構(gòu)DB模型

在模型輸出主界面里，選中pt項(xiàng)，點(diǎn)擊“轉(zhuǎn)換為NV模型（AiBox/Server）”按鈕，將pt模型轉(zhuǎn)化為可以在我司AI系統(tǒng)中基于Nvidia顯卡/GPU運(yùn)行的模型文件，彈出轉(zhuǎn)化UI界面，并在服務(wù)器執(zhí)行轉(zhuǎn)換，轉(zhuǎn)換過(guò)程消息數(shù)據(jù)回傳到轉(zhuǎn)化UI界面，如下圖：

此界面，回傳轉(zhuǎn)換過(guò)程消息，并接收轉(zhuǎn)換是否成功的消息事件，界面提示轉(zhuǎn)換成功時(shí)，表示模型轉(zhuǎn)換成功，否則表示轉(zhuǎn)換失敗。點(diǎn)擊“關(guān)閉”按鈕，關(guān)閉此界面。界面關(guān)閉后，在輸出主界面列表中，該項(xiàng)出現(xiàn)“下載”按鈕，表示轉(zhuǎn)換成功了，可以提供模型下載功能了。

2.5.3 PT模型文件轉(zhuǎn)換為RK 3568  RKNN模型

在模型輸出主界面里，選中pt項(xiàng)，點(diǎn)擊“轉(zhuǎn)換為RK3568 RKNN模型”按鈕，將pt模型轉(zhuǎn)化為可以在基于RK 3568方案運(yùn)行的模型文件，彈出轉(zhuǎn)化UI界面，并在服務(wù)器執(zhí)行轉(zhuǎn)換，轉(zhuǎn)換過(guò)程消息數(shù)據(jù)回傳到轉(zhuǎn)化UI界面，如下圖：

此界面，回傳轉(zhuǎn)換過(guò)程消息，并接收轉(zhuǎn)換是否成功的消息事件，界面提示轉(zhuǎn)換成功時(shí)，表示模型轉(zhuǎn)換成功，否則表示轉(zhuǎn)換失敗。點(diǎn)擊“關(guān)閉”按鈕，關(guān)閉此界面。界面關(guān)閉后，在輸出主界面列表中，該項(xiàng)出現(xiàn)“下載”按鈕，表示轉(zhuǎn)換成功了，可以提供模型下載功能了。

2.5.4 PT模型文件轉(zhuǎn)換為RK 3588  RKNN模型

在模型輸出主界面里，選中pt項(xiàng)，點(diǎn)擊“轉(zhuǎn)換為RK3588 RKNN模型”按鈕，將pt模型轉(zhuǎn)化為可以在基于RK 3588方案運(yùn)行的模型文件，彈出轉(zhuǎn)化UI界面，并在服務(wù)器執(zhí)行轉(zhuǎn)換，轉(zhuǎn)換過(guò)程消息數(shù)據(jù)回傳到轉(zhuǎn)化UI界面，如下圖：

此界面，回傳轉(zhuǎn)換過(guò)程消息，并接收轉(zhuǎn)換是否成功的消息事件，界面提示轉(zhuǎn)換成功時(shí)，表示模型轉(zhuǎn)換成功，否則表示轉(zhuǎn)換失敗。點(diǎn)擊“關(guān)閉”按鈕，關(guān)閉此界面。界面關(guān)閉后，在輸出主界面列表中，該項(xiàng)出現(xiàn)“下載”按鈕，表示轉(zhuǎn)換成功了，可以提供模型下載功能了。

2.5.5 PT模型文件轉(zhuǎn)換AIBOX系統(tǒng)RK 3568架構(gòu)DB模型

在模型輸出主界面里，選中pt項(xiàng)，點(diǎn)擊“轉(zhuǎn)換為RK3568 (AiBox)模型”按鈕，將pt模型轉(zhuǎn)化為可以在基于我司AI系統(tǒng)運(yùn)行RK 3568方案運(yùn)行的模型文件，彈出轉(zhuǎn)化UI界面，并在服務(wù)器執(zhí)行轉(zhuǎn)換，轉(zhuǎn)換過(guò)程消息數(shù)據(jù)回傳到轉(zhuǎn)化UI界面，如下圖：

此界面，回傳轉(zhuǎn)換過(guò)程消息，并接收轉(zhuǎn)換是否成功的消息事件，界面提示轉(zhuǎn)換成功時(shí)，表示模型轉(zhuǎn)換成功，否則表示轉(zhuǎn)換失敗。點(diǎn)擊“關(guān)閉”按鈕，關(guān)閉此界面。界面關(guān)閉后，在輸出主界面列表中，該項(xiàng)出現(xiàn)“下載”按鈕，表示轉(zhuǎn)換成功了，可以提供模型下載功能了。

2.5.6 PT模型文件轉(zhuǎn)換AIBOX系統(tǒng)RK 3588架構(gòu)DB模型

在模型輸出主界面里，選中pt項(xiàng)，點(diǎn)擊“轉(zhuǎn)換為RK3588 (AiBox)模型”按鈕，將pt模型轉(zhuǎn)化為可以在基于我司AI系統(tǒng)運(yùn)行RK 3588方案運(yùn)行的模型文件，彈出轉(zhuǎn)化UI界面，并在服務(wù)器執(zhí)行轉(zhuǎn)換，轉(zhuǎn)換過(guò)程消息數(shù)據(jù)回傳到轉(zhuǎn)化UI界面，如下圖：

此界面，回傳轉(zhuǎn)換過(guò)程消息，并接收轉(zhuǎn)換是否成功的消息事件，界面提示轉(zhuǎn)換成功時(shí)，表示模型轉(zhuǎn)換成功，否則表示轉(zhuǎn)換失敗。點(diǎn)擊“關(guān)閉”按鈕，關(guān)閉此界面。界面關(guān)閉后，在輸出主界面列表中，該項(xiàng)出現(xiàn)“下載”按鈕，表示轉(zhuǎn)換成功了，可以提供模型下載功能了。

2.5.7 PT模型文件轉(zhuǎn)換為昇騰ASCEND 310  OM模型

2.5.8 PT模型文件轉(zhuǎn)換AIBOX系統(tǒng)昇騰ASCEND 310架構(gòu)DB模型

3. 融合永道AI系統(tǒng)中使用自訓(xùn)練模型

使用融合永道AI系統(tǒng)客戶端軟件，登錄AIBOX或AI服務(wù)器一體機(jī)，進(jìn)系統(tǒng)系統(tǒng)配置，自定義模型管理界面，選中從訓(xùn)練平臺(tái)訓(xùn)練輸出的對(duì)應(yīng)硬件方案的模型文件，上傳到AI系統(tǒng)，然后在對(duì)應(yīng)的支持調(diào)用自定義模型的應(yīng)用規(guī)則中選擇對(duì)應(yīng)的自訓(xùn)練模型，檢測(cè)模型內(nèi)的目標(biāo)類別，如應(yīng)用規(guī)則提供組合檢測(cè)邏輯應(yīng)用（比較特別的需求可按客戶要求定制），設(shè)置上傳事件到第三方平臺(tái)。

4. 訓(xùn)練服務(wù)器配置

4.1 MRTP AI-9000 視覺(jué)模型訓(xùn)練服務(wù)器一體機(jī)

4.2 MRTP AI-8000 視覺(jué)模型訓(xùn)練服務(wù)器一體機(jī)