ShimetaPi软件源-GK7206-shimeta-ai 快速上手

面向零开发经验的板卡用户。只需配网和敲命令,不看代码。


前置条件

你需要什么 说明
GK7206 板卡 已刷好固件,NPU 驱动正常
SD 卡 插入板卡,格式化为 FAT32
网线 板卡能连接公网
板卡调试工具 在本站下载workbench

ssh登录板卡

  1. 修改ip

    板卡默认 ip 为 192.168.49.10,由于不同家庭路由器默认ip有区别,这里需要进行ip切换操作实现与板卡的连接:

    记录并修改当前电脑网段: 先记录电脑当前网段,win+R输入cmd回车进入命令行输入ipconfig回车如图: 截图 IPv4 地址 . . . . . . . . . . . . : 192.168.49.47则代表当前网段为192.168.49.x

    接下来进入设置-网络和internet-以太网或WLAN(以当前网络连接方式为准)-IP分配-改为手动-打开ipv4按以下方式填: | ip地址 | 192.168.49.11 | | 子网掩码 | 255.255.255.0 | | 网关 | 192.168.49.1 | | 首选DNS | 4.4.4.4 | 点击保存 接下来进入workbench,点击左侧device tree的 “ + ” 按钮添加设备,输入ip:192.168.49.10点击连接 连接成功后在device tree列表找到设备,鼠标移动到列表卡片会出现齿轮按钮,点击进行IP修改,修改为之前记录的网段,假设你记录的网段为192.168.44.x,板卡ip就改为192.168.44.x 点击保存后等待10秒左右,依然显示修改中,不用管,直接退出workbench,此时已经修改成功 最后一步将电脑网段改回:进入设置-网络和internet-以太网或WLAN(以当前网络连接方式为准)-IP分配-改为自动分配即可

  2. ssh登录(安装workbench的用户可以直接跳过后续所有步骤,直接在workbench即可进行板卡开发以及依赖安装)

# win+R输入cmd打开命令窗口
ssh root@192.168.x.x(替换为自己的板卡ip)
#显示password输入密码123456进入板端

检查 NPU 是否就绪

ls /dev/npu.0
# 有输出说明没问题,没输出请联系管理员刷固件

安装

首次使用:板卡插入 SD 卡(FAT32 格式)后需先挂载:

mount /dev/mmcblk1p1 /mnt

如果提示 No such file or directory,SD 卡设备可能是 mmcblk0p1。用 ls /dev/mmc* 查看确认。

已有 **/mnt** 的跳过挂载,直接执行安装脚本:

安装方式见“shimeta-ai/AI允许时安装与SVP模型安装”

看到 安装完毕 后继续:

. /mnt/setup.sh

shimeta_infer 图片推理(自训练模型)

安装包自带 YOLOv8n COCO 演示模型和测试图片,先跑一下确认 NPU 正常:

. /mnt/setup.sh
shimeta_infer /mnt/yolov8n_demo.zip /mnt/people.jpg

看到检测结果即表示 NPU 正常。

输出示例:

image

#开一个新的cmd终端

scp -O root@192.168.49.10:/mnt/people.jpg_output.jpg .

#若有提示输入y回车确认,若无则输入密码123456即可下载检测结果图片到当前工作目录下

检测结果示例:

image


自训练平台模型使用(用于训练自己的目标检测模型)

平台地址:https://aihub.shimetapi.cn/

把模型平台下发的 .zip 和图片传到板卡(电脑命令行终端输入scp -O "模型文件地址" root@板卡ip:/mnt/ 回车后输入密码123456)

一行命令搞定推理:

shimeta_infer 模型.zip 图片.jpg

示例(使用内置 YOLOv8n demo 模型):

# 检测图片中的物体(COCO 80 类:人/车/猫/狗等)
shimeta_infer /mnt/yolov8n_demo.zip photo.jpg

# 检测结果太少?降低门槛
shimeta_infer /mnt/yolov8n_demo.zip photo.jpg 0.1

# 重复框太多?提高 NMS
shimeta_infer /mnt/yolov8n_demo.zip photo.jpg 0.25 0.7

摄像头实时推理(自训练模型)

如果板卡接了 SC465SL 摄像头,也可以加载自己的模型进行实时推理:

. /mnt/setup.sh
shimeta_xmm /mnt/yolov8n_demo.zip

conf 和 iou 参数和 shimeta_infer 一样:

shimeta_xmm /mnt/yolov8n_demo.zip 0.1        # 降低门槛
shimeta_xmm /mnt/yolov8n_demo.zip 0.25 0.3   # 减少重复框

注意:需要摄像头硬件连接。如果板卡没有摄像头,请使用 shimeta_infer 进行图片推理。


SVP 场景检测(预制模型文件,开箱即用,不支持自训练模型)

shimeta_svp 内置 21 种预编译场景模型,无需训练,首次使用需下载模型包(62MB):


. /mnt/setup.sh
# 首次使用:下载模型包(约 2 分钟,仅需一次)


# 人/车/宠物 基础检测
shimeta_svp person          # 人形检测
shimeta_svp face            # 人脸检测
shimeta_svp car             # 车辆检测(机动车)
shimeta_svp bike            # 非机动车检测(自行车/电动车)

# 进阶场景
shimeta_svp face_emo        # 人脸情绪检测(微笑/正常表情)
shimeta_svp dms             # 驾驶员犯困监测(闭眼或打哈欠)
shimeta_svp head            # 人头数检测
shimeta_svp fire            # 火焰/烟雾检测
shimeta_svp person_kp       # 人体 17 点关键点

类别 可用的 task
person person_kp face face_recog face_emo head dms
car bike vehicle plate adas
动物 pet
安防 fire fireworks package
综合 person_car gesture
高精度 rcnn_person rcnn_car rcnn_pet

conf、iou、编码格式均可调:

shimeta_svp person 0.1              # 降低门槛多检出
shimeta_svp car 0.5 0.3             # 提高门槛+减少重复框
shimeta_svp face 0.25 0.45 h264     # H264 编码(VLC/ffplay 兼容性更好)

默认 H265 编码。如果 VLC/ffplay 画面花屏或报 Skipping invalid NALU,加 h264 参数切换为 H264 编码。


shimeta_xmm与shimeta_svp启动后会生成 rtsp://<板卡IP>:554/livestream/0 rtsp视频流,可看到实时检测画面(自带方框标注,硬件画框不消耗 CPU)。

rtsp视频流播放方法:

1. 安装ffmpeg,教程:https://cloud.tencent.com/developer/article/2470274

2. win+r输入cmd打开命令行,输入ffplay rtsp://<板卡IP>:554/livestream/0回车即可(低延迟播放ffplay -fflags nobuffer -flags low_delay -framedrop -rtsp_transport tcp \ rtsp://192.168.49.125/livestream/0


shimeta_xmm与shimeta_svp 两者都监听 8080,但实现和丰富度完全不同

shimeta_xmm

接口 方法 返回 说明
/ GET HTML 实时面板:视频画面(内嵌 /mjpeg)+ canvas 检测框叠加 + fps/帧数/推理耗时/检出数卡片 + 检测明细表(每 100ms 刷新)
/mjpeg GET MJPEG 流 VENC 硬件编码的多帧流,浏览器 <img> 直接用
/api/status GET JSON {"frames","fps","infer_ms","det_count","model","mw","mh","detections":[{"class_id","label","conf","x1","y1","x2","y2"}]};坐标为 NPU letterbox 坐标(反映射由 shimeta-py 做);POSE 模型时附加 pose[](≤8 目标 × 关键点坐标/可见度);另同步写板端 /tmp/pose_keypoints.json
/api/snapshot GET JPEG 当前帧快照(1/15 帧更新,软编码 q50)
curl http://<IP>:8080/api/status           # 检测结果
curl http://<IP>:8080/api/snapshot -o f.jpg

shimeta_svp

接口 方法 返回
任意路径 GET 同一份 JSON:{"task","fps","total"} + 按任务类型附加数组

任务类型决定附加字段:

  • 检测类person/car/pet/...):dets:[{"class","conf","x1..y2"}]class 为 int)
  • 检测+关键点person_kp):dets[i] 内再加 kp:[[x,y,s]×17]
  • 人脸识别face_rec):faces:[{"name","sim","x1..y2"}]
  • 表情emotion):faces:[{"emotion","conf",...}]
  • DMSdms:[{"fatigue","phone","cigar",...}] + phone_boxes[] + cigar_boxes[]
curl http://<IP>:8080/            # 路径随便写,都返回状态 JSON

注意:没有 /snapshot/mjpeg 或 dashboard(抓帧走 RTSP rtsp://<IP>/livestream/0)。


关键差异速查

项目 shimeta_xmm shimeta_svp
路由 4 个(按路径分) 1 个(不分路径)
抓帧 /api/snapshot JPEG 无(RTSP 抽帧)
视频预览 /mjpeg + dashboard 仅 RTSP
检测字段名 detections[].class_id/label dets[].class(int,无 label 文本)
标签 labels.txt / 内置 COCO80 内置任务定义

SVP vs shimeta_camera 对比

shimeta_svp shimeta_camera
模型 内置 33 个预编译模型 需自行上传 .xmm.zip
上手 一行命令,无需训练 需模型平台导出模型
帧率 22-24fps 15-16fps
画面 RTSP 流 (VLC/ffplay) MJPEG WebUI (浏览器)
适用 快速体验 / 竞赛演示 自定义模型调优

卸载

rm -rf /mnt/bin /mnt/lib /mnt/plugins /mnt/setup.sh /mnt/*.xmm /mnt/*.bin

软件源自带yolov8n_demo模型COCO 80 目标检测类别表

ID 类别 ID 类别
0 person 40 wine glass
1 bicycle 41 cup
2 car 42 fork
3 motorcycle 43 knife
4 airplane 44 spoon
5 bus 45 bowl
6 train 46 banana
7 truck 47 apple
8 boat 48 sandwich
9 traffic light 49 orange
10 fire hydrant 50 broccoli
11 stop sign 51 carrot
12 parking meter 52 hot dog
13 bench 53 pizza
14 bird 54 donut
15 cat 55 cake
16 dog 56 chair
17 horse 57 couch
18 sheep 58 potted plant
19 cow 59 bed
20 elephant 60 dining table
21 bear 61 toilet
22 zebra 62 tv
23 giraffe 63 laptop
24 backpack 64 mouse
25 umbrella 65 remote
26 handbag 66 keyboard
27 tie 67 cell phone
28 suitcase 68 microwave
29 frisbee 69 oven
30 skis 70 toaster
31 snowboard 71 sink
32 sports ball 72 refrigerator
33 kite 73 book
34 baseball bat 74 clock
35 baseball glove 75 vase
36 skateboard 76 scissors
37 surfboard 77 teddy bear
38 tennis racket 78 hair drier
39 bottle 79 toothbrush