UGV Beast PT Jetson Orin AI Kit
| ||||||||||||||||||||||
|
产品介绍
UGV Beast PT Jetson Orin 是一款越野履带开源 AI 移动机器人。采用大小脑架构设计,ESP32 主控模组的下位机负责电机 PID 控制、IMU 传感器控制、OLED 屏幕控制、舵机控制、灯光开关控制等,分担计算负载的同时为上位机节省 IO 资源以及提供高效的通信接口,上位机使用 Jetson Orin Nano,确保实现高阶算力和指定策略等高级功能。
机器人机身结构采用2mm厚度的全铝合金外壳,结构强度高、耐用性好。采用了多独立悬挂系统,极大减少了复杂地形冲击。搭配 2 个带编码器减速电机,实现闭环速度控制,有效防止震动,实现出色的运动性能,最高速度可达 0.35m/s。内置 3S 锂电池 UPS 供电模块,提供了强劲而持久的动力,支持边充电边使用,满足长时间的开发和使用需求。
Jetson Orin Nano 搭配 USB 摄像头,通过高帧率低延时的摄像头实时画面,用户可以享受流畅的视觉体验,并且可以通过拍照和录像等功能捕捉到不同的精彩瞬间。此外,机器人的多种信息反馈——包括电池电压、CPU使用率等,都通过 WEB 应用实时显示,使得用户可以实时监控机器人的状态。
机器人的视觉系统配备了一个 2 自由度的大扭矩灵活云台和一个 160°超广角的 500 万像素摄像头,为用户提供了宽广的视角和灵活的观察角度、以及多样的 AI 机器视觉功能。云台旁的高亮度LED聚光灯保证了在光线不足的环境下也能清晰使用。此外,通过鱼骨导轨的设计,用户可以轻松扩展更多战术配件,进一步增强了机器人的功能性。
为了让用户能够充分利用这款机器人的潜力,我们提供了丰富的文档和教程,包括 JupyterLab 的 WEB 应用。无论是机器人技术的初学者还是经验丰富的开发者,都可以通过这些资源一步一步地深入了解、学习和创造。
产品特性
- 高效的大小脑架构:下位机主控为 ESP32,负责精确的电机 PID 控制和多种传感器读取,上位机 Jetson Orin Nano 提供高阶算力,双层架构让机器人运行更高效。
- 开源代码:上位机基于最新版的树莓派系统(Debain Bookworm)开发,WEB 应用基于 Flask、Python 语言,软件平台全部开源,便于用户学习和二次开发。
- 丰富的教程资源:提供丰富的 JupyterLab 交互式教程、图文教程和视频教程,从入门功能到高级功能,用户可以边看教程边学习如何控制机器人,降低小白的机器人技术学习曲线。
- 视角广泛:配备2自由度大扭矩灵活云台,提供横向 360° 全方位广阔的观察角度;搭配一个 160° 超广角的 500 万像素的摄像头,捕捉到更广泛的画面。
- 机器视觉功能:集成了颜色、物体、手势识别,人脸、运动检测等机器视觉功能,可扩展为更多应用。
- 丰富的交互方式:实时视频流、数字变焦、拍照、录像等功能,且 WEB 应用实时视频功能和画面上显示的机器人信息,提高用户交互体验。
- 跨平台远程控制:支持实现跨平台远程控制,无需安装APP,可根据教程使用蒲公英、Cpolar、LocalTunnel等方案进行超出局域网范围的远程控制。
- 可扩展性:结构上配有一个扩展平面和鱼骨导轨,方便扩展其它战术配件;硬件上,LED 灯接口有剩余的,可用于扩展水弹枪等其它外设,产品还可扩展 4G、5G 模块,方便用户实现更多的可能性。
- 结构耐用:2mm 厚度的全铝合金外壳,提供了卓越的结构强度和耐用性。
- 高性能驱动电机:配备两个带编码器减速电机,实现闭环速度控制,最高速度可达 0.35m/s,提供强劲动力。
- 多独立悬挂系统:每侧配有四个独立悬挂,重负载爬坡时,悬挂收缩,后轮会提供格外支撑,拥有优秀的爬坡能力。
- 长续航力:采用 3S 锂电池 UPS 供电系统,支持边充电边使用,确保了长时间的续航能力。
产品组装
该部分组装教程主要包括两个方面,第一是型号名中为 ACCE 版本的产品安装 Jetson Orin 的教程,第二是安装锂电池的教程。
产品使用
使用前注意事项
使用前请务必了解以下内容:
- 购买 ACCE 型号的客户需要自备 Jetson Orin Nano 主板,安装好 Jetson Orin Nano 后才可正常使用;购买海外版的客户需要自行购买安装 3 个 18650 锂电池才可以正常使用,推荐使用高放电倍率的电池。这两个安装教程后续会进行补充。
- 首次接上电池需注意电池模块上是否有 LED 灯亮,如果 LED 灯亮则表示电池的正负极接反,电池未接反不会有 LED 灯亮,请检查并确保电池未接反。电池接反的情况下禁止充电,否则有几率引起爆炸。
- 首次接上电池后若按了产品上的电源开关键,产品仍没有反应即没有电源输出,需要用配套的 12.6V 2A 充电器给小车供电接口供电激活电池保护之后才会有电源输出。
- 该产品不能受到剧烈的撞击,且不防水。
首次使用
产品出厂带有 Jetson Orin Nano 是带有已经配置好软件的硬盘,给产品开机可以直接使用。
打开电源开关后产品会进行初始化,OLED 屏幕会显示初始化的一系列内容;Jetson Orin Nano 在开机的过程中会自动建立一个热点,并且在项目主程序自动运行后会将 ip 地址显示在 OLED 屏幕上,开机完成后 OLED 屏幕显示的内容含义如下:
- 第一行 E:网口的 IP 地址,可以用来远程连接 Jetson Orin Nano;No Ethernet 表明此时 Jetson Orin Nano 上无网线接入。
- 第二行 W:AP 模式下建立热点后,会显示默认 IP 为 192.168.50.5;STA 模式下连接到已知 WIFI 所分配的 IP 地址;显示出的 IP 地址可以用来无线连接 Jetson Orin Nano。
- 第三行 F/J:网络端口号,5000 用于访问产品主程序控制页面,8888 用于访问 JupyterLab 页面;
- 第四行 AP 表示此时 WIFI 处于 AP 模式下,时间表示设备的使用时长;以 dBm 为单位的数值表示 WIFI 处于 STA 模式下的信号强度 RSSI。
用手机/电脑连接该产品自动建立的热点,热点名称为 AccessPopup,热点密码为 1234567890,连接好后打开浏览器,输入 AP 模式下设备默认的 IP 地址(该地址会在 OLED 屏幕上的 W 行处显示),即在网址栏中输入 192.168.50.5:5000 访问产品主程序的控制界面。
网络配置
初次配置 WIFI 时,需要准备网线或者 USB 数据线,使用 USB 数据线时还需要准备一台电脑。
打开终端前的操作:
- 网线:产品开机后,连接网线,OLED 屏幕上面会自动显示出来网线的 IP,在 E 后面的 IP 就是有线 IP,E代表 eth0,在浏览器中输入这个 IP 地址:8888, 打开 jupyterLab,接着打开 Terminal
- USB 数据线:Jetson 的 Micro USB 口有默认 IP 地址 192.168.55.1, 没有屏幕的用户可以通过 ssh 远程 Jetson Orin Nano 操作:
- 给产品开机后,用一条 USB 数据线将 Jetson Nano 的 Micro USB 口连接到电脑
- 用 Putty 或者 MobaXteram 软件 ssh 192.168.55.1 IP 地址远程登录 Jetson Nano
- 出厂 Jetson Orin Nano 系统的默认用户名和密码均为 jetson
登入终端后,初次配置 WIFI 连接到已知热点,需要关闭正在后台运行的 AccessPopup 循环扫描任务,先浏览到 AccessPopup 的文件夹:
cd ugv_jetson/AccessPopup/
运行 AccessPopup 配置脚本:
sudo chmod +x installconfig.sh sudo ./installconfig.sh
输入 7,回车,卸载 AccessPopup,(当它连接已知 WIFI 后,后续你需要 Jetson 再自动建立热点可以执行相似的步骤,但是选择 1 安装 AccessPopup,然后它开机时就可以自动建立热点了)。
等待卸载完成,按任意键退出,再输入 9,回车,退出 AccessPopup。
确保 WIFI 处于开启状态:
sudo nmcli r wifi on
列出周围的已知 WIFI 网络:
sudo nmcli d wifi list
连接到已知 WIFI:
sudo nmcli d wifi connect <my_wifi_ssid> password <my_wifi_password>
你需要根据自己的情况,将上面的 <my_wifi_ssid> 和 <my_wifi_password> 替换为自己的热点名称和密码,例如:sudo nmcli d wifi connect wifi_name password 1234567890
产品教程目录
- 01 JupyterLab 基础和机器人介绍
- 02 Python 底盘运动控制
- 03 云台控制和 LED 灯控制
- 04 OLED 屏幕控制
- 05 在 JupyterLab 中构建 UI 界面
- 06 获取底盘反馈信息
- 07 使用 JSON 指令控制下位机
- 08 下位机 JSON 指令集
- 09 开机自动发送指令
- 10 播放音频文件
- 11 文字转语音 (TTS)
- 12 使用 Flask 实现低延时图传
- 13 在 Jupyter Lab 中显示实时画面
- 14 延时摄影
- 15 OpenCV 运动检测
- 16 通过按键控制拍照
- 17 OpenCV 人脸识别
- 18 基于 DNN(深度神经网络)的物体识别
- 19 基于 OpenCV 的颜色识别
- 20 基于 OpenCV 的颜色追踪
- 21 基于 OpenCV 的巡线自动驾驶
- 22 基于 MediaPipe 的手势识别
- 23 基于 MediaPipe 的人脸识别
- 24 基于 MediaPipe 的姿态检测
- 25 简易的 WEB 应用
- 26 主程序架构介绍
- 27 YAML 配置文件设置
- 28 Crontab 开机自动运行脚本
- 29 自定义命令行功能
- 30 WEB 命令行应用
产品初始化
注意:该部分内容不是必须操作的,需要将产品的上位机恢复至出厂的系统或产品进行软件更新了这两种情况下才需要重新给产品进行系统安装。
系统安装
给 Jetson Orin Nano 烧录系统需要用到 Ubuntu 22.04 的主机或虚拟机,你需要在你的电脑上安装好 Ubuntu 22.04 版本的系统主机或虚拟机。
器件准备
- UGV Beast PT Jetson Orin AI Kit 产品
- Ubuntu 22.04 虚拟机(或电脑主机)
- 黄色跳线帽
- USB 数据线(Typec 接口,可传输数据)
硬件配置(进入 recovery 模式)
- 用跳帽或者杜邦线短接 FC REC 和 GND 引脚,位置如上图,位于核心板底下
- 打开产品电源开关
- 用USB线(注意要是数据线)连接 Jetson 主板的 Typec 接口到 Ubuntu 22.04 的系统
软件配置
- 打开ubuntu系统,打开浏览器下载SDK Manager
- 下载完成后,我们进入下载路径Downloads进行安装,终端输入:
sudo dpkg -i sdkmanager_1.6.1-8175_amd64.deb(根据自己的版本输入)
- 安装完成后,系统可能会报错找不到依赖文件,输入以下命令解决此问题。
sudo apt --fix-broken install
安装系统
- 打开 Ubuntu 22.04 系统的终端,运行 sdkmanager ,打开软件登录账号。
- 如果 Jetson 主板有被正常识别到如下图,如果已连接没显示,请点击 refresh
- 开发板类型选择 Jetson Orin Nano 选项,8GB版本和4GB版本请根据实际情况选择(如果你使用的是官方套件, 选择developer Kit);Host Machine 取消勾选
- 在 JetPack 选项中,选择支持的最新系统即可,不勾选其他的SDK, 然后点击Continue
- 选择 Jetson Linux, 并将 Jetson Runtime Components 和 Jetson SDK Components 的选项去掉,勾选最下方的第一个协议
- 如果是首次使用 SDK Manager 进行系统烧录,点击 Continue 后,会弹出如下的弹窗,点击 Create 即进行系统烧录;如果不是首次使用 SDK Manager 进行系统烧录,则点击 Continue 之后等待系统烧录即可。
- 最后点击 Continue 等待系统烧录,在系统烧录的过程中,Installing 的进度条达到 50% 前会弹出如下的弹窗。
- 这里会默认选择开发板类型。 注意前面选择开发板类型的时候不要选择错误。
- OEM Configuration 选择 Pre-Config, 填入用户名和密码(可以自己定义),会在启动过程中自动配置主板
- 烧录完成之后如下图,接下来再进行这个产品的软件程序安装。
软件程序安装
给这个产品进行软件程序安装,有两种方法:一是可以直接将我们配置好软件的系统镜像烧录到 Jetson Orin Nano 的硬盘上,这样不需要用户再进行其余的配置,烧录完成后安装到产品上即可使用;二是需要自行进行软件配置。
器件准备
- 需要从产品上拆下 Jetson Orin Nano 的硬盘
- PC 电脑
系统镜像准备
下载好需要烧录的镜像,下载链接:UGV_Rover_PT_Jetson_Orin_镜像
UGV Beast 程序配置
我们提供的镜像是基于 UGV Rover 底盘的,因此需要更换为 UGV Beast 的底盘模块。烧录完镜像至 Jetson Orin Nano 的硬盘上后,打开产品电源开关,按照上面的网络配置步骤配置好网络,访问产品主程序页面 IP地址:5000,进入后在 WEB 页面中的输入框中输入:
s 30
输入完成后,给产品进行重启,此时该镜像程序是 UGV Beast 底盘模块的,更改一次即可。
资料下载
2D 图纸
STEP 模型
下位机驱动板原理图
开源程序
软件
技术支持
联系人:方工
EMAIL:2355742825@qq.com
QQ:2355742825
微信:扫下方二维码添加