OAK-D
说明
| ||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
产品简介
OAK-D 是OpenCV团队设计制作的一款AI视觉智能套件。OAK-D 搭载intel的Moovidius Myrial X视觉处理器。小小的身材中集成了4K彩色像素、双目深度相机、惯性测量单元「IMU」、高性能AI处理芯片,实现将双目深度视觉计算、神经网络推理、惯性导航传感器集成在单相机内,让用户在2.5W低功耗的情况下获得双目视觉测量定位、AI神经网络加速、4K H.265 30帧实时推流。满足用户在智能驾驶、智能交通、智慧安防、机器人、教学竞赛等方面的需求。
OAK-D-PoE是以OAK-D为基础,添加了PoE供电电路, 允许使用单根 Cat5e(或更高)以太网电缆为设备供电并为其提供长达 100 米(328 英尺)的 1,000 Mbps (1 Gbps) 全双工连接。配合IP67防护等级外壳, 适合用户使用在对防护等级有要求的环境中。
OAK-D-Lite 是 OAK USB 系列中,极具性价比的产品,除了没有 IMU,性能方面与 OAK-D 相当,但价格更低。它结合了深度感知,目标检测(神经推理)和目标跟踪,并以简单易用的 Python API 来帮助您实现这些功能。这款 OAK-D-Lite 包括三个机载摄像头(一颗 4K/30fps 彩色相机,两颗黑白双目相机)和 USB3.0 Type-C 接口,您可以在普通计算机、树莓派或其他流行的嵌入式主机上通过 usb 接口访问 OAK
OAK-D-Pro 是 OAK-D 的升级版,结构光测距,具有红外激光点阵发射器 (主动深度视觉),和红外照明 LED (用于“夜视”)。它也比 OAK-D 更小、更轻,精度更高。内嵌高性能 Myriad X VPU,采用了主动双目视觉技术和结构光,将定位精度提高到了亚毫米级别,满足近距离高精度定位识别需求,如自动化焊接机器人,零件表面缺陷的定位识别标定等,可增强机器人的感知能力。
OAK-D-S2 是 OAK-D 的紧凑版,功能、性能、镜头与 OAK-D 一样,但尺寸更小、质量更轻,可应用在空间有限、对质量有要求的场景。另外,与 OAK-D 相比,结构上 OAK-D-S2 移去了 5V 电源孔,性能上拥有比 OAK-D 更大的深度测量范围。
OAK-D-S2-PoE是以OAK-D-S2为基础,添加了PoE供电电路, 允许使用单根 Cat5e(或更高)以太网电缆为设备供电并为其提供长达 100 米(328 英尺)的 1,000 Mbps (1 Gbps) 全双工连接。配合IP67防护等级外壳, 适合用户使用在对防护等级有要求的环境中。
产品参数
- 深度测量范围: 0.7 ~ 12 米(理论测距可达到 35m,30 米实测误差约在 6%~10% 左右。)
- 深度相机: 全局快门120帧 / 30万像素200帧
- RGB相机:1200万像素60帧 / 1300万像素60帧
- AI芯片:Intel Myrial X 4TOPS 算力
- 视频推流: 4K 30 帧 H.265 推流
- 接口:USB3.0 Type-C (OAK-D/OAK-D-Lite/ OAK-D-Pro) / PoE (OAK-D-PoE)
- 扩展接口:GPIO、SPI、UART
- NN平台支持:全平台支持
- 功耗:平均 2.5W
- 开发语言:Python, C++
- 外壳材质:金属磨砂外壳
相机参数
相机 | 彩色相机 | 黑色工业相机 |
---|---|---|
快门方式 | 卷帘快门 | 全局快门 |
感光芯片 | IMX378 | OV9282 |
最大帧率 | 60fps | 120fps |
H.265帧率 | 30fps | / |
像素 | 12MP (4056×3040 px/ 1.55um) | 1MP (1280×800 px/3um) |
FoV | 81° DFoV – 69° HFoV | 89° DFoV – 80° HFoV |
镜头尺寸 | 1/2.3 Inch | 1/4 Inch |
对焦范围 | 8cm – ∞ (AutoFocus) 50cm ~ ∞ (FixedFocus) |
19.6cm – ∞ (FixedFocus) |
光圈 | 1.8 | 2.0 |
相机 | 彩色相机 | 黑色工业相机 |
---|---|---|
快门方式 | 卷帘快门 | 全局快门 |
感光芯片 | IMX214 | OV7251 |
最大帧率 | 60fps | 200fps |
H.265帧率 | 30fps | / |
像素 | 13MP (4208×3120 px) | 0.3MP (640×480 px) |
FoV | 81.3° DFoV | 85.6° DFoV |
镜头尺寸 | 1/2.3 Inch | 1/2.3 Inch |
焦距 | 8cm – ∞ (FixedFocus) | 6.5cm – ∞ (FixedFocus) |
光圈 | 2.2 | 2.2 |
相机 | 彩色相机 | 黑色工业相机 |
---|---|---|
快门方式 | 卷帘快门 | 全局快门 |
感光芯片 | IMX378 | OV9282 |
最大帧率 | 60fps | 120fps |
H.265帧率 | 30fps | / |
像素 | 12MP (4032×3040 px) | 1MP (1280×4800 px) |
FoV | 81° DFoV / 69°HFoV / 55°VFoV | 81° DFoV / 72°HFoV / 49°VFoV |
镜头尺寸 | 1/2.3 Inch | 1/4 Inch |
对焦范围 | 8cm – ∞ (AutoFocus) | 19.6cm – ∞ (FixedFocus) |
光圈 | 2.0 | 2.2 |
发射器规格 | ||
发射器 | 规格 | |
发射器型号 | Belago1.1 Dot-Pattern | |
点阵数 | 4700 | |
HFOI*50% | 78±7% | |
VFOI*50% | 61°±7% | |
VSCEL波长 | 940nm | |
工作温度 | 10°C ~ 60°C | |
保存温度 | 0°C ~ 80°C | |
激光安全标准 | EN/IEC 60825-1 第 3 版 (2014) 规定的 1 类激光产品 |
支持的神经网络
- Caffe*
- AlexNet
- CaffeNet
- GoogleNet (Inception) v1, v2, v4
- VGG family (VGG16, VGG19)
- SqueezeNet v1.0, v1.1
- ResNet v1 family (18***, 50, 101, 152)
- MobileNet (mobilenet-v1-1.0-224, mobilenet-v2)
- Inception ResNet v2
- DenseNet family (121,161,169,201)
- SSD-300, SSD-512, SSD-MobileNet, SSD-GoogleNet, SSD-SqueezeNet
- TensorFlow*
- AlexNet
- Inception v1, v2, v3, v4
- Inception ResNet v2
- MobileNet v1, v2
- ResNet v1 family (50, 101, 152)
- ResNet v2 family (50, 101, 152)
- SqueezeNet v1.0, v1.1
- VGG family (VGG16, VGG19)
- Yolo family (yolo-v2, yolo-v3, tiny-yolo-v1, tiny-yolo-v2, tiny-yolo-v3)
- faster_rcnn_inception_v2, faster_rcnn_resnet101
- ssd_mobilenet_v1
- DeepLab-v3+
- MXNet*
- AlexNet and CaffeNet
- DenseNet family (121,161,169,201)
- SqueezeNet v1.1
- MobileNet v1, v2
- NiN
- ResNet v1 (101, 152)
- ResNet v2 (101)
- SqueezeNet v1.1
- VGG family (VGG16, VGG19)
- SSD-Inception-v3, SSD-MobileNet, SSD-ResNet-50, SSD-300
硬件连接
OAK-D
- 将电源接入到OAK-D的电源接口
- 用Type-C线 接OAK-D到电脑或者其他主机的USB3.0 接口
OAK-D-Lite
- 用Type-C先接OAK-D-Lite到电脑或者其他主机的USB3.0接口
OAK-D-PoE/OAK-D-S2-PoE
使用PoE相机,需要使用符合802.3af POE 供电标准的交换机或者路由器。
- 拆开塑料防水外壳,将配套的网线接入到交换机中, OAK-D-PoE需要联网才能正常使用。
- 注意摄像头需要接入到跟主机电脑同一个局域网下的网络,否则程序无法识别到设备。
OAK-D-Pro
- 将Y型转接器接入到OAK-D-Pro
- 用两条Type-C线连接Y型连接器,另一侧,一条UB线调到其他主机的USB3,0接口,另一条连接到5V/2A电源
OAK-D-S2
- 用Type-C先接OAK-D-S2到电脑或者其他主机的USB3.0接口
使用说明
例程下载
为了方便用户上手使用,官方准备了linux, windows平台以及树莓派的depthapi示例和python开发环境。
平台 | 链接 |
---|---|
Windows | https://sourceforge.net/projects/depthai/ |
Raspberry Pi | https://sourceforge.net/projects/oak-rpi-image/ |
Windows
- 从百度网盘下载安装程序。
- 双击打开的exe文件
- 按照提示安装OAKEnvironment软件。
- 建议将安装目录更改到其他的位置
- 勾选添加环境变量
- 点击安装等待安装完成。
- 安装完成之后会在桌面添加一个快捷方式,双击可以直接运行depthai-demo.py程序
Linux
如果你使用的是ubuntu系统,可以直接看下方的ubuntu步骤
- 安装depthai
git clone https://gitee.com/oakchina/depthai.git
- 安装depthai-python
git clone https://gitee.com/oakchina/depthai-python.git
- 安装depthai-experiments
git clone https://gitee.com/oakchina/depthai-experiments.git
- 如果你是第一次使用OAK设备,需要先配置规则
echo 'SUBSYSTEM=="usb", ATTRS{idVendor}=="03e7", MODE="0666"' | sudo tee /etc/udev/rules.d/80-movidius.rules sudo udevadm control --reload-rules && sudo udevadm trigger
- 安装依赖库
python3 -m pip install -r depthai/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
- 测试程序
python3 depthai/depthai_demo.py
树莓派
- 在开头我们提供了一个已经配置好环境的树莓派镜像,用户可以直接下烧录即可
- 下载树莓派官方烧录工具
- 打开软件,选择下载的oak镜像(注意解压出.img文件), 然后烧写进SD卡即可
- 启动树莓派,使用以下指令运行例程
cd depthai python3 depthai_demo.py
Ubuntu
- 安装depthai
git clone https://gitee.com/oakchina/depthai.git
- 安装依赖库
cd depthai python3 install_requirements.py
- 运行程序
python3 depthai-demo.py
注:如果安装后opencv报错并显示非法指令,请运行一下指令添加环境,再重新测试
echo "export OPENBLAS_CORETYPE=ARMV8" >> ~/.bashrc source ~/.bashrc
Jetson平台
注意:在jetson平台不要直接运行depthai包中的依赖脚本,避免OpenCV覆盖导致其他程序无法正常使用
- 请根据Jetson平台先烧写系统,并完整正常配置
- (可选)如果后续配置有问题,你可以更新软件包,第一次配置请先不要做次更新
sudo apt update && sudo apt upgrade sudo reboot
- s设置SWAP
# 禁用 ZRAM: sudo systemctl disable nvzramconfig # 创建 4GB swap文件 sudo fallocate -l 4G /mnt/4GB.swap sudo chmod 600 /mnt/4GB.swap sudo mkswap /mnt/4GB.swap
- 安装pip3
sudo -H apt install -y python3-pip
- 安装和配置虚拟环境:
sudo -H pip3 install virtualenv virtualenvwrapper
- 添加设置到bash脚本
sudo vi ~/.bashrc # 将以下内容添加到打开的文档中 export WORKON_HOME=$HOME/.virtualenvs export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3 source /usr/local/bin/virtualenvwrapper.sh
- 重新加载脚本,并穿件虚拟环境depthAI
source ~/.bashrc mkvirtualenv depthAI -p python3
- 安装depthai,注意安装需要在虚拟环境中进行,请先进入虚拟环境
#download and install the dependencies script sudo wget -qO- http://docs.luxonis.com/_static/install_dependencies.sh | bash #clone depthai respository git clone https://github.com/luxonis/depthai-python.git cd depthai-python
- 添加环境配置
echo "export OPENBLAS_CORETYPE=ARMV8" >> ~/.bashrc
- 进入example文件夹,然后运行脚本安装依赖库
cd examples/ sudo python install_requirements.py
- 运行测试脚本
sudo python rgb_preview.py