JetBot ROS AI Kit 教程八、ROS语音环境配置
来自Waveshare Wiki
JetBot ROS AI Kit 进阶教程目录
- JetBot ROS AI Kit 教程一、雷达数据分析
- JetBot ROS AI Kit 教程二、SLAM激光雷达建图
- JetBot ROS AI Kit 教程三、自主导航
- JetBot ROS AI Kit 教程四、ROS OpenCV
- JetBot ROS AI Kit 教程五、ROS智能语音
- JetBot ROS AI Kit 教程六、Jetson nano 安装ROS系统及环境配置
- JetBot ROS AI Kit 教程七、Ubuntu 虚拟机安装ROS系统及环境配置
- JetBot ROS AI Kit 教程八、ROS语音环境配置
- JetBot ROS AI Kit 主页
通过前面的教程已经配置好ROS系统环境,下载继续配置语音部分环境。
- 注意事项:使用我们配置的镜像语音程序直接可用,自主配置的镜像需要修改程序的用户账号才可以正常使用。
步骤1、安装依赖库
- 在机器人端输入以下命令安装依赖库
sudo apt update sudo apt install python-pip sudo python -m pip install websocket sudo python -m pip install websocket-client sudo apt install sox libsox-fmt-all sudo apt install portaudio19-dev sudo python -m pip install pyaudio sudo python -m pip install webrtcvad sudo apt install libatlas-base-dev sudo apt install flac sudo python -m pip install gtts
步骤2、安装Google Assistant SDK
- 安装Python3虚拟环境
sudo apt-get update sudo apt-get install python3-dev python3-venv cd ~ python3 -m venv env env/bin/python -m pip install --upgrade pip setuptools wheel
- 下面部分操作都是在虚拟环境中进行,重新打开终端需运行如下命令进入到虚拟环境中
source env/bin/activate #打开虚拟环境
- 安装Google Assistant Service
- 注意:在中国,无法直接使用Google的服务。需要科学上网,必须搭建可以访问google的路由器,然后树莓派连接到路由器
- 在开始使用Google Assistant之前,需要先安装Google Assistant Service。
- Google官方指导的链接:https://developers.google.com/assistant/sdk/guides/service/python
- 请根据指南第三步,配置开发人员项目和配置账户,并创建一个OAuth Client ID JSON文件,并且将JSON文件复制到您的jetson nano
- 请根据指南第四步,注册设备模型
- 安装安装Google Assistant SDK
(env) $ sudo apt-get install portaudio19-dev libffi-dev libssl-dev (env) $ python -m pip install --upgrade google-assistant-sdk[samples]
步骤3、授权Google Assistant SDK 安装或更新授权工具
- 输入命令生成谷歌助手授权凭据
(env) $ python -m pip install --upgrade google-auth-oauthlib[tool]
- 生成凭据以能够运行示例代码和工具。引用您在上一步中下载的JSON文件 ;您可能需要将其复制到设备。不要重命名该文件
(env) $ google-oauthlib-tool --scope https://www.googleapis.com/auth/assistant-sdk-prototype \ --save --headless --client-secrets /path/to/client_secret_ client-id .json
- 可以在终端中看到一个URL: Please visit this URL to authorize this application: https://..
- 复制URL并将其粘贴到浏览器中(可以在任何计算机上完成)。该页面将要求您登录您的Google帐户。登录到上一步中创建开发人员项目的Google帐户。从API批准许可请求后,浏览器中将显示一个代码,例如“ 4 / XXXX”。将此代码复制并粘贴到终端中:
Please go to this URL: https://... Enter the authorization code:
- 如果授权成功,您将看到类似于以下的响应。如果您看到InvalidGrantError,则输入了无效的代码。请重试,请小心复制并粘贴整个代码
credentials saved: /path/to/.config/google-oauthlib-tool/credentials.json #授权
- 运行如下命令测试 my-dev-project为创建的Actions Console项目的Google Cloud Platform项目ID。要在Actions Console中找到项目ID 、 my-model为在上一步中注册设备模型的名称。
(env) $ googlesamples-assistant-pushtotalk --project-id my-dev-project --device-model-id my-model
- 若出现下面提示,请安装低级版本
python -m pip install cryptography==36.0.2