说明

功能简介

特性	13.3寸触摸显示器，树莓派3A+主控，智能语音对话
分辨率	1920×1080
主控	树莓派3A+
'	无特性，不解释
'	无特性，不解释
接口

产品概述

本产品是树莓派13.3寸触摸一体机，内置树莓派3A+，能显示新闻、天气、时间，支持智能语音对话，1920x1080超清分辨率，带钢化玻璃电容触摸面板。

产品特点

内置树莓派3A+主控，64位1.4GHz四核，双频WIFI，蓝牙4.2
IPS屏，1920×1080超清分辨率
能显示新闻、天气、时间
内置黑磁高保真喇叭，优质MEMS硅麦克风，带3.5mm音频接口
支持中英文语音对话，搭载Snowboy语音唤醒，科大讯飞，谷歌助手
钢化玻璃电容触摸面板，最高支持10点触摸，硬度达6H
支持通用的挂壁架，背面有75×75mm的挂壁固定孔(M4螺丝孔)
自带75°倾斜角度支架

产品差别

与13.3inch Magic Mirror相比，13.3inch PiPad使用钢化玻璃面板，而非单向透视镜面。其它均相同。

如何使用

您可以通过两种方法使用 Magic Mirros：方法一，使用预配置的镜像。方法二，在树莓派原始镜像上配置环境运行程序。

新手或者首次安装推荐安装预配置的镜像，预配置镜像已安装需要的库和驱动，程序开机自动运行。

方法一，使用预配置的镜像

1) 这里提供预配置的镜像，解压并把镜像写入到TF卡中（打开Win32DiskImager.exe软件，选择.img文件，点击「write」烧写镜像）。

Pi2/Pi3/Pi3+启动镜像------------提取码：gw9r

2) 如果没有连接网线则将TF卡连接到电脑添加自动连接WiFi文件。在根目录下wpa_supplicant.conf文件并添加如下代码，其中your_real_wifi_ssid和your_real_password替换为实际的WiFi账号和密码。如果是国内还需要将country=US改为country=CN

ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdev
update_config=1
country=US

network={
        ssid="your_real_wifi_ssid"
        psk="your_real_password"
}

3) 烧写完成后，把卡插入树莓派上，打开电源开关。正常就会启动系统了。

4) 系统默认采用英文显示，国内如果没有科学上网则不能正常显示新闻，需要打开终端运行如下代码修改中文配置。

cd ~/MagicMirror/modules/MMM-VoiceAssistant/config
cp config/config.js.cn ~/MagicMirror/config/config.js  #显示中文
#cp config/config.js.en ~/MagicMirror/config/config.js  #显示英文

4) 魔镜支持中英文语音对话，中文采用科大讯飞的AIUI ，英文采用Google Assistant Service，搭载Snowboy唤醒词检测引擎。

程序默认有两个唤醒词"smart_mirror"和"snowboy"。使用“smart_mirror”唤醒会识别为中文调用科大讯飞API。使用“snowboy”唤醒会识别为英文调用Google Assistant API。

snowboy:https://snowboy.kitt.ai/

科大讯飞:https://www.xfyun.cn/

Google Assistant:https://developers.google.com/assistant/sdk/guides/service/python

注意：Google助手服务需要科学上网，否则不会有响应。
注意：镜像中唤醒词采用的是公有模型，理论上对所有人都有效，但是实际可能会不能唤醒或者比较难唤醒。用户需要到snowboy官方注册账号训练自己的模型或者更改其他唤醒词。详细操作请看下面注意事项

方法二，在树莓派原始镜像上配置环境运行程序(非专业人士可以跳过)

1.安装树莓派镜像

1）将树莓派镜像写入到TF卡中，在TF卡更目录下新建一个名为SSH的空白文件开启SSH,编辑TF卡根目录下的config.txt文件设置屏幕分辨率。在config.txt文件末尾添加：

hdmi_group=2
hdmi_mode=82
hdmi_cvt 1920 1080 60 6 0 0 0

必须确保等号两边没有空格。

2) 保存并将TF卡插入树莓派, Magic Mirror接上网线，树莓派上电后正常等待几秒后可正常显示。

3)树莓派正常启动后可以通过鼠标键盘操作,也可以通过SSH或VNC操作。

2.安装WM8960声卡驱动

请勿切换软件源，切换了软件源可能会安装失败，需要重新烧录镜像

git clone https://github.com/waveshare/WM8960-Audio-HAT
cd WM8960-Audio-HAT
#需要等待一定的时间
sudo ./install.sh 
sudo reboot

编辑/boot/config.txt,注释掉默认音频

#dtparam=audio=on

重启后运行如下命令看下驱动是否加载成功。

pi@raspberrypi:~ $ sudo dkms status 
wm8960-soundcard, 1.0, 4.19.58-v7l+, armv7l: installed

检测声卡

检查播放：aplay -l

pi@raspberrypi:~ $ aplay -l
**** List of PLAYBACK Hardware Devices ****
card 0: wm8960soundcard [wm8960-soundcard], device 0: bcm2835-i2s-wm8960-hifi wm8960-hifi-0 []
  Subdevices: 1/1
  Subdevice #0: subdevice #0

检查录音：arecord -l

pi@raspberrypi:~ $ arecord -l
**** List of CAPTURE Hardware Devices ****
card 0: wm8960soundcard [wm8960-soundcard], device 0: bcm2835-i2s-wm8960-hifi wm8960-hifi-0 []
  Subdevices: 1/1
  Subdevice #0: subdevice #0

3.安装Magic Mirror

curl -sL https://deb.nodesource.com/setup_10.x | sudo -E bash -
sudo apt install -y nodejs
git clone https://github.com/MichMich/MagicMirror
cd MagicMirror/
npm install

安装成功后运行如下命令显示

DISPLAY=:0 npm start

屏幕显示如图

添加MMM-VoiceAssistant模块

cd ~/MagicMirror/modules
git clone https://github.com/waveshare/MMM-VoiceAssistant.git
cd MMM-VoiceAssistant
cp config/config.js.en ~/MagicMirror/config/config.js  #显示英文
#cp config/config.js.cn ~/MagicMirror/config/config.js  #显示中文
cd ~/MagicMirror
DISPLAY=:0 npm start

屏幕显示如图

4.安装Python3虚拟环境

sudo apt-get update
sudo apt-get install python3-dev python3-venv
python3 -m venv env
env/bin/python -m pip install --upgrade pip setuptools wheel
source env/bin/activate

注意：之后的所有操作都是在虚拟环境中进行，重新打开终端需运行如下命令进入到虚拟环境中。

source ~/env/bin/activate

5.snowboy 安装

安装依赖库

sudo apt-get install swig
sudo apt-get install libatlas-base-dev
sudo apt-get install portaudio19-dev
sudo apt-get install flac
pip3 install PyAudio
pip3 install SpeechRecognition

下载编译snowboy

git clone https://github.com/Kitt-AI/snowboy.git
cd snowboy/swig/Python3
make
cd ../../examples/Python3

修改snowboydecoder.py文件,将from . import snowboydetect 改为 import snowboydetect，去掉 from .

测试snowboy唤醒

cd ~/snowboy/examples/Python3
python3 demo.py resources/models/smart_mirror.umdl

说smart_mirror，如果有检测到则会显示类似这样的信息，同时会响ding的一声

INFO:snowboy:Keyword 1 detected at time: 2019-12-03 11:30:16

6.Google Assistant Service 安装

注意：在中国，无法直接使用Google的服务。需要科学上网，必须搭建可以访问google的路由器，然后树莓派连接到路由器。注意：自2019年6月28日起，不再支持Python的Google Assistant Library 。只能用 Google Assistant Service。

在主目录(/home/pi)中新建 .asoundrc 文件，确保Google Assistant可以使用正确的麦克风和扬声器。

nano .asoundrc

新建 .asoundrc文件，将以下配置添加到文件中保存。

pcm.!default {
  type asym
  capture.pcm "mic"
  playback.pcm "speaker"
}
pcm.mic {
  type plug
  slave {
    pcm "hw:0,0"
  }
}
pcm.speaker {
  type plug
  slave {
    pcm "hw:0,0"
  }
}

在开始使用Google Assistant之前,需要将Google Assistant Service 安装到树莓派中。以下是Google官方指导的链接。
https://developers.google.com/assistant/sdk/guides/service/python
请根据指南第三步，配置开发人员项目和配置账户，并创建一个OAuth Client ID JSON文件。不要忘记将JSON文件复制到您的Raspberry Pi。
请根据指南第四步，注册设备模型。

安装Google Assistant SDK

(env) $ sudo apt-get install portaudio19-dev libffi-dev libssl-dev
(env) $ python -m pip install --upgrade google-assistant-sdk[samples]

授权Google Assistant SDK 安装或更新授权工具

(env) $ python -m pip install --upgrade google-auth-oauthlib[tool]

生成凭据以能够运行示例代码和工具。引用您在上一步中下载的JSON文件；您可能需要将其复制到设备。不要重命名该文件。

(env) $ google-oauthlib-tool --scope https://www.googleapis.com/auth/assistant-sdk-prototype \
      --save --headless --client-secrets /path/to/client_secret_ client-id .json

可以在终端中看到一个URL：

Please visit this URL to authorize this application: https://...

复制URL并将其粘贴到浏览器中（可以在任何计算机上完成）。该页面将要求您登录您的Google帐户。登录到上一步中创建开发人员项目的Google帐户。从API批准许可请求后，浏览器中将显示一个代码，例如“ 4 / XXXX”。将此代码复制并粘贴到终端中：

Please go to this URL: https://...
Enter the authorization code:

如果授权成功，您将看到类似于以下的响应。如果您看到InvalidGrantError，则输入了无效的代码。请重试，请小心复制并粘贴整个代码。

credentials saved: /path/to/.config/google-oauthlib-tool/credentials.json

运行如下命令测试 my-dev-project为创建的Actions Console项目的Google Cloud Platform项目ID。要在Actions Console中找到项目ID 、 my-model为在上一步中注册设备模型的名称。

googlesamples-assistant-pushtotalk --project-id my-dev-project --device-model-id my-model

按Enter键，然后尝试以下一些查询 Who am I? What time is it? 正常情况Google Assitant 会回应。

7.设置开机启动

安装PM2

sudo npm install -g pm2

设置PM2开机启动

pm2 startup

运行此命令后会显示一个类似如下的命令，复制此命令到终端运行。

[PM2] To setup the Startup Script, copy/paste the following command:
sudo env PATH=$PATH:/usr/bin /usr/lib/node_modules/pm2/bin/pm2 startup systemd -u pi --hp /home/pi

使用PM2启动MagicMirror

cd MagicMirror/modules/MMM-VoiceAssistant/pi
pm2 start mm.sh

使用PM2启动snowboy 语音助手程序

cd MagicMirror/modules/MMM-VoiceAssistant/pi
pm2 start snowboy.sh

设置开机启动PM2脚本

pm2 save

可以运行下面语句关闭对应的脚本服务。注意，需要使用Pi用户，不能使用管理员用户。

pm2 stop mm
pm2 stop snowboy

8.设置屏幕常亮

打开 lightdm.conf

sudo vi /etc/lightdm/lightdm.conf

修改 lightdm.conf 找到[SeatDefaults]段下的’xserver-command’,取消注释,修改为如下:

#xserver-command=X

修改为

xserver-command=X -s 0 -dpms

-s # –设置屏幕保护不启用
dpms 关闭电源节能管理

重启

sudo reboot

注意事项

1.程序中唤醒词采用的是公有模型，理论上对所有人都有效，但是如果实际不能唤醒可以到snowboy官方注册账号训练自己的模型或者更改其他唤醒词。

登录snowboy:https://snowboy.kitt.ai 网站，找到需要设置的唤醒词，或者添加新的唤醒词。

点击录音和下载图标录音声音，录制三次然后最后检测声音模型是否可用。

下载生成的私有模型，.pmdl后缀的文件,例如Alexa.pmdl.

将文件复制到~/MagicMirror/modules/MMM-VoiceAssistant/pi目录下.注意文件名要用英文，如果不是英文则修改文件名。

打开启动脚本文件修改。

vi snowboy.sh

替换脚本中的文件名,其中第一个smart_mirror.umdl为中文唤醒，第二个snowboy.umdl为引文唤醒词。

cd ~/MagicMirror/modules/MMM-VoiceAssistant/pi
~/env/bin/python3 demo.py smart_mirror.umdl snowboy.umdl

2.国内用户不能显示新闻，一直显示loading

系统默认英文显示，国内需要科学上网才能显示，更改配置显示中文即可以显示。

cd ~/MagicMirror/modules/MMM-VoiceAssistant/config
cp config.js.cn ~/MagicMirror/config/config.js  #显示中文
#cp config.js.en ~/MagicMirror/config/config.js  #显示英文
sudo reboot  #重启