毕业设计| 语音识别智能家居制作

发布时间:2023-04-24  

系统功能

本语音控制的智能家居系统可以实现本地在线语音识别,控制家电;通过手机语音远程控制家电;手机可以远程实时获取家内传感器的数据。


1)单片机实现音频信息的采集,播放内置音频信息,获取温湿度传感器数据和光照度传感器数据,通过显示屏显示传感器数据和语音转文字后的信息。


2)网络传输模块实现网络传输,与MQTT Server和语音识别API分别建立TCP连接,通过发布和订阅MQTT的Topic主题进行数据的上传与下行。

3)单片机将采集的音频信息进行base64编码,将编码后的音频数据和TOKEN以及一些必要参数整合成JSON格式整合到HTTP BODY中,单片机通过带流控位的串口与网络传输模块进行数据传输。

4)网络传输模块将接收到串口数据通过TCP通信同步上传到百度语音识别API,传输结束后,等待TCP Server返回HTTP 响应报文,将报文BODY字段数据进行裁剪,只要其中JSON格式的语音识别信息(UTF-8编码),将语音识别信息发送到单片机,单片机通过UTF-8转GBK算法进行最终的语义控制, 并进行对应语音播报。

5)手机APP端利用语音识别API接口进行语音识别,与MQTT Server端建立TCP连接,通过MQTT协议订阅和发布,将转换后语音信息发布到订阅设备,单片机处理收到的订阅信息。

6)单片机将采集到的传感器数据发布到MQTT Server端,APP端可以通过订阅来实时更新传感器数据。

硬件组成

系统硬件主要由九部分组成,分别是单片机、网络传输模块、立体声编解码模块、IO扩展模块、温湿度传感器、光照度传感器与液晶显示屏、按键及LED灯组组成,系统的总体框图如图:

Image

单片机选用了ST公司的STM32F407VET6芯片,通过内部的USART接口与ESP8266 NodeMCU通信,通过丰富的外设功能获取传感器的各项数据;

网络传输模块采用乐鑫科技的ESP8266单片机通过STA模式连路由器链入到Internet,连接百度语音识别API接口进行语音识别,通过MQTT协议连接百度天工物接入平台发送传感器数据;手机端APP通过访问MQTT Server实时更新内部显示传感器数据;

立体声编解码模块采用深圳普中科技有限公司的WM8978模块自带MIC头可以直接采集音频信息;

Image

IO扩展模块采用PCF8574,可以通过I2C引脚最多控制8个PCF8574模块也就是说可以控制64个IO口;

温湿度传感器采用DHT22进行温湿度数据的采集,采集的温度精度为±0.5℃,湿度精度为±2%RH;光照度传感器采用BH1750FVI可以获取0~65535单位为lx光照值数据。

系统软件

系统的软件框图:

Image

单片机将传感器数据和语音识别包通过带硬件流控的USART串口与网络传输模块进行数据的交互;网络传输模块通过Wi-Fi的STA模式连接到路由器,通过向语音识别API发送HTTP数据包获取语音转文字数据报,通过向MQTT Server发送订阅与发布消息,进行传感器数据的上传与手机控制命令的下传;手机APP通过与MQTT Server 订阅和发布消息,获取传感器数据后实时显示,通过手机APP语音识别,识别成功后将识别内容发布到MQTT Server,等待MQTT Server转发消息给订阅的设备。

单片机的程序设计、云端设备参数设置、wifi传输模块软件设计、手机APP程序设计在分享的论文与代码中,可以查看到更多详细的介绍。


需要改进的地方

1)上面项目的控制语音识别开始和结束,都是通过按键进行控制的,缺少了唤醒词的功能,希望之后可以通过采用DTW(Dynamic Time Warping,动态时间归整)算法,进行唤醒词识别。

2)目前只能对获取的语音进行简单的操控,无法进行语音的合成,只能依靠SD卡内存放的音频文件,之后可以将百度语音合成技术也加入到系统中,并将内部命令改成数据库命令,通过海量的知识丰富当前的语音操控。

3)系统只有一个终端设备,之后可以增加节点设备,从而实现一主机控制多从设备。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>