語音控制技術讓每一個家電都能說會聽
發布時間：2021-1-22 10:44
發布者：eechina
|
你是否曾經幻想過這些場景：回到家，對著電視說想看的節目，電視會自動開啟并切換至目標頻道？或者對著爐子說開始小火慢燉，晚餐會以恰當的火候自動烹飪？現如今，家用電器的確可以實現諸如此類的功能，通過語音控制，疲憊一天的你不用親力親為，坐在沙發上對著各種電器發出指令，它們便會聽話地完成你的各種需求。 實際上，家用電器能說會聽是物聯網的產物。物聯網架構復雜，涉及方面廣，越來越多的企業選擇云上托管物聯網設備體系，因為云端架構安全便捷，基于人工智能（比如，自然語言處理）模型，訓練和部署等過程都通過簡單的點擊即可完成，功能強大，可以極大程度地為公司節約人力和物力。云端物聯網通常包括一個安置在家庭中的傳感器設備，通過Wi-Fi連接到網絡，用于接受數據，將數據傳給云端數據庫，在云環境中進行分析處理。 隨著人工智能和物聯網的發展，人機交互給人們帶來越來越高端的體驗。語音控制技術應用最為廣泛，也是當今的熱門研究課題。令人耳目一新的是在家用電器方面的應用，摒棄了傳統的遙控器裝備，通過口令讓家用電器完成各項功能。語音控制家電技術圍繞人工智能，機器學習語義識別，物聯網（IoT），云計算（cloud computing）而展開。 本文以云端架構為框架，為大家介紹語音控制技術是如何讓家用電器能說會聽的。主要內容將圍繞以下幾個方面展開： Azure云端語音控制和識別技術 云端物聯網 云端語音控制技術基本解決方案步驟 相關主要技術說明 Universal Windows Platform（UWP） Cognitive service 的語音識別APIs & SDK Language Understanding Intelligent Service (LUIS) 運行Windows 10 IoT核心版的Raspberry Pi 3 語音控制技術如何應用于家電 核心技術 架構 功能 解決方案 總結 Azure云端語音控制和識別技術 語音控制系統包括了語音識別、自然語音理解、對話管理、自然語言生成、語音合成。 
來源：https://zhuanlan.zhihu.com/p/53639416 1) 云端物聯網 語音識別是指語音到文本的轉化。Azure 平臺的TTS（text to speech）采用Universal language模型，該模型對Microsoft已有數據進行了訓練，并部署在云端，也可以創建和訓練自定義的語言模型，根據需要選擇特定的詞匯并將其加入訓練數據中。 自然語言分析/自然語言處理，是機器學習的一部分，設計模型并進行訓練。 對話管理的任務主要有下三點： 預測用戶意圖 對話內容進行分析，機器學習模型預測，確定下一步做什么。 作為接口與后端/任務模型進行交互 作為應用程序接口與服務器端或模型進行請求交互，獲取反饋結果，生成文字結果。 提供語義分析結果的期望值 根據用戶的提問，通過一系列的語義解析，做出滿足用戶期望的回應。 語言答案的文本生成是通過模型分析用戶的指令并作出文字回應。 語音合成技術主要作用是將文本轉化成擬人化語音的需求，基礎的Azure 云端語音合成使用語音SDK或REST API使用標準（詳細說明見下文），神經或自定義語音實現文本轉語音的過程。 家用電器中，對話模式的情感要求會低一些，因為用戶發出的大多是功能請求，比如：開機，詢問溫度或濕度等等。 （以上內容參考自：https://zhuanlan.zhihu.com/p/53639416） 2) 云端語音控制技術基本解決方案步驟 對話模式 對話模式是人機語言交互的核心，所有模式圍繞其展開。當用戶發出指令，系統便切換到了對話模式。Azure上使用UWP 應用平臺，開發一個界面，用于監測人聲觸發（例如：對平臺說： ‘Hi， cloud！‘）成功與否。 聽寫模式 使用者說出一段較長的語音，然后等待語音識別的結果。當‘Hi， cloud！‘指令發起后，用戶正式發出指令（說出想對機器說的話），這時語音便傳到了語義分析系統（Azure LUIS），內容傳入語義分析系統，Azure上的實時語音轉文本服務使用初始化Universal Language模型，通過REST API/Speech software development kit (SDK)完成。 交互模式 使用者發出簡短的請求, 并期望應用程序執行響應，交互模式主要是指將語音識別和文字到語音的轉換過程嵌入到應用程序中去。本文例子中，Azure云端部署語音控制系統的交互模式體現在與用戶交互的Universal Windows Platform（UWP）應用。在UWP上開發一個簡單的界面供用戶操控，或供開發者測試使用。 相關主要技術說明 1) Universal Windows Platform（UWP） Windows通用應用平臺，同一個API可以在電腦端，手機端，或其他windows10設備通用。換句話說，同樣的代碼可以在不同的終端運行，不必為不同的平臺寫不同的代碼。 2) Cognitive service 的語音識別REST APIs & SDK 以語音識別為例：REST API 需要提前獲取密鑰，然后向服務器發送HTTP請求，經過身份驗證后，服務器將轉換后的音頻返回至本地。 下面通過圖示說明云上的REST APIS：
圖片來源：https://gunnarpeipman.com/wp-con ... est-api-adapter.png 這是Rest client應用于Application（應用程序）并在其中創建rest client的實例，然后在Application上調用一些方法。當調用Rest client方法時，該方法將輸入轉換為http請求，并將請求發送到Rest api。來自端點的響應是http響應，Rest client將其轉換為Application可識別的類型，并返回給Application端。 由于我們不想向我們的Application（應用程序）公開Rest client的詳細信息，可以添加Adapter(適配器)用來與外部服務通信。適配器接受Application(應用程序)中已知類型的參數，并且返回值也是Application(應用程序)中已知類型的參數。 SDK即為可以調用的庫，支持Python，C#, C++, Java, JavaScript, Objective-C/Swift. 官方文獻明確指出： “作為語音 SDK 的一種替代方法，語音服務允許使用 REST API 將語音轉換為文本。 每個可訪問的終結點都與某個區域相關聯。 應用程序需要所用終結點的訂閱密鑰。 REST API 非常有限，只應在語音 SDK 不能使用的情況下使用�！� 引用來源：https://docs.microsoft.com/zh-cn ... gions-and-endpoints 有關SDK 和REST API 可以參考以下連接： SDK Rest API 3) Language Understanding Intelligent Service (LUIS) Azure的LUIS是基于云的對話式AI服務，作用是使機器理解人的語言。 運行方式可用一句話概括為：客戶端通過應用程序直接發送語音請求到 LUIS， LUIS中的自然語言處理功能將命令轉換為JSON格式，分析后答案同樣以JSON的形式返回。LUIS平臺為用戶提供了訓練模型的服務，并且模型具備“不斷學習的功能”，通過使用模型去回應客戶請求，模型會不斷自動修正以提高準確度。 https://dzone.com/articles/luis- ... intelligent-service
圖片來源：https://docs.microsoft.com/zh-cn ... s/luis/what-is-luis 自然語言處理離不開以下幾個方面： （例如：用戶向家用檢測濕度系統發出”檢查濕度？”的指令。） 目的性（動詞）- “檢查”就是一個動詞， LUIS模型最大接受80個目的性詞匯。 完整的語言內容 - 用戶發出的完整指令，LUIS模型最多接受500字的語音請求。 實體（名詞）- 濕度是一個名詞。LUIS模型最多接受30個實體名詞。 LUIS定義特征，意思就是當你的模型很難識別某一個或幾個單詞的時候，可以自動加進數據中進行再訓練。 運行Windows 10 IoT核心版的Raspberry Pi 3 Raspberry Pi 是一個開發板，可以連接到不同類型的傳感器。Raspberry Pi可以被用作Web服務器，該服務器接收不同的解釋命令并發送電信號，以控制安裝在Smart Home中的家用電器。 語音控制技術如何應用于家電 語音控制使家庭環境更智能，實現家電的自動化。我們可以將其定義為：通過提供如健康，多媒體，娛樂和能源相關應用的不同服務，通過引入技術改善居住者的生活質量。 應用舉例：智能濕度計---云端部署
圖片來源：https://www.iotnewsportal.com/iot-images/1512640413.png 1) 核心技術 在Raspberry Pi 3上運行的Universal Windows Platform（UWP）應用，使用語音識別API與傳感器與用戶進行交互， LUIS 進行語義分析，經由Raspberry pi 3 將用戶的問題傳入，最后通過Cognitive service 的語音識別APIs 技術給出答案。 2) 架構
圖片來源：https://azure.microsoft.com/en-i ... zure-iot-subsystems 3) 功能 存儲數據，通過傳感器搜集數據并存儲在云端。 語音到文本和文本到語音的API，用于識別用戶提出的問題，并使用語音提供答案。 LUIS語音識別，語義分析，通過預先訓練的模型預測答案，以準確響應客戶的指令。 通過Raspberry Pi 3傳入語音，和Cognitive Services的語音識別API，讓家電可以回答用戶提出的問題。 4) 解決方案 以下內容參考：https://microsoft.github.io/tech ... 7/06/02/Iomote.html 數據到云端 從傳感器到云端數據庫的數據傳輸過程已經可以通過完善的架構實現，客戶可以直接使用不同類型的數據庫，以滿足不同的需求。 開展語音對話：UWP應用 例如：用戶希望了解家里的濕度，‘Hey, cloud !’ ’ What is the humidity in the room now? ’通過UWP平臺進行文本輸出顯示，UWP應用將在中安裝的Raspberry Pi 3上運行，該應用程序將能夠與所有傳感器和執行器進行通信， 系統被觸發后，問題會被傳到LUIS中進行語義分析。 問題分析，與LUIS連接 LUIS 用于了解從Raspberry Pi 3接收的命令。經過對模型的訓練，應用程序能夠識別意圖：檢索室內濕度。之后，將LUIS API添加到UWP應用程序中，用戶觸發命令 “Hey, cloud ! ” 之后，所有內容通過API發送到LUIS進行分析。LUIS在UWP內被調用，接收輸入并分析意圖。根據預測意圖的置信度向用戶提供正確答案，將命令發送到IoT中心以獲取傳感器的溫度。 開發網頁端應用 開發一個網頁端應用程序用于設備管理。該程序可以顯示連接到IoT中心的所有傳感器，使管理設備變得更加容易，實現重新啟動，固件更新等功能。 人機交互 UWP應用與網頁端應用進行交互給客戶進行響應，網頁端應用負責將指令發送到指定的傳感器，從特定的傳感器檢索當前室內的空氣濕度，回答用戶問題，最后通過 “文本到語音” API向用戶提供當前室內的濕度值。 總結 語音交互為用戶提供了一種全新的家居控制方式，使家用電器能說會聽，與此同時，當下語言識別面臨的困難也不同忽視，主要包括以下幾點： 中文方言的識別/不同國家英語口音的識別。 模型預測準確度： 想要使語音識別達到一個近似于人大腦的效果，必須結合語言學、心理學及生理學等領域知識達到與人近似的情感分析。此外，預測模型是不可能達到百分之百準確的，總會有新的指令，新的詞匯出現，這時，模型的不斷迭代訓練變得尤為重要。 排除噪聲干擾：讓語音控制系統精準定位到與其交互的用戶聲音，而不是其他較高音量的噪音。 作者認為，想要讓機器像人一樣思考問題，最大的挑戰是機器學習/人工智能技術與醫學（生理和心理學）的結合，因為當今科學界懂得醫學知識的人工智能科學家寥寥無幾。家用電器的人機對話可以大大減輕用戶的勞動力，機器有了情感以后，便可以增加聊天功能，機器會像朋友一樣在回答問題之余閑聊幾句，增添生活的樂趣。此外，機器對溫度等數據的把控度極為精準，這是人類無法達到的。 綜上所述，語音控制技術應用于家用電器是非常有前景的項目，未來會說話的家用電器會普及所有家庭。將來希望大量科學家進入這個領域，致力于不斷創新與研發，使這一目標早日實現。 參考文獻及網站 https://zhuanlan.zhihu.com/p/53639416 https://docs.microsoft.com/zh-cn ... s/luis/what-is-luis https://docs.microsoft.com/en-ie ... vice/speech-to-text https://www.cnblogs.com/sparkdev/p/8969238.html https://docs.microsoft.com/en-ie ... view#reference-docs https://docs.microsoft.com/zh-cn ... tion-platform-guide https://zhuanlan.zhihu.com/p/40974083 https://blog.csdn.net/yushuzhen2008/article/details/104152122 https://blog.csdn.net/Clovera/ar ... ai2-3.channel_param https://dzone.com/articles/why-a ... prepare-for-using-t 文章來源：貿澤電子 作者簡介：王晶是一名機器學習算法工程師，目前在汽車檢測領域工作。熱衷于技術文章的創作。 她希望她的文章能引起讀者們對人工智能的興趣，以激勵更多的專業人員致力于這個領域，將AI與云技術和大數據結合起來，以使人們的生活更加安全便捷。 |
網友評論