我們在建造什么?

在之前的教程中，我介紹了如何通過REST將ESP32連接到谷歌Gemini API以發(fā)送音頻文件并對其進行轉(zhuǎn)錄。在本教程中，我將擴展到實際使用錄制的音頻而不是轉(zhuǎn)錄它-在這種情況下，打開和關(guān)閉LED環(huán)，加上根據(jù)語音命令改變LED的顏色。雖然我只是在操縱一個LED環(huán)，但你可以用這里使用的技術(shù)(稱為函數(shù)調(diào)用)做任何事情，從控制電機到對在線服務(wù)提出額外請求。

在之前的教程中，我使用這些連接設(shè)置了一個設(shè)備：

現(xiàn)在唯一的區(qū)別是，我從Adafruit添加了一個24新像素的環(huán)，電源線在相同的3.3v軌道上，GND到GND，數(shù)據(jù)線在ESP32引腳D15上。

為了簡單起見，這也是上一篇教程結(jié)束時使用的代碼，您可以將其作為本演練的起點。

什么是函數(shù)調(diào)用?

很好，在我們深入了解新內(nèi)容之前，讓我們先談?wù)労瘮?shù)調(diào)用。本質(zhì)上，這是一種告訴Gemini API你在程序中有一些自定義函數(shù)定義的方法然后Gemini可以根據(jù)用戶的輸入/請求決定調(diào)用其中的任何一個。您可以通過向POST到API的JSON中添加新屬性來實現(xiàn)這一點。這是這個燈的例子中JSON的樣子。

您可以在這里看到，您需要發(fā)送將要調(diào)用的函數(shù)的名稱、函數(shù)的描述，以便Gemini API知道何時適合調(diào)用它，還可以選擇發(fā)送一個屬性列表，這些屬性可以傳遞給函數(shù)，以便自定義它的工作方式。您還可以要求在調(diào)用函數(shù)時發(fā)送這些屬性。

新代碼

好了，現(xiàn)在我們已經(jīng)有了基本的概念，讓我們更新音頻錄制代碼來處理函數(shù)調(diào)用!讓我們首先將Adafruit NeoPixel庫添加到類的頂部，以及定義LED環(huán)使用的引腳，該環(huán)上有多少NeoPixels，以及LED使用的紅/綠/藍顏色的一些默認值。我們還需要定義neoppixel控制器對象。

進入setup()函數(shù)，我們只需要初始化pixels對象并將led設(shè)置為默認的關(guān)閉狀態(tài)。

我們還將添加一個名為toggleLights(bool on)的新函數(shù)，用于在Gemini API觸發(fā)時切換燈的打開或關(guān)閉。

現(xiàn)在我們可以進入函數(shù)調(diào)用的核心代碼。進入createAudioJsonRequest()函數(shù)并將其替換為以下代碼：

雖然看起來這里有很多事情要做，但它主要只是從SD卡讀取音頻數(shù)據(jù)，然后構(gòu)建您可以在教程前面看到的JSON結(jié)構(gòu)。

最后，我將transcribeAudio()函數(shù)重命名為sendAudio()?，F(xiàn)在我們可以檢查functionCall參數(shù)是否存在于響應中，而不是打印返回的音頻文本，找出正在調(diào)用的函數(shù)，然后提取該函數(shù)的參數(shù)以對它們進行處理。在本例中，我正在檢查toggleLights，它將包含一個布爾值，用于指示燈是否應該打開，并且我將該值傳遞給toggleLights()函數(shù)。除此之外，我正在監(jiān)聽Gemini API將“changeColor”作為一個functionCall值發(fā)回。如果成功了，我就從參數(shù)中提取紅色、綠色和藍色值并保存它們，然后用這些保存的值打開燈。你可以在這里看到整個函數(shù)：

此外，Gemini API可以理解多種語言的音頻記錄，而無需事先定義這些語言。例如，我用這段代碼用西班牙語打開LED環(huán)，把顏色變成綠色(注意，我實際上不會說西班牙語，所以我用谷歌Translate和文本到語音的功能，但它工作得很好!)。

結(jié)論

這就是添加到音頻記錄示例中的內(nèi)容，能夠使用完整的句子來控制你的設(shè)備，對語音進行復雜的操作。我很想看到你們使用這些信息制作的非?？岬捻椖?，所以請留下評論和它們的鏈接，我們將在以后的教程中再見!

本文編譯自hackster.io