我們?cè)诮ㄔ焓裁?

在之前的教程中，我介紹了如何通過(guò)REST將ESP32連接到谷歌Gemini API以發(fā)送音頻文件并對(duì)其進(jìn)行轉(zhuǎn)錄。在本教程中，我將擴(kuò)展到實(shí)際使用錄制的音頻而不是轉(zhuǎn)錄它-在這種情況下，打開(kāi)和關(guān)閉LED環(huán)，加上根據(jù)語(yǔ)音命令改變LED的顏色。雖然我只是在操縱一個(gè)LED環(huán)，但你可以用這里使用的技術(shù)(稱為函數(shù)調(diào)用)做任何事情，從控制電機(jī)到對(duì)在線服務(wù)提出額外請(qǐng)求。

在之前的教程中，我使用這些連接設(shè)置了一個(gè)設(shè)備：

現(xiàn)在唯一的區(qū)別是，我從Adafruit添加了一個(gè)24新像素的環(huán)，電源線在相同的3.3v軌道上，GND到GND，數(shù)據(jù)線在ESP32引腳D15上。

為了簡(jiǎn)單起見(jiàn)，這也是上一篇教程結(jié)束時(shí)使用的代碼，您可以將其作為本演練的起點(diǎn)。

什么是函數(shù)調(diào)用?

很好，在我們深入了解新內(nèi)容之前，讓我們先談?wù)労瘮?shù)調(diào)用。本質(zhì)上，這是一種告訴Gemini API你在程序中有一些自定義函數(shù)定義的方法然后Gemini可以根據(jù)用戶的輸入/請(qǐng)求決定調(diào)用其中的任何一個(gè)。您可以通過(guò)向POST到API的JSON中添加新屬性來(lái)實(shí)現(xiàn)這一點(diǎn)。這是這個(gè)燈的例子中JSON的樣子。

您可以在這里看到，您需要發(fā)送將要調(diào)用的函數(shù)的名稱、函數(shù)的描述，以便Gemini API知道何時(shí)適合調(diào)用它，還可以選擇發(fā)送一個(gè)屬性列表，這些屬性可以傳遞給函數(shù)，以便自定義它的工作方式。您還可以要求在調(diào)用函數(shù)時(shí)發(fā)送這些屬性。

新代碼

好了，現(xiàn)在我們已經(jīng)有了基本的概念，讓我們更新音頻錄制代碼來(lái)處理函數(shù)調(diào)用!讓我們首先將Adafruit NeoPixel庫(kù)添加到類的頂部，以及定義LED環(huán)使用的引腳，該環(huán)上有多少NeoPixels，以及LED使用的紅/綠/藍(lán)顏色的一些默認(rèn)值。我們還需要定義neoppixel控制器對(duì)象。

進(jìn)入setup()函數(shù)，我們只需要初始化pixels對(duì)象并將led設(shè)置為默認(rèn)的關(guān)閉狀態(tài)。

我們還將添加一個(gè)名為toggleLights(bool on)的新函數(shù)，用于在Gemini API觸發(fā)時(shí)切換燈的打開(kāi)或關(guān)閉。

現(xiàn)在我們可以進(jìn)入函數(shù)調(diào)用的核心代碼。進(jìn)入createAudioJsonRequest()函數(shù)并將其替換為以下代碼：

雖然看起來(lái)這里有很多事情要做，但它主要只是從SD卡讀取音頻數(shù)據(jù)，然后構(gòu)建您可以在教程前面看到的JSON結(jié)構(gòu)。

最后，我將transcribeAudio()函數(shù)重命名為sendAudio()。現(xiàn)在我們可以檢查functionCall參數(shù)是否存在于響應(yīng)中，而不是打印返回的音頻文本，找出正在調(diào)用的函數(shù)，然后提取該函數(shù)的參數(shù)以對(duì)它們進(jìn)行處理。在本例中，我正在檢查toggleLights，它將包含一個(gè)布爾值，用于指示燈是否應(yīng)該打開(kāi)，并且我將該值傳遞給toggleLights()函數(shù)。除此之外，我正在監(jiān)聽(tīng)Gemini API將“changeColor”作為一個(gè)functionCall值發(fā)回。如果成功了，我就從參數(shù)中提取紅色、綠色和藍(lán)色值并保存它們，然后用這些保存的值打開(kāi)燈。你可以在這里看到整個(gè)函數(shù)：

此外，Gemini API可以理解多種語(yǔ)言的音頻記錄，而無(wú)需事先定義這些語(yǔ)言。例如，我用這段代碼用西班牙語(yǔ)打開(kāi)LED環(huán)，把顏色變成綠色(注意，我實(shí)際上不會(huì)說(shuō)西班牙語(yǔ)，所以我用谷歌Translate和文本到語(yǔ)音的功能，但它工作得很好!)。

結(jié)論

這就是添加到音頻記錄示例中的內(nèi)容，能夠使用完整的句子來(lái)控制你的設(shè)備，對(duì)語(yǔ)音進(jìn)行復(fù)雜的操作。我很想看到你們使用這些信息制作的非?？岬捻?xiàng)目，所以請(qǐng)留下評(píng)論和它們的鏈接，我們將在以后的教程中再見(jiàn)!

本文編譯自hackster.io