迭代式精益創(chuàng)業(yè)原則在今天已被充分理解，最低可行產(chǎn)品（MVP）是機(jī)構(gòu)風(fēng)險(xiǎn)投資的先決條件，但很少有初創(chuàng)企業(yè)和投資者將這些原則擴(kuò)展到他們的數(shù)據(jù)和AI策略中。他們認(rèn)為，可以在未來(lái)的某個(gè)時(shí)候，用他們以后會(huì)招募的人員和技能來(lái)驗(yàn)證自己對(duì)數(shù)據(jù)和人工智能的假設(shè)。

但我們所見(jiàn)過(guò)的最好的人工智能初創(chuàng)企業(yè)都是盡可能早地發(fā)現(xiàn)，它們是否收集了正確的數(shù)據(jù)，確保它們計(jì)劃建立的人工智能模型是否有市場(chǎng)，以及這些數(shù)據(jù)是否得到了恰當(dāng)?shù)氖占?。因此，我們?jiān)信，在您的模型達(dá)到早期客戶所需的最小算法性能（MAP）之前，您必須嘗試驗(yàn)證您的數(shù)據(jù)和機(jī)器學(xué)習(xí)策略。如果沒(méi)有這種驗(yàn)證（相當(dāng)于迭代軟件beta測(cè)試的數(shù)據(jù)），您可能會(huì)發(fā)現(xiàn)，花費(fèi)大量時(shí)間和金錢構(gòu)建的模型沒(méi)有您希望的那么有價(jià)值。

那么如何驗(yàn)證算法呢？這里有三個(gè)關(guān)鍵測(cè)試你必須了解：

1. 測(cè)試數(shù)據(jù)的預(yù)測(cè)性

2. 測(cè)試模型市場(chǎng)適合度

3. 測(cè)試數(shù)據(jù)和模型的保質(zhì)期

下面，讓我們來(lái)依次分析每個(gè)測(cè)試吧！

測(cè)試預(yù)測(cè)性

初創(chuàng)公司必須確保為其AI模型提供動(dòng)力的數(shù)據(jù)能夠預(yù)測(cè)，而不僅僅是與AI的目標(biāo)輸出相關(guān)聯(lián)。

由于人體非常復(fù)雜，人工智能驅(qū)動(dòng)的診斷工具是一種特別容易將相關(guān)信號(hào)誤認(rèn)為具有預(yù)測(cè)性的信號(hào)的應(yīng)用。通過(guò)應(yīng)用AI跟蹤每周掃描的細(xì)微變化，我們遇到了許多公司在患者結(jié)果方面取得了令人難以置信的收益。潛在的混雜因素可能是正在進(jìn)行這些每周掃描的患者也更經(jīng)常地記錄他們的生命體征，這也可能提供關(guān)于疾病進(jìn)展的微妙線索。所有這些附加數(shù)據(jù)都用在算法中。人工智能是否可以在這些侵入性較小的生命體征上得到有效的訓(xùn)練，從而降低患者的成本和壓力。

為了從真正的預(yù)測(cè)輸入中梳理出混雜的相關(guān)性，您必須盡早進(jìn)行實(shí)驗(yàn)，以便在有和沒(méi)有輸入的情況下比較AI模型的性能。在極端情況下，圍繞相關(guān)關(guān)系構(gòu)建的AI系統(tǒng)可能更昂貴，并且可能比圍繞預(yù)測(cè)輸入建立的AI系統(tǒng)獲得更低的利潤(rùn)。此測(cè)試還使您能夠確定是否正在收集AI所需的完整數(shù)據(jù)集。

測(cè)試模型市場(chǎng)適合度

您應(yīng)該與產(chǎn)品市場(chǎng)契合度分別測(cè)試模型市場(chǎng)擬合。一些初創(chuàng)公司可能首先使用用于捕獲培訓(xùn)數(shù)據(jù)的“預(yù)AI”解決方案進(jìn)入市場(chǎng)。即使您可能已經(jīng)建立了適合該AI前產(chǎn)品的產(chǎn)品市場(chǎng)，但您不能假設(shè)該AI前解決方案的用戶也會(huì)對(duì)AI模型感興趣。模型市場(chǎng)擬合測(cè)試的見(jiàn)解將指導(dǎo)您如何打包AI模型并建立合適的團(tuán)隊(duì)以將該模型推向市場(chǎng)。

測(cè)試模型-市場(chǎng)匹配比測(cè)試產(chǎn)品-市場(chǎng)匹配更難，因?yàn)橛脩艚缑婧苋菀自突?，但人工智能模型很難模擬。要回答模型-市場(chǎng)匹配問(wèn)題，您可以使用“幕后人”來(lái)模擬AI模型，以評(píng)估最終用戶對(duì)自動(dòng)化的響應(yīng)。虛擬調(diào)度助理啟動(dòng)X.AI，使用這種方法來(lái)訓(xùn)練它的調(diào)度程序機(jī)器人，并通過(guò)觀察人類訓(xùn)練者進(jìn)行的數(shù)萬(wàn)次交互來(lái)找到合適的交互模式和音調(diào)。這種方法可能不適用于內(nèi)容或數(shù)據(jù)可能包含敏感或受法律保護(hù)的信息的應(yīng)用程序，例如醫(yī)生與其患者或律師與其客戶之間的交互。

為了測(cè)試客戶是否愿意為AI模型付費(fèi)，您可以將數(shù)據(jù)科學(xué)家奉獻(xiàn)給現(xiàn)有客戶的顧問(wèn)，并為他們提供個(gè)性化的，數(shù)據(jù)驅(qū)動(dòng)的規(guī)范性見(jiàn)解，以展示AI的投資回報(bào)率。我們已經(jīng)看到許多初創(chuàng)公司在醫(yī)療保健，供應(yīng)鏈和物流領(lǐng)域提供這項(xiàng)服務(wù)，以說(shuō)服客戶投入時(shí)間和人力來(lái)建立與客戶技術(shù)堆棧的集成。

測(cè)試數(shù)據(jù)和模型保質(zhì)期

初創(chuàng)公司必須盡早了解他們的數(shù)據(jù)集和模型過(guò)時(shí)的速度，以便保持適當(dāng)?shù)臄?shù)據(jù)收集和模型更新速率。由于上下文漂移，數(shù)據(jù)和模型變得陳舊，當(dāng)AI模型試圖預(yù)測(cè)的目標(biāo)變量隨時(shí)間變化時(shí)發(fā)生。

上下文信息可以幫助解釋上下文漂移的原因和速率，以及幫助校準(zhǔn)漂移的數(shù)據(jù)集。例如，零售購(gòu)買可能與季節(jié)有關(guān)。人工智能模型可能會(huì)發(fā)現(xiàn)冬季羊毛帽的銷量增加，并且在4月份未能成功推薦給客戶。如果在收集數(shù)據(jù)時(shí)沒(méi)有記錄，那么關(guān)鍵的上下文信息就無(wú)法恢復(fù)。

為了衡量上下文漂移的速度，您可以嘗試“模擬”模型并觀察其在實(shí)際設(shè)置中性能下降的速度。您可以使用以下某些策略在不訓(xùn)練數(shù)據(jù)的情況下執(zhí)行此操作：

1. 在適用的情況下，使用已知框架構(gòu)建基于規(guī)則的模型;

2. 重新調(diào)整在強(qiáng)相關(guān)但獨(dú)立的域上訓(xùn)練的模型，例如使用書籍推薦模型來(lái)推薦電影;

3. 使用機(jī)械特克斯模擬客戶數(shù)據(jù);

4. 與行業(yè)現(xiàn)有企業(yè)合作獲取歷史數(shù)據(jù);

5. 在互聯(lián)網(wǎng)上搜索公開數(shù)據(jù);

如果模擬模型快速降級(jí)，AI模型將容易受到上下文漂移的影響。在這種情況下，歷史數(shù)據(jù)可能在過(guò)去的某個(gè)時(shí)間點(diǎn)之后沒(méi)有用，因?yàn)橛?xùn)練過(guò)時(shí)數(shù)據(jù)的AI模型將不準(zhǔn)確。

新時(shí)代，新劇本

企業(yè)客戶和投資者越來(lái)越多地將數(shù)據(jù)和人工智能視為初創(chuàng)公司必要的競(jìng)爭(zhēng)優(yōu)勢(shì)，但人工智能產(chǎn)品仍然需要重量級(jí)的開發(fā)流程。與所有業(yè)務(wù)問(wèn)題一樣，您仍必須盡可能早地驗(yàn)證您的數(shù)據(jù)和人工智能策略，以避免在無(wú)法取得成果的項(xiàng)目上浪費(fèi)寶貴的時(shí)間和資源。這里概述的三個(gè)測(cè)試提供了一種在構(gòu)建工作模型之前驗(yàn)證AI模型的方法。 隨著越來(lái)越多的初創(chuàng)公司實(shí)施它們，這些想法將成為創(chuàng)建精益AI啟動(dòng)的工具包的一部分，并將改變智能時(shí)代風(fēng)險(xiǎn)投資的標(biāo)準(zhǔn)。