以實驗考驗創新 - 哈佛商業評論

以實驗考驗創新. The Discipline of Business Experimentation. 史蒂芬．湯克Stefan Thomke , 吉姆．曼茲Jim Manzi. 2014年12月號(創新快狠準) ... HBR導師講座 抗疫管理最前線NEW 最新文章 主題分類 職場新手進修 台灣CEO100強 數位封面故事 雜誌 書籍 影音 HBR個案研究 精選專題 觀念圖解數位版訂戶專屬 管理地圖 最新出版 2021年12月號 免費閱讀 會員登入免費看更多 訂閱數位版首月暢讀60元 本文出自 創新快狠準2014年12月號看更多雜誌文章  首頁 / 雜誌/ 以實驗考驗創新 創新 以實驗考驗創新 TheDisciplineofBusinessExperimentation 史蒂芬．湯克StefanThomke,吉姆．曼茲JimManzi 2014年12月號(創新快狠準) ｜ 2014/12/1 瀏覽人數：10323 文章摘要全　　文 收藏 分享 "以實驗考驗創新" URL Facebook 分享至Facebook 字放大 字縮小 授課文章購買 授課文章購買 購買〈以實驗考驗創新〉文章 購買份數 請選擇 101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999 授課文章購買說明 10點個人收藏購買 個人收藏購買 購買〈以實驗考驗創新〉PDF檔 下載點數10點 點數不夠嗎？立即儲值 下載文章說明 立即購買 下載中，請稍候 企業無法靠既有的資料，去了解顧客對創新方案將有何反應。

為了解真正的新構想能否成功，企業必須做嚴謹的實驗。

為確保商業實驗值得出錢出力，企業必須問自己幾個問題：實驗是否有清楚的目的？管理階層必須釐清想知道什麼，才能決定做實驗是否為最好的做法。

利害關係人是否已承諾接受實驗結果？如果結果顯示必須放棄計畫，他們願意嗎？實驗可行嗎？可如何確保實驗產生可靠的結果？企業可借助隨機的實地試驗、盲測和巨量資料分析。

我們是否已充分利用這個實驗？企業應利用實驗產生的數據資料，評估新方案哪些部分可產生最高的投資報酬率，或是在哪些市場最有可能成功。

BERNDNAUTSMILDE,NIMBUSGREENROOM,2013,DIGITALC-TYPEPRINT,75X102CM/125X170CM,COURTESYOFTHEARTISTANDRONCHINIGALLERY力求創新時，做好商業實驗，可提高成功機率。

要確認是否值得出錢出力來進行商業實驗，企業要問幾個問題：實驗是否有清楚的目的？利害關係人是否承諾接受實驗結果？如結果顯示必須放棄計畫，他們願意嗎？實驗可行嗎？ 羅恩．強森（RonJohnson）離開蘋果公司，出任潘尼百貨（J.C.Penney）執行長後不久，他的團隊於2011年執行了一個大膽的計畫：取消優惠券和特價出清區，大量增設品牌精品專櫃，並使用科技設備來取消收銀員、收銀機和結帳櫃檯。

但強森加入潘尼百貨不過17個月，公司營業額重挫，虧損劇增，強森因此去職。

潘尼百貨隨後恢復強森上任前的經營模式。

潘尼百貨怎麼會出此大錯？它不是有大量交易資料，可以呈現顧客的品味和偏好嗎？也許它真的有很多資料，但問題是，巨量資料僅能提供有關顧客過去行為的線索，不能預測他們對公司的大膽改變會有什麼反應。

因此，就創新來說，企業經理人大多必須在缺乏充分資料的情況下，作出決定。

他們因此往往仰賴自己的經驗或直覺。

但真正創新的構想，也就是能改變產業面貌的構想，往往是違反企業經理人的經驗和傳統觀念。

但其實，經理人可藉由嚴謹的試驗，以了解一項新產品或業務計畫能否成功。

你可以這麼想：藥廠必須先根據公認的科學準則，完成一系列必要的試驗，然後才能推出新藥；其實，美國食品藥物管理局要求藥廠推出新藥前，必須完成大量臨床試驗。

許多公司推行新的商業模式或實踐新觀念時，也會先進行嚴謹的試驗。

潘尼百貨如果在進行新任執行長的改革計畫前，先做完整的試驗，也許就會發現顧客有可能會抵制這些改變。

為什麼沒有很多公司在推行冒險的改造計畫，以及代價高昂的業務計畫前，先做嚴謹的試驗？因為大多數組織不願意撥款支持適當的商業實驗，而且若要進行試驗，也有很大的困難。

雖然實驗程序看似簡單，但實際執行時意外地困難，因為在組織面和技術面都有大量難題。

這是我們為數十家公司執行和研究商業實驗共四十餘年，得出的總結；那些公司包括美國銀行（BankofAmerica）、寶馬汽車（BMW）、希爾頓飯店（Hilton）、卡夫食品（Kraft）、Petco、史泰博（Staples）、Subway、沃爾瑪（Walmart）等。

在網際網路之類的直接通路，做一項標準的「A或B」測試，是相對簡單的作業，相關數學計算早在一個世紀前已發展出來，例如，比較人們對A版本和B版本網頁的反應率。

但消費者業務絕大多數發生在較複雜的通路系統（超過90%的業務都是如此），像是分店網絡、銷售區域、銀行分行，以及速食連鎖店等。

在這類環境下的商業實驗，涉及各種分析上的複雜情況，當中最重要的一個問題，是樣本數往往不夠大，不足以產生有效的結果。

大型線上零售商可輕易隨機挑選五萬名消費者，了解他們對一項實驗產品的反應；但即使是最大型的實體零售商，也無法隨機選擇五萬家商店，來測試一個新的促銷方案。

對實體零售商來說，可行的試驗組，通常是數十家分店，而不是數千家。

我們的確發現，消費者新計畫的實驗多半都不夠正式。

它們並非基於已證實有效的科學和統計方法，管理階層因此誤把統計雜訊當作因果關係，作出錯誤的決定。

在理想的實驗中，實驗人員區分自變數（假定的原因）與依變數（觀察到的影響），讓其他可能的原因維持不變，然後操控自變數，並觀察依變數的變化。

實驗操作加上審慎的觀察與分析，幫我們深入了解因果關係；在理想的情況下，這種對因果關係的見解，可在其他環境條件下應用和測試。

為了得到這種知識，並確保值得花費經費和心力來進行商業實驗，企業必須問自己幾個關鍵問題：實驗是否有清楚的目的？利害關係人是否已承諾接受實驗結果？實驗可行嗎？我們可以如何確保實驗產生可靠的結果？我們是否從這個實驗當中獲得最大的價值？（見邊欄：「商業實驗執行檢查表」）雖然這些問題看似明顯，但許多公司在進行實驗之前，並未充分考慮。

商業實驗執行檢查表目的●實驗是否聚焦在公司正在考慮的一項明確的管理行動？●大家希望藉由實驗了解什麼？支持●組織會基於實驗結果做出哪些具體變革？●組織會如何確保實驗結果不會遭到忽視？●實驗如何配合組織的整體學習計畫與策略要務？可行性●實驗是否有一項可檢驗的預測？●樣本必須有多大？注意：樣本數取決於預期效果，例如營收增加5％。

●組織能否在實驗場所執行實驗，並持續夠長的時間？可靠性●有什麼樣的措施，來處理自覺或不自覺產生的系統偏差？●對照組的特徵，是否與試驗組相近？●實驗是否可採用「盲測」或「雙重盲測」的方式？●是否已藉由統計分析，或是其他技術，來消除其他偏差？●其他人若做同樣的實驗，是否會得到類似的結果？價值●組織是否已考慮焦點明確的方案，也就是說，已考慮方案對不同客戶、市場和市場區隔的影響，以集中投資於潛在報酬最高的領域？●組織是否僅執行方案中投資報酬最高的部分？●組織是否更了解哪些變數造成了哪些結果？提問1：實驗是否有清楚的目的？如果有關管理階層行動方案的具體問題，實際上只能靠實驗來解答，企業便該做這些實驗。

來看看美國大型零售商科爾百貨（Kohl''s）的例子。

2013年，科爾百貨希望設法降低營運成本。

當時有人建議從週一到週六都延後一小時開門營業。

管理階層對此意見分歧。

有人認為縮短營業時間，會導致營業額大幅減少，有些人認為這麼做，對營業額的影響微不足道。

有效解決這個爭論的唯一方法，是做嚴謹的實驗。

科爾百貨在旗下一百家商店進行實驗，結果顯示，晚一小時開門營業，不會導致營業額顯著減少。

管理階層決定是否需要做實驗時，首先必須釐清自己確切希望了解什麼，然後才能決定實驗是否是最好的做法，而如果是，實驗的範圍應當如何。

在科爾百貨的例子中，公司要檢驗的是一個簡單的假設：晚一小時開門營業以節省營運成本，不會導致營業額顯著減少。

但現實中，企業往往缺乏好好制定假設的紀律，結果導致實驗效率不彰，或是造成不必要的高花費，甚至無法有效回答公司面對的關鍵問題。

一個弱假設，例如「我們可以將公司的品牌擴展到高階市場」，無法提供明確的自變數，以便試驗它對明確的依變數有何影響，因此難以決定測試結果是支持或否決那個假設。

好的假設，有助於釐清自變數與依變數。

在許多情況下，管理階層不能只研究某項措施的直接影響，連附帶影響也要了解。

例如，美國折扣連鎖商店FamilyDollar想要研究是否應投資冷藏設備，以銷售雞蛋、牛奶，以及其他生鮮商品，結果發現一項對獲利有更大影響的附帶作用：冷藏商品額外吸引了一些顧客來店裡，結果他們也購買傳統乾貨，使後者的銷售額增加。

附帶影響也可能是負面的。

幾年前，在美國東岸數州經營便利店的Wawa公司，希望引進在少數據點試賣表現良好的早餐烤餅，結果還沒有推出就取消了，因為公司另外進行了嚴謹的實驗，設有試驗組和對照組，並做了迴歸分析，結果顯示，這項新產品很可能會搶走其他利潤較高商品的部分生意。

提問2：利害關係人是否已承諾接受實驗結果？做任何實驗之前，利害關係人必須同意，結果出爐之後要怎麼做。

他們必須承諾考量全部結果，而不是僅選擇某些數據資料，去支持特定觀點。

也許最重要的是，他們必須願意放棄得不到數據資料支持的計畫。

科爾百貨考慮增加家具這項新商品時，許多主管興致勃勃，認為這可以創造大量額外營收。

但公司在七十家商店、為期六個月的實驗顯示，營收不增反減。

因為，讓出一些空間給家具的商品，銷售額降低，而科爾百貨整體來說，也流失了一些顧客。

這些負面的結果，使那些鼓吹賣家具的人大失所望，不過這個計畫還是取消了。

科爾的例子顯示，組織中具影響力人士支持的計畫，往往需要藉由實驗來接受客觀的評估。

當然，有時候即使預期中的效益未獲得數據資料支持，或許也有一些好理由可以執行計畫，例如，雖然實驗顯示計畫不會顯著提振銷售，但為了建立客戶忠誠度，這項計畫或許仍有必要。

但如果某項建議計畫已確定要實施，為什麼還要浪費時間和金錢做實驗？公司必須制定流程，以確保實驗結果不會遭到忽視，即使結果與最高管理階層的假設或直覺相反。

在美國東南部的超市集團PublixSuperMarkets，幾乎所有大型零售專案，尤其是涉及大量資本支出的專案，都必須先完成正式的實驗，才能獲得核准。

業務計畫必須通過一個篩選流程，當中第一步，便是由財務部門做分析，以決定是否值得做實驗。

值得做實驗的計畫，會由專業分析人員設計實驗，然後提交給一個委員會，委員會成員包括財務副總裁在內。

委員會核准的實驗，會交由一個內部實驗小組執行和監督。

只有按照這個流程進行，而且獲得正面實驗結果的計畫，才能獲得財務部核准數額可觀的支出。

Publix業務分析資深經理法蘭克．馬吉奧（FrankMaggio）表示：「業務計畫若有實驗結果支持，審核通過所需的時間會短得多，受到的檢視也會比較少。

」建立和執行這種篩選流程時必須記住：實驗應當是學習活動的一部分，而學習活動應當支持公司的組織要務。

美國寵物用品零售商Petco的每一項實驗申請，都必須說明該實驗對公司力求創新的整體策略有何幫助。

以前Petco每年約做一百項實驗，如今已減到約75項。

許多實驗申請遭到否決，是因為公司以前已做過類似實驗。

還有一些申請遭到否決，是因為公司考慮推行的改變不夠重大，例如將某項商品的價格，從2.79美元調升到2.89，不值得花錢做實驗。

Petco前零售分析總監約翰．羅德茲（JohnRhoades）說：「我們希望實驗的是可促成業務成長的計畫，希望嘗試一些新觀念或新構想。

」提問3：實驗可行嗎？實驗必須有可檢驗的預測。

但商業環境的「因果密度」（causaldensity）很高，也就是說，各項變數和變數之間的互動很複雜，所以，因果關係極難斷定。

要藉由商業實驗來了解一些事情，難度恐怕高於區分出一個自變數來操控它，並觀察依變數的變化。

環境不斷在變，商業結果的可能成因，往往是未知的或不確定的，因此，它們之間的關係往往相當複雜，而我們也所知甚少。

假設有一個零售集團，旗下共有一萬家便利店，當中八千家名為QwikMart，兩千家名為FastMart。

QwikMart商店年營業額平均為一百萬美元，FastMart平均為110萬美元。

一名高層主管提出一個看似簡單的問題：若把QwikMart商店改名為FastMart，是否可讓公司年營業額增加八億美元？商店營業額顯然受許多因素影響，包括商店的店面大小、附近的人口數量及人均所得、商店每週營業時間、店長的經驗，以及附近的競爭者數目等。

不過，上述主管只對一個因素感興趣：商店的名字（QwikMart或FastMart）。

要解答這問題，顯而易見的做法就是做實驗，將一些QwikMart商店（例如十家）改名為FastMart，然後看看情況如何。

不過，即使是要確定改名對這些商店的影響，也可能很棘手，因為許多其他因素可能同時改變。

例如，可能有四家店遇到很惡劣的天氣、有一家換了店長、有一家店附近有一棟新的住宅大樓落成，還有一家店遇到對手展開非常積極的廣告宣傳。

除非公司能排除這些變數和其他變數的影響，否則管理階層無法確切知道商店改名對營業額的影響。

面對高因果密度的環境，企業必須考慮是否可擴大樣本規模，以便抵消掉非實驗研究對象的那些變數的作用，只呈現要實驗的那些變數的作用。

可惜這種做法並不一定都可行。

樣本夠大的實驗，企業可能無法承擔相關成本或業務運作受到的干擾。

如稍後所述，在這種情況下，管理階層有時可運用精密的分析技術，有些甚至涉及巨量資料，以提高實驗結果的統計效度。

不過必須注意的是，企業主管往往誤以為，較大的樣本自然能產生較好的數據資料。

一項實驗的確可能涉及許多觀察，但如果它們非常集中，或是彼此高度相關，樣本數實際上可能很小。

舉個例子，如果公司與一家分銷商合作，而不是直接賣產品給顧客，這個分銷點很可能會導致顧客資料彼此相關。

樣本需要多大，主要取決於預期效果的大小。

如果公司預期一項成因（例如改變店名），會產生很大的效果（例如營收顯著增加），樣本可以小一點。

如果預期效果相當小，樣本就必須比較大。

這似乎違反直覺，但你可以這麼想：預期效果愈小，就需要愈多實驗資料，才能在理想的統計信心水準下，從種種雜訊中分辨出預期的效果。

選擇正確的樣本規模，不僅可確保實驗結果的統計效度，還有助於公司節省實驗成本和促進創新。

市場上有一些現成的軟體，可幫助企業選擇最合適的樣本規模（訊息揭露：本文作者曼茲創辦的亞博德公司，供應這類軟體，名為Test&Learn）。

提問4：如何確保實驗產生可靠的結果？在上一節，我們說明了進行商業實驗的基本原則。

但現實中，企業往往必須權衡可靠性、成本、時間和其他現實因素，作出取捨。

有三個方法可幫助我們減少取捨，進而提高實驗結果的可靠性。

方法1：隨機的實地試驗醫學研究的隨機概念很簡單：找一大群特徵和病況相同的人，隨機分為兩組。

只對其中一組提供治療，然後密切觀察所有人的健康情況。

如果統計分析顯示，接受治療的一組（試驗組）健康優於未受治療的一組（對照組），結論就是療法有效。

同樣的道理，隨機實地試驗可幫助企業判斷，特定變化能否改善績效。

美國金融服務業者第一資本（CapitalOne）長期以來，運用嚴謹的實驗來測試改革建議，連看似非常瑣細的變化也要測試。

例如，該公司可能會藉由隨機實地試驗，來測試信封顏色的影響：寄出兩批推銷產品的信，一批用白信封，一批用公司希望測試的那個顏色的信封，然後統計收信人的反應差異。

隨機實驗，是有重要作用的：有助於避免自覺或不自覺產生的系統偏差影響到實驗，並將可能影響結果的其他因素（可能是未知的因素），平均分散在試驗組和對照組。

但隨機實地試驗並非沒有困難。

試驗結果要有效，試驗必須遵循嚴謹的統計要求。

挑選試驗組和對照組的正確做法，是選出特徵相同的一群受測對象，然後把它們隨機分為兩組。

但企業主管有時會犯錯：他們選出試驗組，例如連鎖商店系統當中的一組商店，然後假定系統裡的其餘商店就是對照組。

另一個錯誤是：他們選擇試驗組與對照組時，也可能無意中把偏差引入實驗中。

Petco以前會選三十家表現最好的商店作為試驗組，試行一項新方案，然後以三十家表現最差的商店作為對照組，比較這兩組的表現。

以這種方式測試的新方案，往往在實驗期間表現很好，但真正推動實施之後卻常會失敗。

方法2：盲測為盡可能減少偏差和增強可靠性，Petco和Publix會做「盲測」，以避免「霍桑效應」：實驗參與者因為知道自己正在參與實驗，所以往往會自覺或不自覺地調整自身行為。

Petco做實驗時，試驗組商店的職員全都不知情，Publix則盡可能做盲測。

如果是涉及價格調整的簡單實驗，Publix可以做盲測，因為各分店常常調整價格，員工因此無從知道哪些價格調整是實驗。

但盲測並非總是可行的。

Publix試驗新設備或工作方式時，通常會告訴試驗組的分店它們獲選參與一項實驗。

（請注意：更高的實驗標準是做「雙重盲測」，也就是實驗執行者與受試者都不知道誰屬於試驗組，誰屬於對照組。

雙重盲測在醫學研究中廣為應用，但在商業實驗中並不常見。

）方法3：巨量資料在線上和其他直接通路環境下，執行嚴謹的隨機實驗要用到的數學，大家都很熟悉。

但如前所述，絕大多數消費者交易發生在其他通路，例如實體零售店。

在這種環境下做實驗，樣本數往往少於一百，不符合許多標準統計方法的典型假設。

為了盡可能減輕這個限制的影響，企業可使用專門的演算法，配合多組的巨量資料（見邊欄：「巨量資料的作用」）。

巨量資料的作用為了過濾統計雜訊和辨明因果關係，商業實驗的樣本數最好能有數千筆。

但這麼做的費用可能是企業難以負擔的，也可能根本做不到。

新的商品分類法，可能只需要在25家商店測試，銷售培訓方案可能只需要找32名業務人員試驗，飯店重新裝修的提案可能只需要在十家飯店試行。

在這種情況下，巨量資料和其他精密的運算技術，例如「機器學習」，或許能有幫助。

以下是一些指引：起步如果一家零售商希望測試一種新的店面設計，應收集每一個分析單位的詳細資料；分析單位可能是每家商店及其服務的區域，或是每位銷售人員及其客戶等；那些分析單位的詳細資料可能包括競爭對手有多接近、員工的年資，以及顧客人口特徵等。

這會成為巨量資料集裡的一部分。

至於實驗應納入哪些商店、顧客和員工，以及他們的數量，還有實驗應持續多久，則取決於數據資料的波動性，和估計那些變數造成的影響要有多高的準確度。

建立對照組在採用小樣本的實驗中，選擇與測試對象（例如個別商店或顧客）類似的對照組，是必要的，而且取決於實驗人員是否有能力完整找出可反映測試對象特徵的數十、以至數百個變數。

巨量資料的數據也會有幫助，像是完整的顧客交易紀錄、詳細的天氣資料、社群媒體資料等。

測試對象的特徵一旦確定，實驗負責人便可建立對照組，它與試驗組唯一的不同之處，在於實驗希望測試的那個變數（新的店面設計）。

零售商因此可以確定實驗結果只受到店面設計的影響，還是受到其他因素的影響，例如，顧客人口差異、較佳的經濟環境、較暖的天氣。

針對最佳機會同一資料集，可用來確認，實驗測試的計畫在哪些情況下是有效的。

例如，新店面設計可能在競爭激烈的市區相當成功，但在其他市場就效果普通了。

管理階層看清楚這種形態後，可選擇在效果最好的地區推行新計畫，避免投資在報酬不佳的地方。

調整計畫企業可運用額外的大量資料，來了解計畫各部分的效果。

例如，測試新店面設計的零售商可使用店內監視錄影資料，來了解新設計是否鼓勵顧客在店裡多逛一些地方，或是多經過高利潤商品的貨架。

實驗人員也可能發現，把商品移到店面前方，並增設新貨架，對業績有幫助，但移動收銀機的位置，會干擾顧客結帳，並損害利潤。

曾有某大型零售商考慮重新設計旗下各分店，1,300家商店共需要約五億美元。

為了測試這個構想，該公司重新設計了二十家商店，並追蹤結果。

財務團隊分析數據資料後得出結論：重新設計僅能增加營業額0.5％，因此投資報酬率是負數。

行銷團隊另做分析，結果認為重新設計可能可以增加營業額5％。

原來財務團隊的分析所採用的對照組商店，是與測試組在規模、附近居民所得和其他因素都相似，但未必屬於同一市場區域的商店。

他們使用重新設計之前和之後六個月的數據資料。

相反的，行銷團隊的分析，是以同一市場區域的商店為對照組，並使用重新設計之前和之後12個月的數據資料。

為了決定要採信哪一項分析，公司應用巨量資料，包括交易層面的資料（商品細目、交易發生在一天中的哪個時間、價格等）、商店特徵，以及周遭環境的資料（競爭情況、附近人口情況，天氣等）。

公司用這種方式來選擇的對照組，各方面的情況與實驗組更加相似，因此樣本數雖然不多，但仍具有統計效度。

接著公司運用客觀的統計方法，來檢視那兩項分析，結論是行銷團隊的分析結果較為準確。

即使公司不能遵循嚴謹的實驗規範，分析師仍可協助辨識和修正某些偏差、隨機做法上的失誤，以及其他實驗瑕疵。

一種常見的情況，是必須處理非隨機的自然實驗：例如，營運副總裁可能希望知道，公司在約10％市場推行的新員工培訓方案，是否比舊方案有效。

在這種情況下，用來處理小樣本和相關樣本問題的演算法和巨量資料的資料集，也可以應用在這種情況，以便得出寶貴的見解，並盡可能減少實驗結果的不確定性。

這種分析也有助於實驗人員設計真正的隨機實地試驗，以確認和改進分析結果，尤其是在結果有點反直覺或是涉及攸關重大經濟利益的決定時。

無論是什麼實驗，最好都是可重複的，也就是說，其他人做同樣的實驗，可以得到類似的結果。

重複做一項成本高昂的實驗，通常是不切實際的，但企業可用其他方法，來驗證實驗結果。

Petco有時會分階段執行一些大專案，以確認實驗結果，再推廣到整個集團。

Publix則有一個流程用來追蹤新方案的執行結果，並比較結果與預期效益。

提問5：是否已從這個實驗當中獲得最多價值？許多公司承擔了做實驗的費用，卻未能充分利用實驗結果。

為避免這項錯誤，管理階層應考慮建議方案對不同客戶、市場和市場區隔的影響，然後集中投資在潛在報酬最高的地方。

管理階層應考慮的問題，往往不是「什麼措施行得通」，而是「什麼措施在哪裡行得通」。

Petco推新方案時，往往只選擇與試行效果最好商店最相似的店。

該公司不僅可藉此節省執行成本，還可避免新方案不但未能帶給某些商店效益，還適得其反。

拜這種焦點明確的執行方式所賜，Petco執行新方案實際得到的效益，往往高達預期效益的兩倍。

另一種有用的做法是「價值工程」（valueengineering）。

大多數方案會有效益超過成本的部分，也會有效益低於成本的部分。

訣竅是僅執行投資報酬誘人的部分。

舉個簡單例子，假設某零售商測試八折促銷方案，結果促使營業額增加5％。

相關的廣告和店員訓練，以及折扣本身，都有助於引導顧客購買促銷商品，因此必須確定，營業額增幅各自有多少是源自這兩項因素。

在這種情況下，公司可以做實驗，去研究各種因素的不同組合有何效果；例如折扣加廣告，但不額外訓練店員。

分析實驗結果，便可釐清各項因素的效果，管理階層可因此屏棄投資報酬率太低或為負數的部分；例如可能是額外的店員訓練。

此外，企業審慎分析實驗產生的資料，可增進對營運作業的了解，並檢驗管理階層對某些變數的因果假設。

巨量資料分析強調相關性，例如，發現某些商品的銷售情況，與另一些商品的銷售同時變動。

但企業可藉由商業實驗，在相關性之外也釐清因果關係，例如，找出導致顧客增加或減少購買某些商品的原因。

這種對因果關係的根本了解，可能極為重要。

如果不知道這些因果關係，管理階層對業務的了解就是零碎的，他們的決定很容易適得其反。

美國南部風格的餐廳連鎖集團CrackerBarrelOldCountryStore曾做過一個實驗，希望了解餐廳是否應棄用白熱燈泡，改用發光二極體（LED）照明設備。

實驗結果使管理階層十分訝異：在改用LED照明的餐廳，客流量不增反減。

如果不是公司進一步了解當中的原因，這個計畫可能會就此終止。

客流量減少，是因為改用LED照明後，餐廳門口變暗了，許多顧客誤以為餐廳沒有營業。

這點令人困惑，因為LED照明應該會讓餐廳門口變亮才對。

管理階層進一步調查，發現店長之前並未遵循公司的照明標準；他們會做一些自己的調整，往往是在門口加裝額外的照明。

因此，當他們遵循新的LED照明政策時，餐廳門口變暗了。

這裡的重點是：光看相關性，管理階層會有錯誤的印象，以為LED照明對業績不利。

需要做實驗才能釐清真正的因果關係。

其實，如果不充分了解因果關係，企業很容易犯下大錯。

還記得科爾百貨為調查晚一小時開門的影響而做實驗嗎？實驗初期，營業額下跌了。

當時，管理階層原本可能放棄那個構想。

但分析顯示，顧客交易次數並未改變，問題是，每次交易的購買量減少了。

每次交易的購買量後來回升，總營業額也回到先前的水準。

科爾百貨未能充分解釋營業額起初下跌的原因，但管理階層不肯把問題歸咎於營業時間縮短，他們不急於把相關性等同是因果關係。

有一點很重要：許多公司發現，做實驗只是第一步。

先進行分析，然後運用分析產生的數據資料，如此才能創造價值。

Publix以前花80％的實驗時間收集數據資料，20％的時間分析數據資料。

公司現在的目標是，把兩者的時間分配比率扭轉過來。

挑戰傳統觀念企業若能注意樣本數、對照組、隨機化和其他因素，便能確保實驗結果的效力。

實驗結果愈有效和可重複，愈能抵抗內部的阻力；若實驗結果質疑長期的產業實務做法和傳統觀念，公司內部的阻力可能會特別大。

Petco的高階主管曾研究按重量銷售的新定價方式，結論十分明確：最好的做法是每份四分之一磅，而價格尾數是0.25美元。

這個結果與傳統觀念大不相同：零售業的傳統，是價格尾數應該是9，例如4.99或2.49美元。

羅德茲說：「這打破了零售業不能掛出『醜』價格的規則。

」Petco管理階層起初懷疑這個結果，但因為實驗做得非常嚴謹，他們最終願意放手一試。

局部試行證實了實驗結果：六個月之後，營業額增加超過24％。

這個例子的教訓，不僅是商業實驗可帶來更好的運作方式，還可以讓企業有信心廢除頑固的傳統觀念，以及錯誤的商業直覺；畢竟，即使是經驗豐富的主管，也可能有這種錯誤的直覺。

明智的決策最終能改善公司的績效。

當初潘尼百貨如果嚴謹地測試改造計畫的各個部分，是否可以避免災難？答案如今已不可能知道。

但可以確定的是，企業在執行這種大膽的計畫之前，必須確保引導決策的是知識，而不是直覺。

（許瑞宋譯自“TheDisciplineofBusinessExperimentation”HBR,December2014） 史蒂芬．湯克StefanThomke哈佛商學院企管講座教授，企業實驗與創新管理權威，曾參與許多全球化企業的產品、流程和技術開發工作。

著有《實驗有效：價值上億的線上實驗〉（ExperimentationWorks:TheSurprisingPowerofBusiness,HBRPress,2020）。

吉姆．曼茲JimManzi亞博德顧問公司（AppliedPredictiveTechnologies）創辦人暨董事長，該公司提供商業實驗的設計與分析軟體。

本篇文章主題創新追蹤主題更多關聯主題:實驗｜數據資料 延伸閱讀 小心！財務指標有可能錯殺創新 AI帶來7大趨勢，七成領導人樂見其成 別再如此殘害你的創新能力，請避開4大心理陷阱 登入 註冊 換一張圖形 登入 記住我的登入狀態 忘記密碼? 使用其他平台登入即代表您同意遠見天下文化事業群隱私權政策 登入 註冊 換一張圖形 我同意接受遠見天下文化事業群隱私權政策 加入會員 使用其他平台登入即代表您同意遠見天下文化事業群隱私權政策 登入 請輸入創建帳戶接收密碼重置的電子郵件地址。

換一張圖形 密碼重設