作者 | 網(wǎng)易杭州研究院設(shè)計部、網(wǎng)易數(shù)帆編程語言實(shí)驗(yàn)室

策劃 | 蔡芳芳

自 2020 年來，網(wǎng)易數(shù)帆探索可視化低代碼編程已兩年有余，打造了 CodeWave 智能開發(fā)平臺（原輕舟低代碼平臺）用于企業(yè)應(yīng)用開發(fā)。然而，不少編程技術(shù)人員對這一領(lǐng)域還比較陌生。我們開設(shè)《低代碼技術(shù)內(nèi)幕》專欄，旨在討論低代碼編程領(lǐng)域中的困難、問題，以及高效的解決方案。本文為第四篇，將介紹基于凈推薦值（Net Promoter Score，NPS）和結(jié)構(gòu)方程模型（Structural Equation Model，SEM）方法的低代碼用戶體驗(yàn)管理體系。SEM 側(cè)重從定量的方法，通過用戶側(cè)視角、數(shù)據(jù)驅(qū)動，量化各級指標(biāo)對于 NPS 的貢獻(xiàn)度（權(quán)重）。在本文中，我們將展示 SEM 在搭建指標(biāo)體系中的關(guān)鍵步驟，并給出使用 SEM 結(jié)果改良用戶體驗(yàn)的方法。

專欄內(nèi)容回顧：

低代碼編程及其市場機(jī)遇剖析 | 低代碼技術(shù)內(nèi)幕

基于 Vue 和 Canvas，輕舟低代碼 Web 端可視化編輯器設(shè)計解析 | 低代碼技術(shù)內(nèi)幕

面向數(shù)字化提質(zhì)提效的低代碼架構(gòu)設(shè)計 | 低代碼技術(shù)內(nèi)幕

凈推薦值、結(jié)構(gòu)方程模型和它們的價值

我們首先簡要地說明凈推薦值和結(jié)構(gòu)方程模型的價值，讓讀者對它們“是什么、有什么用”有一個比較具象的理解。

凈推薦值和其價值

凈推薦值（Net Promoter Score，縮寫為 NPS）主要通過一個單一的問題，來測量用戶 / 客戶（后文簡稱用戶）向他人推薦某個企業(yè) / 產(chǎn)品 / 服務(wù)可能性。

具體的測量問題如下，向用戶詢問：

“您有多大的可能將 XX 產(chǎn)品和服務(wù)推薦給身邊的同事或親朋好友，0 分表示非常不推薦，10 分表示非常推薦”

按照用戶不同的打分，將用戶分成三組人群：

• 推薦者：打 9 和 10 分的用戶；
• 被動者：打 7 和 8 分的用戶；
• 貶損者：打分 0-6 分的用戶。

最終產(chǎn)品 NPS = (推薦者人數(shù) – 貶損者人數(shù)) / 受訪者總?cè)藬?shù)。

已有許多研究表明，NPS 與商業(yè)結(jié)果強(qiáng)相關(guān)：提升 NPS 能有效降低客戶流失率、提升復(fù)購率、提升市場占有率。例如：

• 美國云計算管理公司 Rackspace，其 NPS 監(jiān)測數(shù)據(jù)顯示，NPS 值提升 20% 后，客戶流失率下降了 30%。
• 百度智能云 NPS 監(jiān)測數(shù)據(jù)顯示其 NPS 連續(xù)三年逐年提高，而其市場占有率也逐年上升。

Temkin Group 的研究結(jié)果顯示：

• 客戶的打分越高，越可能在這家公司產(chǎn)生購買行為，打分?jǐn)?shù)與購買行為的 相關(guān)系數(shù)高達(dá) 0.81（相關(guān)系數(shù)絕對值的區(qū)間為 0-1，越接近 1 說明相關(guān)性越強(qiáng)。）
• 與貶損者相比：
• 推薦者的復(fù)購率是貶損者的 5 倍。
• 推薦者對公司行為的容錯度是貶損者的 7 倍。
• 推薦者購買公司新品或者增值服務(wù)的可能性是貶損者的近 9 倍。

結(jié)構(gòu)方程模型和其價值

在許多用戶體驗(yàn)管理體系中，為了量化抽象概念，需要建構(gòu)指標(biāo)體系、確定各級指標(biāo)權(quán)重，以 NPS 為核心的用戶體驗(yàn)管理體系就是這樣的一種分級指標(biāo)體系。次級指標(biāo)的拆解、指標(biāo)的信效度、及其權(quán)重的準(zhǔn)確性，就成為該項(xiàng)工作的重中之重。

由于產(chǎn)品不同，用戶群體不同，對同一抽象概念所構(gòu)建的指標(biāo)體系，無論是在框架還是在權(quán)重分配上都會有差異，甚至大相徑庭，不會有一個統(tǒng)一的方案。在一些垂直細(xì)分的行業(yè)內(nèi)，部分指標(biāo)系統(tǒng)的構(gòu)建是通過訪談行業(yè)專家（如相關(guān)公司產(chǎn)品負(fù)責(zé)人）來進(jìn)行歸納的，這些來自專家側(cè)視角指標(biāo)權(quán)重劃分當(dāng)然很重要，操作成本也相對簡單，不失為一種高效的操作方法，但也可能存在專家意見不一、指標(biāo)系統(tǒng)缺乏用戶側(cè)視角的問題。

結(jié)構(gòu)方程模型（Structural Equation Model，簡稱 SEM）是基于變量的協(xié)方差矩陣來分析變量之間關(guān)系的一種統(tǒng)計方法，是多元數(shù)據(jù)分析的重要工具。它旨在使用反映潛變量和顯變量之間關(guān)系的一組方程，來盡量縮小樣本協(xié)方差矩陣與由模型估計出的協(xié)方差矩陣之間的差異。SEM 可以從顯變量中推斷潛變量、測試假設(shè)模型的正確性、提供修改模型的指導(dǎo)建議。與專家評分相比，SEM 彌補(bǔ)了缺乏用戶視角的缺憾。

構(gòu)建以 NPS 為核心的用戶體驗(yàn)管理體系

低代碼產(chǎn)品的用戶體驗(yàn)管理體系的終極目標(biāo)是達(dá)成商業(yè)結(jié)果、推動商業(yè)成單，因此我們使用了同商業(yè)結(jié)果強(qiáng)相關(guān)的 NPS 作為低代碼的北極星指標(biāo)和一級指標(biāo)。

指標(biāo)說明

NPS 會受多種因素的影響，我們通過專家訪談、用戶調(diào)研、頭腦風(fēng)暴、桌面研究，最后梳理出 5 個二級指標(biāo)——產(chǎn)品易用性、學(xué)習(xí)探索和求助、功能需求滿足程度、性能感知、服務(wù)感知——作為低代碼產(chǎn)品的核心驅(qū)動因素，以及 21 個三級指標(biāo)作為測量指標(biāo)。

低代碼易用性指標(biāo)的來源主要分為兩大部分：第一部分主要結(jié)合了可視化編程領(lǐng)域的經(jīng)典文獻(xiàn)——《Usability Analysis of Visual Programming Environments: A ‘Cognitive Dimensions’ Framework》，它針對可視化編程系統(tǒng)提出的“認(rèn)知維度”可用性分析框架，對科學(xué)地衡量與分析可視化編程系統(tǒng)很有幫助 [1]。第二部分則主要借鑒國內(nèi) B 端云計算產(chǎn)品的易用性研究成果，包括阿里云的《阿里云易用性量表》等。

“學(xué)習(xí)探索和求助”、“功能需求滿足程度”、“性能感知和服務(wù)感知”這幾個指標(biāo)則主要通過專家訪談、用戶調(diào)研、頭腦風(fēng)暴獲取。

各級指標(biāo)說明梳理如表 3-1 所示：

在一個三級指標(biāo)體系中，抽象概念是結(jié)構(gòu)方程模型中的潛變量，測量指標(biāo)是顯變量，維度（仍然是抽象的）也屬于潛變量，同時，概念是內(nèi)生變量，維度是外生變量，指標(biāo)則是外生變量。因此，綜合起來看，概念是內(nèi)生潛變量，維度是外生潛變量，指標(biāo)是外生顯變量。

（第三級）測量指標(biāo)的數(shù)據(jù)主要通過向用戶詢問對于該維度的滿意度評價或態(tài)度得分來進(jìn)行獲取，其取值范圍為 1-10，舉個例子，幫助文檔的的測量指標(biāo)：您對低代碼幫助文檔的使用滿意度如何評價，1 分表示非常不滿意，10 分表示非常滿意。

下圖即為結(jié)構(gòu)方程模型的路徑分析示意圖：

結(jié)構(gòu)方程模型技術(shù)，針對主觀建構(gòu)的各種不同指標(biāo)體系，以采集的客觀數(shù)據(jù)為基礎(chǔ)，對它們進(jìn)行擬合、修正與評估，找出相對最準(zhǔn)確、最簡潔的指標(biāo)體系，并通過擬合出來的 路徑系數(shù) 來分配指標(biāo)體系維度以及指標(biāo)的權(quán)重 [2]。

低代碼的 SEM 計算分析

注：由于公司數(shù)據(jù)的合規(guī)要求，本章涉及的指標(biāo)系數(shù)、權(quán)重均為脫敏后數(shù)據(jù)，僅供方法參考。

在進(jìn)行結(jié)構(gòu)方程模型分析之前，須先進(jìn)行指標(biāo)的信度（reliability）檢驗(yàn)和效度（validity）檢驗(yàn)。因?yàn)槿绻笜?biāo)的信度、效度條件無法滿足，即便結(jié)構(gòu)方程模型的結(jié)果成立，其結(jié)論依然是不能被接受的。

樣本說明：研究者通過網(wǎng)易數(shù)帆 CodeWave 低代碼大賽（SaaS 用戶）、網(wǎng)易公司內(nèi)部用戶、外部私有化部署用戶三個渠道，盡可能覆蓋全不同的用戶類型群體，共回收有效問卷 1000 。

指標(biāo)的信度檢驗(yàn)

學(xué)術(shù)界普遍采用內(nèi)部一致性系數(shù)，即 Cronbach’s α 系數(shù)，來驗(yàn)證指標(biāo)的信度。表 3-1 展示了模型中所涉及的潛變量的一致性系數(shù)（通過 SPSS 22.0 計算得出)。

Hair、Anderson、Tatham、Black 指出，內(nèi)部一致性系數(shù) 大于 0.7 表明量表的可靠性較高；在探索性研究中，內(nèi)部一致性系數(shù)可以小于 0.7，但應(yīng)大于 0.6；本研究各個潛變量的 Cronbach’s α 系數(shù)處于 0.732-0.925（見表 4-2），均超過了 0.7，表明各個概念的量表都具有較高的可靠性。

指標(biāo)的效度檢驗(yàn)

統(tǒng)計學(xué)上，因子分析是檢驗(yàn)指標(biāo)結(jié)構(gòu)效度的最常用方法。按照慣例，我們使用了 KMO 樣本測度 和 巴特勒球形檢驗(yàn) 來檢驗(yàn)數(shù)據(jù)是否適合做因子分析。數(shù)據(jù)顯示：產(chǎn)品易用性、學(xué)習(xí)探索和求助、功能需求滿足程度、性能感知、服務(wù)感知五個構(gòu)面數(shù)據(jù)的 KMO 值分別為 0.901、0.847、0.813、0.715、0.703。同時，各構(gòu)面數(shù)據(jù)的巴特勒球形檢驗(yàn)的卡方統(tǒng)計值（Sig）的顯著性概率均小于 0.001。

學(xué)者 Kaiser 指出，當(dāng) KMO 值大于 0.6，則表示樣本數(shù)據(jù)適合做因子分析，因此，本研究的樣本數(shù)據(jù)適合做因子分析。

計算路徑系數(shù)

在因子分析的基礎(chǔ)上，我們利用 AMOS 22.0 軟件進(jìn)行結(jié)構(gòu)方程的建模與運(yùn)算。（沒有統(tǒng)計軟件時也可以用 R、Java 等語言編碼計算。）

對方程模型進(jìn)行路徑分析，得到模型的方程分析、有效性和擬合優(yōu)度等指標(biāo)。研究計算結(jié)果參見下表（表中標(biāo)準(zhǔn)化路徑系數(shù)為脫敏后數(shù)據(jù)）。

表：結(jié)構(gòu)方程模型結(jié)果 注： *p < 0.05, **p <0.01, ***p < 0.001

模型路徑系數(shù)如下圖所示，圖中的數(shù)值均為標(biāo)準(zhǔn)化路徑系數(shù)（圖中路徑系數(shù)為脫敏后數(shù)據(jù)）

模型的調(diào)試和擬合優(yōu)度

建立路徑系數(shù)后，需要對模型的擬合優(yōu)度進(jìn)行評價。評價指標(biāo)包括兩類：

1. 絕對匹配測試：其評價指標(biāo)是只基于假設(shè)模型隱含的協(xié)方差矩陣和樣本方差矩陣的指數(shù)，包括 CMIN/DF（卡方值比自由度）、P 值。CMIN/DF 小于 3 可以接受，但一般以小于 2 為宜（CMIN/DF 是直接檢驗(yàn)樣本協(xié)方差矩陣和估計協(xié)方差矩陣間相似程度的統(tǒng)計量，理論期望值為 1）；卡方檢驗(yàn)中的 P 值一般要大于 0.05，表明結(jié)構(gòu)方程模型對數(shù)據(jù)的擬合良好 [3] 。
2. 相對匹配測試：評價標(biāo)準(zhǔn)為描述性指標(biāo)，包括 GFI（擬合優(yōu)度指標(biāo)）、TLI（不規(guī)范擬合指數(shù)）、CFI（比較擬合指數(shù)）、RMSEA（近似誤差的均方根）等。GFI、TLI、CFI 這些指標(biāo)越接近 1，模型擬合得越好：如果這些指標(biāo)都大于 0.9，表示觀測數(shù)據(jù)支持假設(shè)構(gòu)想，大于 0.95 則表示擬合非常好。RMSEA 一般要求不應(yīng)超過 0.08 [3]。

本模型擬合度指標(biāo)參見下表，可以認(rèn)為設(shè)定模型能夠較好的擬合樣本數(shù)據(jù)。

指標(biāo)權(quán)重計算

通過擬合優(yōu)度檢驗(yàn)后，我們需要確定二級指標(biāo)、三級指標(biāo)的權(quán)重，計算方式如下。

二級指標(biāo)權(quán)重

利用上述模型所得路徑系數(shù)大小，對各級指標(biāo)進(jìn)行權(quán)重分配。將五個二級指標(biāo)（影響因素）的路徑系數(shù)相加，每個維度的路徑系數(shù)除以該值即為該維度的權(quán)重。產(chǎn)品易用性、學(xué)習(xí)探索和求助、功能需求滿足程度、性能感知、服務(wù)感知的路徑系數(shù)分別為 0.27、0.22、0.35、0.23、0.17，它們的和為 1.24，則關(guān)鍵業(yè)務(wù)操作體驗(yàn)的權(quán)重為 0.27/1.24 = 22%。以此類推，可計算出其他二級指標(biāo)權(quán)重，二級指標(biāo)權(quán)重之和為 100%，參見下表。

三級指標(biāo)權(quán)重

以“上手難度”指標(biāo)為例：

1. 先算出“上手難度”對于用戶體驗(yàn)指數(shù)（一級指標(biāo)）的系數(shù)，該系數(shù)等于兩個路徑系數(shù)的乘積，即:0.81 * 0.27=0.219，記為 A1。
2. 同理，可計算抽象坡度的系數(shù) A2、文案信息的易理解性系數(shù) A3……服務(wù)人員解決問題的能力系數(shù) A21；
3. 則“上手難度”此三級指標(biāo)的權(quán)重 = A1 / (A1 A2 A3……A21)。

同理可計算出其它三級指標(biāo)的權(quán)重，所有三級指標(biāo)權(quán)重之和等于 100%。

另外，我們可以用已確立的權(quán)重，計算出相應(yīng)的二級指標(biāo)得分。例如，在我們的發(fā)放的問卷調(diào)研中，并沒有直接測量產(chǎn)品易用性的得分（因?yàn)檫@是一個復(fù)合的抽象化概念，并不容易直接測量其得分），但現(xiàn)在我們可以通過 10 項(xiàng)指標(biāo)和其相應(yīng)的權(quán)重（由結(jié)構(gòu)方程模型得出），然后計算出產(chǎn)品易用性的得分。

用戶體驗(yàn)管理體系的運(yùn)轉(zhuǎn)

經(jīng)過 SEM 建模計算后，我們便可以根據(jù)指標(biāo)得分、指標(biāo)對 NPS 的影響權(quán)重繪制二維散點(diǎn)圖，并根據(jù)以下步驟優(yōu)化產(chǎn)品。

1. 確定優(yōu)化抓手：對 NPS 影響權(quán)重高 & 指標(biāo)得分低

下圖中的亟待改善區(qū)即為優(yōu)化抓手：對 NPS 影響權(quán)重高，同時指標(biāo)得分低

2. 識別優(yōu)化抓手的核心驅(qū)動要素 & 用戶觸點(diǎn)

優(yōu)化抓手通常是方向性問題，如性能問題，產(chǎn)品的上手門檻問題，后續(xù)則需要進(jìn)一步通過用戶調(diào)研或梳理用戶已有反饋問題，定義好問題場景及范圍，進(jìn)而確認(rèn)具體問題的優(yōu)先級。

3. 推動優(yōu)化舉措落地

定義好高優(yōu)先級體驗(yàn)問題后，相關(guān)業(yè)務(wù)方會根據(jù)實(shí)際情況進(jìn)行優(yōu)化、排期。

4. 效果驗(yàn)證、體驗(yàn)閉環(huán)

通過迭代的 NPS 和指標(biāo)得分，驗(yàn)證改版或產(chǎn)品改進(jìn)的效果。

SEM 的使用方式小結(jié)

1. 根據(jù)業(yè)務(wù)領(lǐng)域和目標(biāo)，選取一個一級指標(biāo)（如凈推薦值）。一級指標(biāo)是抽象概念。
2. 根據(jù)業(yè)務(wù)，以合適的方式（如專家訪談、用戶調(diào)研、頭腦風(fēng)暴、桌面研究等）獲取二級指標(biāo)和三級指標(biāo)。二級指標(biāo)是維度，三級指標(biāo)是測量指標(biāo)。
3. 對指標(biāo)進(jìn)行信度檢驗(yàn)和效度檢驗(yàn)。
4. 通過結(jié)構(gòu)方程模型，計算出各個二級指標(biāo)、三級指標(biāo)的標(biāo)準(zhǔn)化路徑系數(shù)。
5. 評估模型的擬合優(yōu)度，調(diào)試模型，直到模型的各種參數(shù)符合相應(yīng)標(biāo)準(zhǔn)。
6. 計算各個二級指標(biāo)、三級指標(biāo)的權(quán)重。

總 結(jié)

本文介紹了基于 NPS 和 SEM 的低代碼用戶體驗(yàn)管理體系，它們引入了用戶視角，一定程度解決了專家打分評估的主觀性、隨意性問題。文章通過低代碼產(chǎn)品的例子，展示了 SEM 在搭建指標(biāo)體系中的關(guān)鍵步驟：澄清與界定概念、建立指標(biāo)體系、形成調(diào)查問卷、指標(biāo)信效度檢驗(yàn)、模型擬合與評估、權(quán)重分配等。

本文雖以低代碼產(chǎn)品為例，但介紹的方法具有普適性，并不僅僅局限于低代碼產(chǎn)品。

作者簡介：

網(wǎng)易杭州研究院設(shè)計部，致力于為公司產(chǎn)品提供優(yōu)質(zhì)的用戶體驗(yàn)設(shè)計，核心專業(yè)能力包括用戶體驗(yàn)管理與業(yè)務(wù)增長，提供數(shù)字化轉(zhuǎn)型、增長策略規(guī)劃、品牌升級、體驗(yàn)創(chuàng)新等解決方案。

網(wǎng)易數(shù)帆編程語言實(shí)驗(yàn)室，負(fù)責(zé) CodeWave 智能開發(fā)平臺核心編程能力的設(shè)計，包括類型系統(tǒng)、語義語法、聲明式編程、可視化交互等 NASL 的語言設(shè)計，Language Server、可視化引擎等，以及后續(xù)演進(jìn)方案的規(guī)劃和預(yù)研，旨在創(chuàng)造低門檻高上限的低代碼開發(fā)體驗(yàn)。

參考文獻(xiàn)

[1] Green T R G, Petre M. Usability analysis of visual programming environments: a ‘cognitive dimensions’ framework[J]. Journal of Visual Languages & Computing, 1996, 7(2): 131-174

[2] 武海東，用結(jié)構(gòu)方程模型構(gòu)建圖書館讀者滿意度評價指標(biāo)體系 [J]，情報科學(xué)，2011,29(02):227-230

[3] 史雅翼，線性結(jié)構(gòu)方程模型評價指標(biāo)的應(yīng)用 [J]，中國醫(yī)院統(tǒng)計，2001,8(4):237-238