第81 章主成分分析Principal Component Analysis | 醫學統計學

第81 章 主成分分析Principal Component Analysis. A big computer, a complex algorithm and a long time does not equal science. Robert Gentleman. 在LSHTM的統計學筆記 前言 我是誰 I概率論Probability 1概率論入門：定義與公理 1.1三個概率公理： 1.2條件概率Conditionalprobability 1.3獨立(independence)的定義 1.4賭博問題 1.5賭博問題的答案 2Bayes貝葉斯理論的概念 3期望Expectation(或均值ormean)和方差Variance 3.1方差的性質： 4伯努利分佈Bernoullidistribution 5二項分佈的概念Binomialdistribution 5.1二項分佈的期望和方差 5.2超幾何分佈hypergeometricdistribution 5.3樂透中獎概率問題： 5.3.1如果我只想中其中的\(3\)個號碼，概率有多大？ 6泊松分佈PoissonDistribution 7正（常）態分佈NormalDistribution 7.1概率密度曲線probabilitydensityfunction，PDF 7.2正（常）態分佈 7.3標準正（常）態分佈 8中心極限定理theCentralLimitTheorem 8.1協方差Covariance 8.2相關Correlation 8.3中心極限定理theCentralLimitTheorem 8.4二項分佈的正（常）態分佈近似 8.5泊松分佈的正（常）態分佈近似 8.6正（常）態分佈模擬的校正：continuitycorrections 8.6.1例題 8.7兩個連續隨機變量 8.8兩個連續隨機變量例子： 8.9條件分佈和邊緣分佈的概念 8.10條件分佈和邊緣分佈的例子 8.10.1例題 II統計推斷Inference 9統計推斷的概念 9.1人羣與樣本(populationandsample) 9.2樣本和統計量(sampleandstatistic) 9.3估計Estimation 9.4信賴區間confidenceintervals 10估計和精確度EstimationandPrecision 10.1估計量和他們的樣本分佈 10.2估計量的特質 10.2.1偏倚 10.2.2估計量的效能Efficiency 10.2.3均值和中位數的相對效能 10.2.4均方差meansquareerror(MSE) 10.3總體方差的估計，自由度 10.4樣本方差的樣本分佈 11卡方分佈Chi-squaredistribution 11.1卡方分佈的期望和方差的證明 11.2卡方分佈的期望 11.3卡方分佈的方差 11.3.1下面來求\(E(X_1^4)\) 11.4把上面的推導擴展 12似然Likelihood 12.1概率vs. 推斷Probabilityvs. Inference 12.2似然和極大似然估計Likelihoodandmaximumlikelihoodestimators 12.3似然方程的一般化定義 12.4對數似然方程log-likelihood 12.5極大似然估計(maximumlikelihoodestimator,MLE)的性質： 12.6率的似然估計Likelihoodforarate 12.7有\(n\)個獨立觀察時的似然方程和對數似然方程 13對數似然比Log-likelihoodratio 13.1正態分佈數據的極大似然和對數似然比 13.2\(n\)個獨立正態分佈樣本的對數似然比 13.3\(n\)個獨立正態分佈樣本的對數似然比的分佈 13.4似然比信賴區間 13.4.1以二項分佈數據爲例 13.4.2以正態分佈數據爲例 13.5InferencePractical05 13.5.1Q1 13.5.2Q2 13.5.3Q3 14二次方程近似法求對數似然比approximatelog-likelihoodratios 14.1正態近似法求對數似然Normalapproximationtothelog-likelihood 14.1.1近似法估算對數似然比的信賴區間 14.1.2以泊松分佈爲例 14.1.3以二項分佈爲例 14.2參數转换parametertransformations 14.2.1以泊松分佈爲例 14.2.2以二項分佈爲例 14.3InferencePractical06 14.3.1Q1 14.3.2Q2 15假設檢驗的構建Constructionofahypothesistest 15.1什麼是假設檢驗Hypothesistesting 15.2錯誤概率和效能方程errorprobabilitiesandthepowerfunction 15.2.1以二項分佈爲例 15.3如何選擇要檢驗的統計量 15.3.1以已知方差的正態分佈爲例 15.4複合假設compositehypotheses 15.4.1單側替代假設 15.4.2雙側替代假設 15.5爲反對零假設\(H_0\)的證據定量 15.5.1回到正態分佈的均值比較問題上來(單側替代假設) 15.6雙側替代假設情況下，雙側\(p\)值的定量方法 15.7假設檢驗構建之總結 15.8InferencePractical07 15.8.1Q1 16假設檢驗的近似方法 16.1近似和精確檢驗approximateandexacttests 16.2精確檢驗法之–似然比檢驗法Likelihoodratiotest 16.3練習題 16.4近似檢驗法之–Wald檢驗 16.4.1再以二項分佈爲例 16.5近似檢驗法之–Score检验 16.5.1再再以二項分佈爲例 16.6LRT,Wald,Score檢驗三者的比較 16.7InferencePractical08 16.7.1Q1 16.7.2Q2 16.7.3Q3 17正態誤差模型Normalerrormodels 17.1服從正態分佈的隨機變量 17.2\(F\)分佈和\(t\)分佈的概念 17.3兩個參數的模型 17.3.1一組數據兩個參數 17.3.2兩組數據各一個參數 17.4正態分佈概率密度方程中總體均值和方差都未知(單樣本\(t\)檢驗onesample\(t\)test的統計學推導) 17.5比較兩組獨立數據的均值twosample\(t\)testwithequalunknown\(\sigma^2\) 17.6各個統計分佈之間的關係 17.7InferencePractical09 18多個參數時的統計推斷InferencewithmultipleparametersI 18.1多參數multipleparameters-LRT 18.1.1似然likelihood 18.1.2對數似然比檢驗 18.2多參數Wald檢驗-Waldtest 18.3多參數Score檢驗-Scoretest 18.4條件似然conditionallikelihood 18.5InferencePractical10 19多個參數時的統計推斷–子集似然函數profilelog-likelihoods 19.1子集似然法推導的過程總結 19.1.1子集對數似然方程的分佈 19.1.2假設檢驗過程舉例 19.2子集對數似然比的近似 19.2.1子集對數似然比近似的一般化 19.2.2事件發生率之比的Wald檢驗統計量 19.3InferencePractical11 20統計推斷總結 20.0.1快速複習 20.0.2試爲下面的醫學研究問題提出合適的統計學模型 20.0.3醫生來找統計學家問問題 III統計分析方法AnalyticalTechniques 21探索數據和簡單描述 21.1數據分析的流程 21.1.1研究設計和實施 21.1.2數據分析 21.2數據類型 21.3如何總結並展示數據 21.3.1離散型分類型數據的描述-頻數分佈表frequencytable 21.3.2連續型變量 21.4數據總結方案：位置，分散，偏度，和峰度 21.4.1位置 21.4.2分散 21.4.3偏度skewness 21.4.4峯度kurtosis 22信賴區間confidenceintervals 22.1定義 22.2利用總體參數的樣本分佈求信賴區間 22.3情況1：已知方差的正態分佈數據均值的信賴區間 22.4信賴區間的意義 22.5情況2：未知方差，但是已知服從正態分佈數據均值的信賴區間 22.6情況3：服從正態分佈的隨機變量方差的信賴區間 22.7當樣本量足夠大時 22.8情況4：求人羣百分比的信賴區間 22.8.1一般原則 22.8.2二項分佈的“精確法”計算信賴區間 22.8.3二項分佈的近似法計算信賴區間 22.9率的信賴區間 22.9.1利用泊松分佈精確計算 22.9.2利用正態近似法計算 23假設檢驗 23.1拋硬幣的例子 23.1.1單側和雙側檢驗 23.1.2\(p\)值的意義 23.1.3\(p\)值和信賴區間的關係 23.2二項分佈的精確假設檢驗 23.3當樣本量較大 23.4二項分佈的正態近似法假設檢驗 23.4.1連續性校正continuitycorrection 23.5情況1：對均值進行假設檢驗(方差已知) 23.6情況2：對均值進行假設檢驗(方差未知)theone-samplet-test 23.7情況3：對配對實驗數據的均值差進行假設檢驗thepairedt-test 24相關association 24.1背景介紹 24.2兩個連續型變量的相關分析 24.2.1相關係數的定義 24.2.2相關係數的性質 24.2.3對相關係數是否爲零進行假設檢驗 24.2.4相關係數的\(95\%\)信賴區間 24.2.5比較兩個相關係數是否相等 24.2.6相關係數那些事兒 24.2.7在R裏面計算相關係數 24.3二元變量之間的相關性associationbetweenpairsofbinaryvariables 24.3.1OR的信賴區間 24.3.2比值比的假設檢驗 24.3.3兩個百分比的卡方檢驗 24.3.4確切檢驗法Fisher’s“exact”test 24.4多分類(無排序)的情況\(M\timesN\)表格 25比較Comparisons 25.1比較兩個均值comparingtwopopulationmeans 25.1.1當方差已知，且數據服從正態分佈Z-test 25.1.2當方差未知，但是方差可以被認爲相等，且數據服從正態分佈twosample\(t\)test 25.1.3練習 25.1.4當方差未知，但是方差不可以被認爲相等，且數據服從正態分佈 25.2兩個人羣的方差比較 25.2.1方差比值檢驗varianceratiotest 25.2.2信賴區間 25.3比較兩個百分比 25.3.1兩個百分比差是否爲零的推斷Riskdifference 25.3.2兩個百分比商是否爲1的推斷relativerisk/riskratio 26前提和數據轉換Assumptionsandtransformations 26.1穩健性 26.2正態性 26.2.1正態分佈圖normalplot 26.3總結連續型變量不服從正態分佈時的處理方案 26.4數學冪轉換powertransformations 26.4.1對數轉換logarithmicTransformation 26.4.2逆轉換信賴區間back-transformationofCIs 26.4.3對數正態分佈log-normaldistribution 26.4.4百分比的轉換 IV線性迴歸LinearRegression 27簡單線性迴歸SimpleLinearRegression 27.1一些背景和術語 27.2簡單線性迴歸模型simplelinearregressionmodel 27.2.1數據A 27.2.2數據B 27.3區分因變量和預測變量 27.3.1均值(期待值)公式 27.3.2條件分佈和方差theconditionaldistributionandthevariancefunction 27.3.3定義簡單線性迴歸模型 27.3.4殘差residuals 27.4參數的估計estimationofparameters 27.4.1普通最小二乘法估計\(\alpha,\beta\) 27.5殘差方差的估計Estimationoftheresidualvariance\((\sigma^2)\) 27.6R演示例1：圖@ref(fig:age-wt)數據 27.7R演示例2：表@ref(tab:walk)數據 27.8LMpractical01 27.8.1兩次測量的膽固醇水平分別用\(C_1,C_2\)來標記的話，考慮這樣的簡單線性迴歸模型：\(C_2=\alpha+\betaC_2+\varepsilon\)。

我們進行這樣迴歸的前提假設有哪些？ 27.8.2計算普通最小二乘法(OLS)下，截距和斜率的估計值\(\hat\alpha,\hat\beta\) 27.8.3和迴歸模型計算的結果作比較，解釋這些估計值的含義 27.8.4加上計算的估計值直線(即迴歸直線) 27.8.5下面的代碼用於模型的假設診斷 28最小二乘估計的性質和推斷OrdinaryLeastSquaresEstimatorsandInference 28.1OLS估計量的性質 28.2\(\hat\beta\)的性質 28.2.1\(Y\)對\(X\)迴歸，和\(X\)對\(Y\)迴歸 28.2.2例1：還是圖@ref(fig:age-wt)數據 28.3截距和迴歸係數的方差，協方差 28.3.1中心化centring 28.4\(\alpha,\beta\)的推斷 28.4.1對迴歸係數進行假設檢驗 28.4.2迴歸係數，截距的信賴區間 28.4.3預測值的信賴區間(置信帶)-測量迴歸曲線本身的不確定性 28.4.4預測帶Referencerange-包含了95%觀察值的區間 28.5線性迴歸模型和Pearson相關係數 28.5.1\(r^2\)可以理解爲因變量平方和被模型解釋的比例 28.6Pearson相關係數和模型迴歸係數的檢驗統計量\(t\)之間的關係 28.7LMpractical02 29方差分析IntroductiontoAnalysisofVariance 29.1背景 29.2簡單線性迴歸模型的方差分析 29.2.1兩個模型的參數估計 29.2.2分割零假設模型的殘差平方和 29.2.3\(R^2\)–我的名字叫決定係數coefficientofdetermination 29.2.4方差分析表格theANOVAtable 29.2.5用ANOVA進行假設檢驗 29.2.6簡單線性迴歸時的\(F\)檢驗 29.2.7簡單線性迴歸時\(F\)檢驗和\(t\)檢驗的一致性 29.3分類變量用作預測變量時的ANOVA 29.3.1一個二分類預測變量 29.3.2一個模型，兩種表述 29.3.3分組變量的平方和 29.3.4簡單模型的分組變量大於兩組的情況 29.4LMpractical03 30多元模型分析MultivariableModels 30.1兩個預測變量的線性迴歸模型 30.1.1數學標記法和解釋 30.1.2最小平方和估計LeastSquaresEstimation 30.2線性回歸模型中使用分組變量 30.3協方差分析模型theAnalysisofCovariance(ANCOVA)Model 30.4偏回歸係數的變化 30.4.1情況1：\(\beta_1>\beta_1^*\) 30.4.2情況2：\(\beta_1 ##117.478.6101.109. ##28730.179.16.60 ##30.1000.6000.9000.200 ##41061044.657.6 ##5141.122115.123. ##60.50.8000.2000.5 epiDisplay::summ(plant) ## ##No.ofobservations=50 ## ##Var.nameobs.meanmedians.d.min.max. ##1bm15056.647.5548.050143 ##2bm25053.2152.745.130143.6 ##3bm35061.4355.2551.470.2147.9 ##4bm45057.4356.7545.450.1146.1 psych::describe(plant) ##varsnmeansdmediantrimmedmadminmaxrangeskewkurtosisse ##bm115056.6048.0547.5553.3666.050.0143.0143.00.27-1.386.80 ##bm225053.2145.1352.7049.6259.450.0143.6143.60.43-1.076.38 ##bm335061.4351.4755.2558.8669.760.2147.9147.70.27-1.477.28 ##bm445057.4345.4556.7554.7152.410.1146.1146.00.32-1.126.43 觀察這四個生物標幟物的簡單統計量，似乎可以認爲它們使用的應該是相似或者相同的測量單位。

它們的均值在53至61之間，標準差分佈在45-51之間，而且最大值最小值之間的範圍也十分接近。

這些生物標幟物能否單獨提供關於該植物的某部分特徵信息呢？思考我們該如何回答這個問題（提示：計算這些指標直接的相關係數） 我們可以通過計算這四個生物標幟物濃度測量值之間的相關係數，來觀察它們之間是否具有相似性或者是否提供了部分相似的信息。

cor(plant) ##bm1bm2bm3bm4 ##bm11.000000000.498262200.594148200.26769269 ##bm20.498262201.000000000.505749460.33347350 ##bm30.594148200.505749461.000000000.32094816 ##bm40.267692690.333473500.320948161.00000000 從相關係數矩陣的計算結果來看，平均地，這四個生物標幟物濃度之間具有一定程度的相關性。

其中，生物標幟物1和3之間呈現了四者之間最高的樣本相關係數\((r_{13}=0.5941)\)，生物標幟物1和4之間的相關係數則最小\((r_{14}=0.2677)\)。

請描述前一步中我們計算的相關係數矩陣的維度(dimension)。

該相關係數矩陣的維度是\(4\times4\)，事實上，這個矩陣的維度是由我們想要觀察分析的樣本中測量變量的個數決定的（在這裏就是四個生物標幟物）。

但是這個相關係數的矩陣並不適合用於做聚類分析(clusteranalysis)，因爲相關係數本身反映的是變量之間的關係(betweenvariables)，並非觀察對象(betweensubjects)之間的距離(即，不是我們關心的用來把50個樣本進行分組歸類的距離變量)。

再次思考問題1.的答案，思考並選擇合適的測量不同樣本個體之間距離(distance)的度量衡。

嘗試使用簡單的聚類分析命令對樣本進行分類。

由於每個生物標記物在所有樣本中的數值基本在相似的比例或者刻度，每個標幟物在這個樣本中的標準差/方差數值也較爲相近。

我們嘗試用連續變量最常見的均值測量距離指標: #preparehierarchicalcluster hc