先讓喜歡打排球的人放心：目前沒有足夠證據證明，打排球會讓人少活五年。因此，球鞋暫時不必丟，也不用因為想多活幾年，臨時改練撐竿跳。
不過，這篇研究很適合拿來和 DBA 學生討論研究方法。它值得注意的地方，不是研究者用了錯誤的統計公式，也不是九萬多筆資料都是假的，而是整個研究從測量、取樣、比較基準到因果推論，都有不少值得追問之處。這類問題比「會不會跑 regression」更值得注意，因為統計分析做得再完整，也無法補救前面沒有處理好的研究設計。
一、九萬多筆資料，加上極小的 p 值，看起來很有說服力
2024 年，Altulea 等人在 GeroScience 發表〈Sport and longevity: an observational study of international athletes〉。研究整理了 95,210 名運動員的資料，涵蓋 183 個國家與 44 類運動，並比較不同運動項目與壽命之間的差異。
結果相當醒目。男性撐竿跳選手的壽命高於研究所設定的參考值約 8.4 年，體操約高 8.2 年；相撲選手則低約 9.8 年，排球選手低約 5.4 年。部分統計結果的 p 值極小，例如男性排球約為 p = 2.4 × 10^-11。如果只看一般論文中的 regression table，這當然會被列為高度顯著的結果。
Andrew Gelman 後來在部落格中嚴厲批評這篇研究，甚至稱它是他看過最糟糕的科學論文之一。先不討論這句批評是否過重，這篇論文確實提出了一個很適合研究方法課的問題：如果樣本已經超過九萬筆，而且 p 值小到這種程度，為什麼我們還不能直接接受「打排球會少活五年」？
關鍵在於，統計顯著性所能支持的判斷有明確範圍。在虛無假設與模型前提成立的情況下，p 值表示觀察到目前這麼極端、或更極端結果的機率。研究者不能單靠 p 值判斷樣本是否具有代表性、變項衡量是否恰當、模型是否遺漏重要因素，也不能因此把相關性解釋成因果關係。
這幾個問題必須分開處理。
二、第一個問題不是顯不顯著，而是究竟量到了什麼
這篇研究的核心依變項稱為 age Δ。計算方式是以某位運動員死亡時的年齡，減去他死亡當年、同一國家與同性別人口的預期壽命。
例如，一名運動員死亡時為 75 歲，而該國當年度男性的預期壽命為 80 歲，那麼 age Δ 就是 75 - 80 = -5。依照這個算法，研究者會把它解讀為這名運動員比參考值少五年。
問題出在兩個數字的意義並不相同。研究採用的 World Bank 指標是 life expectancy at birth，也就是「出生時預期壽命」。這個指標估計的是某一年出生的新生兒，在當年度死亡率條件持續不變的情況下，平均預期可以活多少年；它並不是某位已經活到 60、70 或 80 歲的成年人，剩餘可以活多少年的預估。
假設一位運動員 1930 年出生，2010 年以 80 歲死亡。這篇研究不是把他和 1930 年出生、同國籍、同性別的人比較，也不是計算一個已經活到某個年齡的人還可以活多久，而是拿他的死亡年齡，和 2010 年出生新生兒的預期壽命相比。兩個數字都以「年」為單位，卻不是同一種概念。
這就是測量效度（measurement validity）的問題。
DBA 論文中也很容易出現類似情況。例如，研究者想研究「組織能力」，最後使用員工人數作為代理變項；想研究「數位轉型程度」，使用資訊系統投資金額；想研究「創新能力」，使用專利數量；想研究「企業績效」，只使用單年度營收成長率。
這些數字本身可能都沒有錯，但研究者還必須說明：這個可以觀察到的指標，和理論中要研究的構念究竟有多接近。資料正確，不代表測量就一定有效。
三、九萬筆資料很多，但這九萬人是怎麼來的？
第二個需要檢查的是取樣方式。
這篇研究的運動員資料主要來自 Wikidata 與 Wikipedia，英文 Wikipedia 則透過 athlete、Olympian、champion、medalist 等方式尋找符合條件的人物。換句話說，這 95,210 人並不是從「全世界所有運動員」中隨機抽出來的，而是公開資料庫中找得到、而且具有出生與死亡資料的運動員。
因此，樣本數之外還要繼續追問：哪些人比較有機會進入這個資料庫？
英文 Wikipedia 對不同國家、運動與年代的紀錄程度不可能完全一致。知名運動員比一般職業選手容易被收錄；英語系國家的運動員通常也會留下較多英文紀錄；熱門運動與冷門運動的資料完整度不同，男性與女性運動員受到媒體關注的程度也有差異。
從論文公布的資料來看，95.5% 的樣本為男性，而且 63.4% 的觀察值集中在九個國家。作者也承認資料可能存在 reporting bias。
因此，這九萬多人比較適合被理解為「公開資料庫中可以辨識、資料足夠完整的一群知名運動員」，而不能直接視為全世界運動員的代表性樣本。
這對 DBA 使用次級資料特別重要。現在取得大量資料並不困難，LinkedIn、公司年報、新聞資料庫、專利資料、企業網站、求職平臺與社群媒體，都可能提供數萬甚至數十萬筆觀察值。但樣本數大與樣本具有代表性，是不同的問題。
增加樣本數通常可以降低抽樣誤差，卻無法排除選樣偏誤（selection bias）。如果進入資料庫的機制本身具有系統性偏差，把資料從一萬筆增加到十萬筆，並不會使這個偏差消失。
四、這是一篇壽命研究，但還活著的人反而進不來
研究設計中還有一個值得注意的地方。由於研究需要每名運動員的出生年與死亡年，因此仍然活著的人無法進入主要分析。
假設兩位排球選手都在 1980 年出生。A 到資料截止時仍然健在，B 則在 2015 年以 35 歲死亡。依照這項研究的資料條件，B 可以進入壽命分析，A 卻不會出現。
這會造成特定的樣本選擇。越晚出生的人，如果要在研究截止前出現在「已死亡者」資料中，本來就必須比較早死亡。如果不同運動的盛行年代、參與者年齡或職業發展歷史有所不同，直接比較死亡年齡就可能受到資料結構影響。
研究壽命時，通常會使用生存分析（survival analysis）處理這類情況。研究截止時仍然活著的人並不是沒有資料，而是只能確定他在觀察期結束以前仍然存活。統計上通常把這種情況稱為右設限（right censoring）。
管理研究也常遇到相同問題。例如，要研究「哪些創業者比較容易失敗」，資料庫卻只收錄已經倒閉的公司；要研究「什麼因素造成高階主管離職」，樣本卻只包含已經換工作的人。統計程式仍然可以產生迴歸係數與 p 值，但此時分析所回答的問題，很可能已經和原來的研究問題不同。
五、p 值很小，有時和樣本很大有很大的關係
這篇研究還有一個很好的統計教學點。男性模型的 adjusted R² 約為 0.062，女性約為 0.035。也就是說，以論文目前設定的自變項來看，可以解釋的 age Δ 變異比例並不高，但很多係數仍然具有高度統計顯著性。
這兩個結果可以同時成立。
在其他條件不變的情況下，樣本數增加通常會使標準誤下降。標準誤越小，即使估計效果並不大，也比較容易得到很小的 p 值。因此，大樣本研究中特別需要把「統計顯著」與「效果大小」分開。
可以簡化成下面的理解：
樣本數增加 → 標準誤通常下降 → 較容易得到較小的 p 值
但不能反過來推論：
p 值很小 → 效果一定很大
也不能推論：
p 值很小 → 理論解釋力很高
更不能推論：
p 值很小 → 已經證明因果關係
DBA 論文很容易出現這種寫法：研究者取得二十萬筆交易資料，得到 p < .001，於是在結果章寫下「研究結果高度顯著，因此驗證了本研究理論」。
這樣的結論超出了 p 值可以支持的範圍。研究結果是否具有理論與實務意義，還要同時檢查效果大小、信賴區間、模型適配程度、預測能力，以及研究設計是否排除了其他合理解釋。
大樣本的優點是估計可以更精確；如果研究設計本身存在偏誤，也可能只是更精確地估出一個有偏誤的數字。
六、放入幾個控制變項，不表示混淆問題已經處理完畢
原研究透過 age Δ 的計算方式處理國家、性別與死亡年份的差異，因此後續模型主要以 sport type 解釋 age Δ。
這可以帶出 DBA 論文中很常見的一句話：「我們已經控制了產業、公司規模、年齡與性別。」
控制變項當然有用，但控制幾個常見變項，和排除混淆因素，是兩個不同層次的問題。研究者仍然需要根據理論與研究情境，判斷哪些因素可能同時影響自變項與依變項。
以運動與壽命為例，可能相關的因素包括社經地位、教育、醫療條件、族群、抽菸與飲酒習慣、營養狀況、身體條件、不同年代的醫療水準，以及運動員退休後的生活方式等。
假設某些運動較常由高社經背景的人參與，而較高的社經地位本身又與較長壽命有關，那麼資料中觀察到的差異，就可能同時包含運動種類與社經背景的影響。
可以把這個關係簡化為：
社經地位 → 運動種類
社經地位 → 壽命
這種情況下，即使某種運動的係數達到統計顯著，也不能直接判定差異來自運動本身。
DBA 研究中的「AI 導入與企業績效」也有相同問題。假設管理能力較好的企業比較有資源導入 AI，而管理能力本身又會提高企業績效，那麼「採用 AI 的企業績效較高」至少存在另一種合理解釋：兩者可能都受到管理能力影響。
這也是為什麼控制變項的選擇不能只依賴「前人論文都放了哪些變項」，而應該先說明研究者認為資料是如何形成的。
七、從「有相關」走到「有因果」，中間還差一個比較基準
原研究採用 zero-intercept regression，每位運動員都屬於某個運動項目，因此並沒有一群「其他條件相近，但沒有從事該項運動的人」作為直接比較對象。
換句話說，研究並沒有比較兩組條件接近的人，一組打排球、一組不打排球；也沒有辦法觀察同一個人在「打排球」與「沒有打排球」兩種情況下最後會活多久。研究使用的是前面建立的 population life-expectancy benchmark。
因此，「排球選手的 age Δ 較低」和「打排球造成壽命減少」是兩個不同程度的主張。前者描述資料中的關聯，後者則涉及因果推論。
DBA 學生如果想在論文中使用「造成、導致、提升、降低」這類因果語言，可以先問自己一個問題：我想像中的比較情境是什麼？
例如「導入 AI 會提升企業績效」，我們想知道的通常是：同一家企業在其他條件相同時，導入 AI 與沒有導入 AI 的績效會差多少。然而，實際取得的觀察資料通常只能看到不同企業做出不同選擇，而且這些企業原本就可能不同。
因果推論要處理的，就是這個沒有辦法直接觀察到的比較情境，也就是 counterfactual。
八、統計方法愈複雜，不代表研究設計愈可靠
這篇研究並不是只使用最基本的 OLS，而是採用 robust regression，以降低極端值與高影響觀察值對估計結果的干擾。從統計分析本身來看，這有其理由。
不過，robust regression 可以處理極端值問題，卻不能修正取樣偏誤；也不能改變前面對預期壽命的測量方式，更無法處理資料中沒有觀察到的混淆因素。
這點對 DBA 很重要。現在研究者可以使用的工具很多，包括 PLS-SEM、multilevel model、Bayesian model、random forest、XGBoost，甚至各種機器學習模型。方法愈進階，不表示研究問題與資料之間的關係就會因此變得合理。
這裡可以區分兩個概念。Estimand 指的是「研究究竟想估計哪一個效果」，estimator 則是「使用什麼統計方法估計這個效果」。如果前者沒有定義清楚，換一套更複雜的 estimator 並不能解決問題。
DBA 學生常把很多時間花在選方法：究竟要用 SEM、PLS、hierarchical regression，還是 machine learning？但在這之前，更值得先確認的是：我要估計的東西究竟是什麼，而目前的資料是否足以支持這個估計。
九、如果要重新研究「哪一種運動影響壽命」，可以怎麼做？
這個題目本身可以研究，只是研究設計需要重新安排。
比較合理的方式，是先建立運動員 cohort，納入不同運動項目的人，並建立適當的比較組。研究中要保留仍然存活的運動員，而不是只分析已經死亡的人，再利用 survival analysis 處理觀察期結束時尚未發生死亡事件的資料。
分析時也要考慮出生年代、國家、性別、社經背景、教育程度、族群、抽菸與飲酒、BMI、職業或業餘身分、競技年代、退休後生活方式與醫療條件等可能影響壽命的因素。
如果研究目的只在描述不同運動員之間的壽命差異，做到這一步已經可以改善很多問題；如果希望進一步主張某種運動「造成」壽命增加或減少，就還要說明比較組如何建立，以及如何處理運動選擇本身並非隨機這件事。
原研究另外排除了 accidental or unnatural deaths。這個決定也值得討論。如果研究問題是「特定運動與自然老化之間有什麼關聯」，排除意外死亡或許有理由；但如果研究問題是「從事某種運動對一個人的總壽命有何影響」，而某種運動本身可能增加意外死亡風險，那麼把這些死亡刪除，就會改變研究所估計的效果。
因此，資料清理中的納入與排除條件並不是單純的技術設定。每刪除一類資料，研究問題也可能跟著改變。
十、DBA 開始跑統計以前，可以先回答七個問題
與其一拿到資料就開 SPSS、R、Stata、SmartPLS 或 Python，我比較建議 DBA 學生先寫下以下七個問題：
- 我的 research question 究竟要解釋什麼現象？
- 我使用的變項，是否適合代表理論中的構念？
- 樣本是怎麼進入資料集的？哪些人或企業沒有機會出現在資料中？
- 有哪些因素可能同時影響自變項與依變項？
- 我的比較組是誰？如果要談因果，counterfactual 是什麼？
- 除了 p 值之外，效果大小、信賴區間、模型適配程度與實務意義如何？
- 如果把論文中的「相關」改寫成「造成」，目前的研究設計是否足以支持這種寫法？
這七題如果答不清楚，多跑幾個 robustness check、增加控制變項或換一種統計方法，通常只能處理後端的分析問題，無法補回研究設計前端的缺口。
十一、看 regression table 時，先不要急著數星星
這篇論文最適合拿來提醒 DBA 學生的，不是「Wikipedia 資料不能拿來研究」，也不是「觀察性研究都不可信」。次級資料可以做出很好的研究，觀察性資料也可以支持重要的理論發展。前提是研究者知道資料是如何產生的，也清楚目前的研究設計允許自己說到哪裡。
閱讀一張 regression table 時，我們很容易先找係數方向，再看 p 值，最後數有幾顆星。但在這些步驟之前，應該先檢查研究問題如何被轉成變項、樣本如何形成、比較對象是否合理，以及還有哪些機制可以產生相同的統計結果。
所以看到 p < .001 時，比「有沒有顯著」更重要的問題是：
即使這個結果達到統計顯著，目前的研究設計究竟允許我下什麼結論？
這個問題如果沒有回答清楚，星號再多也只是星號。
至於排球，目前還可以繼續打。撐竿跳也暫時不用學。
（握拳）
感謝：王宏恩在其 Facebook 寫了這一篇論文的研究方法大論戰，給了我很好的啟發！以此為註記，望未來有更多學者願意將這些有趣觀點與想法分享出來！