[讀書] 精準預測

資料來源：博客來

預測是件非常困難又非常有價值的事。尤其現代社會非常倚賴數字化管理，如果希望擬定某個策略，基本上都會需要對未來市場有些預測。例如要買哪支股票取決於預測哪類股票會大漲，投資哪個新產品取決於我們認為什麼產品有發展潛力。《精準預測》的作者投入很多心力在預測上，這本書跟我們分享了他的心法與技術。


為什麼預測很困難？我們知道Y = f(x1, x2, ...) + 誤差。這本書每一章用一個領域當範例，告訴我們這條預測公式的什麼部分讓人卡住。最常見的原因是找不到好用的方程式 f，例如 (1)預測地震很可能用到一條過度配適(overfitting)的方程式，而無法正確預測下一次的地震；或是 (2)預測抵押債務的風險時採用錯誤的預設，誤以為每筆抵押貸款是否能清償是彼此獨立的；或是 (3)像經濟指標一樣，每兩個變項之間的關係會隨時間改變；或是 (4)像預測氣候變遷一樣，各國的環境政策不斷改變，每年的預測公式都必須調整。最慘的是 (5)我們可能根本沒有任何先例可循，而用錯誤的替代品來做預測，例如我沒有酒駕過，但想預測我酒駕出車禍的機率，就拿我平常開車的車禍機率去預測酒後開車的車禍機率，這稱為「樣本之外、思考之外(out-of-sample error)」。

不過獨變項X也會有問題，我們可能無法正確測量初始值，例如氣象觀測站有限，所以無法精確得知目前每平方公分大氣的數據，即使我們有正確的大氣知識也無法預測颱風會怎麼跑。

另一個影響來源是誤差，也就是英文書名所謂的雜訊。造成雜訊的一個因素是運氣，例如棒球選手的打擊率和勝敗場數其實運氣成分很重，而作者認為一個好的預測系統必須能分辨球技和運氣。有些誤差來源是人為的，例如玩撲克牌，對方加碼下注有可能是因為拿到好牌，但也很有可能是欺敵戰術。

面對種種的困難，我們要如何做出好一點的預測？Nate Silver傳授的心法是像狐狸一樣思考，而不要像刺蝟。刺蝟的特點是相信有一個簡單的指導原則，社會上所有的互動都以之為基礎。這樣的人忽略複雜的細節，說起話來斬釘截鐵，然而預測的結果滿糟的。相反的，狐狸能包容複雜局面和不確定性，他們有許多小想法，可能多種想法同時進行，比較願意承認預測錯誤。狐狸做預測的正確性高於刺蝟，作者因此歸納出三個原則：

1. 用機率思考：未來是不確定的，我們不該宣稱自己就是知道會發生什麼事，而是要提出一個範圍的可能結果，用機率表示。
2. 依照最新資訊，做出今天最有可能的預測，不管之前說過什麼。
3. 尋求共識：團體的預測比單獨預測更準確，因為整合多元的觀點。

貝氏定理始祖：湯瑪士．貝耶斯

符合這三條原則的方法，就是貝氏定理。貝氏定理能告訴我們「如果某些事件發生之後，某個理論或假設為真的機率有多少」（數學原理請參考高中數學或本書284 - 290頁）。而且一旦出現新的資訊，都能幫我們修正理論。在眾多討論與檢驗之後，大家也會逐漸達成共識。然而，貝氏定理在一開始要求預設一個先驗機率，這件事情很奇怪，明明整個研究過程還沒開始，為何要先定下某件事發生的機率呢？因此Fisher發明出今天做研究都非常熟悉的假設檢定法，建立在常態分配的數學基礎上，檢驗某個效果或相關性是否顯著。然而，雖然看似公正客觀，這卻是一種去掉脈絡的方法，就像股市分析只看線圖而不在乎這家公司到底在做什麼。這個檢定法把一切事物都用同一套標準檢驗，下場就是得到印度牛隻售價與美國經濟有顯著高相關，這個顯著的相關係數是毫無意義的。學者們追逐著顯著的星星，但得到的結果卻超過1/3是錯的，正巧經濟學人幾個月前用貝氏定理說明這個現象，這也是近年來科學界反思的議題。

圖片來源：The Economist

這是很有趣的事情。我高中學過貝氏定理，大學學過假設檢定，卻不知道這是兩個敵對的哲學陣營。世上沒什麼絕對公正客觀的事，任何研究方法背後其實都隱藏著一套哲學觀。


用貝氏定理只能得到一件事情發生的機率，而不是明確告訴我們會不會發生，那我怎麼知道該怎麼做？作者觀察到，成功的賭徒和預測人員都不是用穩賺不賠的賭注或完美的理論來思考未來，而是在對機率的估計達到某個程度時就下注。下場是贏是輸不要看得太重，因為現實生活太多雜訊影響最終結果，我們應該泰然處之，把重點放在預測的過程，盡可能蒐集資料、不斷的嘗試錯誤。天道會酬勤，長期而言你將是贏家。連被稱為預測鬼才的作者都說了，只有在電影裡才會盯著大海等待靈感乍現。看完這本書，你會了解作者為了研究一個領域投入多少功夫，因此不難想像作者為何反對今日流行的大數據觀點：藉由data-mining挑選出顯著的相關係數，而不是靠理論提出因果關係。

未來很難預測，預測技術的進步又讓未來更難預測。Nate Silver在本書中慷慨分享心法，非常值得大家一讀！