現在、取り組んでいる市場予測の課題があり、実務上の市場分析におけるモデル選択の難しさを実感させられております。気象予報や物理実験などのサイエンスの世界では、ベースとなる自然法則は確定していますから、予測モデルのフレームワークに悩むことは少ないように思いますが、ビジネスに係る市場予測では、その目的や実用性を考慮して、モデルフレームワークを決定する必要があります。特に、クライアントからの特定の要望がある場合、様々な制約とどう折り合いを付けるかは、”ビジネス交渉”にも似た要素もでてきます。最近の潮流から、深層学習を含む機械学習による予測モデルに対する(過度な）期待が大きいですが、実際の予測目的を考えるとむしろ伝統的な統計モデルをベースとした方が、実用的であるケースは多々あると思います。
こうした予測モデルの選択の指針について、Bain & CompanyのYue Liらは最近の論文[1]の中で、ビジネスにも役立つ見解を述べています。彼らは、予測モデルのカテゴリーを、１）回帰モデルや指数平滑化モデル、ARIMAXなどの時系列モデルを代表とする統計モデル、２）SVM、ニューラルネットワークやランダムフォレスト等の機械学習モデル、３）販売計画者や営業担当、特定の知識や経験を持つ専門家による判断予測モデルに分類し、実務への適用に対する指針を述べており、総括すれば、次の3つの事項の重要性を指摘しています。
１.モデル特性を事前に理解する
オールマイティなモデルは存在しません。いかなるモデルも短所長所があり、その特性をモデルデザインの事前に考慮する必要があります。特に、次の性質をモデル選択に際して吟味することが重要です。
解釈可能性：使用したデータ及び手法からどう予測が導かれたのかを説明できる能力を示し、一般に、専門家の判断予測は解釈可能性を重視し、統計モデルも説明変数の寄与率等から一定の解釈が可能ですが、機械学習モデルはBlack Boxとなることが多いです。
安定性：予測前提や入力するデータを変更したり、アップデートした場合、一貫性のある結果が得られる能力を示します。統計モデルでは変数の有意性を吟味するため、安定性は高い一方、専門家の判断予測は主観的視点が入るため、極端なばらつきが生じることもあります。また、機械学習モデルも、初期値やハイパーパラメータによる変動は考慮する必要があります。
拡張性：大規模なデータに適応できるモデル能力で、機械学習モデルは優れています。統計モデルもある程度の拡張には対応可能ですが、構造変更など追加コストがかかる場合があり、専門家による判断予測は複雑性の増大(データ次元の増大等）には耐性は低いでしょう。
２.予測の目的と優先事項を明らかにする
1.のモデル特性を理解した上で、モデル選択及びデザインにおいては、予測の使用目的とパフォーマンスの優先度を考慮することが重要で、著者らは、以下の事項を考慮することが有効であると指摘しています。
＊モデルの解釈可能性に対する予測ユーザーの優先度
＊利用できるデータの形式、ボリューム及び品質。また、データ入手のコストと時間
＊どのくらいの頻度で、予測をアップデートする必要があるか？
＊予測システムを維持するために、どの程度、専門人材及びテクノロジを投入できるか？
３．複数のモデルを組み合わせる
不確定性の高い事業計画に纏わるビジネス予測においては、ひとつのモデルですべて目的が達成されるケースは稀少です。また、モデル設計者のバックグラウンドや経験が大きく選択に影響します。数理統計のバックグラウンドが強い設計者は統計モデルを選択をしますし、その分野の専門知識のある専門家は自らの経験や勘に頼るところが大きいと思います。こうしたことから、著者らは複数のモデルを組み合わせた予測システムをデザインすることを推奨しています。実際、様々な組み合わせ方やプロセス手順が考えられますが、特に数理統計や機械学習により自動化されたモデル分析＋専門家による判断が有効であることが指摘されており、ケーススタディーとして、食料品企業の予測システムにおける成功例が示されております。こうしたモデル分析と専門家の知識の組み合わせでは、モデル構築において専門家の知見を取り入れることで、バイアスを減らし、信頼性を高める効果が期待されています。
結論は、普段、このブログでも述べていることと、かなりオーバーラップしていますが、Bain& Companyと言えば、多岐にわたる専門家をコンサルタントとして有する一流コンサルティング企業であり、専門家の知識及びノウハウを基調に課題解消を行うイメージですが、こうしたプロフェッショナル企業も、モデル分析を積極的に取り得れ、新たな価値創造を目指している現状は、時代の潮流を反映していると感じられます。こうした動きは、今後、幅広い分野のプロフェッショナル企業でも加速してゆくことでしょう。
＜参考文献＞
[1] Yui Li, Diane Berry and Jason Lee, "How to Choose among Three Forecasting Methods: Machine Learning, Stastisical Models, and Judgemental Forecasts", The international Journal of Applied Forecasting, Issue 28, pp.7-14, Summer 2020
