機械学習と統計学

 昨日さ、データ分析をずっとしていて、データが姿を現してきたって言ったじゃん。

現してきたんだけど、相関が弱いわけよ。

機械学習と統計学ってあるじゃん。

機械学習は今少しブームになっているAI（ニューラルネットワーク）とか、何でそういう結果になるのかはブラックボックスだけど、結果が合えば良いって言うもので、

統計学は、少し古典的で、重回帰分析であったり分散分析であったり、検定であったりさ、因果関係が説明できるんだけど、中々良い結果が出ないんだよね。

実際の現場で使うと。。。

今回もPythonつかってゴリゴリロジック書いて機械学習させると、良い結果が出るんだけど、お客さんに説明がが出来ないのよ。

だから、統計学で分析を進めているんだけど、、、

カテゴリ毎に分散分析をしてもさ、良い結果が出ないんだよね。P値が、、、、

正規分布していないので、クラスカル=ウォリスのノンパラメトリクスで分散分析しても駄目なんだよね。

データが足りないって言うのもあるんだよ。

箱ひげ図で、中央値を比較するとさそれなりに差があるように見えるから、データの抽出条件を見直して、t検定して平均値の差が優位であれば、それでも説明が付けられる気もするけど、

少しいろんな方法で分析を進めてみるか。。今日も。。。

こんな感じで、データ分析は一進一退だよ。

俺さ、元々はプロセス系のコンサルなんだけど、最近データ分析ばっかりしている。

不思議だね。

何かコンサルになってから、

最初の案件は業務分析して、

次の案件では、アーキテクチャ設計して、

また別の案件では、開発プロジェクトのマネージメントして、

またまた次の案件では、超上流で戦略マップ（BSC：バランススコアカード）作って費用対効果を算出して、

最近は、データ分析がメイン。

いやぁ、バラエティ豊かだね。。

人生も仕事も楽しいよ。