統計的な検定をもう少し

前回の投稿でＴ検定（分散が同じ）、Ｔ検定（分散が異なる）、マンホイットニーのＵ検定を計算してみましたが、今回はもう少し追加で「ためし検定」をやってみました。今まで取った以下の５種類のランダムトレードシミュレーション結果を基にそれぞれを比較（検定）してちゃんと検定ができているかを見てみました。

• sm00 - サンプル数２００程度、スプリット=0.000%
• sm25 - サンプル数２００程度、スプリット=0.025%
• mid00 - サンプル数２０００程度、スプリット=0.000%
• mid25 - サンプル数２０００程度、スプリット=0.025%
• bg25 - サンプル数２００００程度、スプリット=0.025%

上手く行っていればサンプルサイズに関係無くスプリットが違う場合のみP値が小さくなるはずです。

その結果は以下のとおりでした。（AvProfは平均利益です）

やはり正規分布を仮定しなくてよいU検定が一番良いのかなとの結論に達しました。

ちなみに参考までに他の指標（例えばプロフィットファクターとか最大ドローダウンとかで検定した場合はどうなのかと言うことでやってみました。以下がその結果です。

興味深いですね。Sharpe比の場合だとかなりどの検定でも上手くいっています。Sharpe比のヒストグラムはそういえば正規分布に近かったなぁと思い出しました。以下がSharpe比のヒストグラムですがこれが正規分布っぽいのでSharpe比ではU検定でもT検定でも上手くいくのかもしれませんね。統計の専門家に聞きたいところです。