必要最低限のサンプル数の見積もりに関してです。それには検出力・エフェクトサイズ・有意水準などが必要、とよく言われますが、ある標本のある目的変数を複数の特徴量を使用した予測モデルを作る際、その結果(感度、特異度、その他)がまだ見ぬ母集団にとっても妥当である、と言える為のサンプル数はどのように決められるべきなのでしょうか。また、この場合他にも、専門家が正解付けできる最大標本数や過適応しない最低限の標本数なども考慮しなければならないと思われます。いかがでしょうか。

ご質問いただき感謝致します。
おっしゃるような回帰モデル・クラス分類モデルにおけるサンプル数の問題はとても重要な問題です。問題を難しくさせているのは、扱うデータセットによって目的変数と特徴量との関係は異なり、それによって必要なサンプル数も異なることです。
また回帰モデル・クラス分類モデルを用いるときに重要なことは、モデルの適用領域・適用範囲 http://univprof.com/archives/16-05-30-3588574.html を考えなければならないことです。モデルを作るときにどれだけサンプル数があっても、目的変数の値を予測したいサンプルが、適用領域の外でしたら推定誤差が大きくなってしまいます。
そこで妥当なサンプル数を決める、という考え方から、サンプル数によってモデルの適用領域が異なる、と転換します。サンプル数が少ないときでもモデルは作れますが、そのモデルの適用領域は狭く、得られた推定値のばらつきは大きくなり、サンプル数が多くなるとそれだけ適用領域は広がり、推定値のばらつきも抑えられる、ということです。
そして、モデルの適用領域や推定値のばらつきを、与えられたデータセットから求める、ということになります。

View more