エントロピー(平均情報量)

エントロピーとは

エントロピーとは、不確実さを示す度合いです。

この世のあらゆることは、2進法つまり2択で成り立っているとします。

すべては、その状態であるかそうでないかです。

 雨が降るのか、降らないのか。

 傘を持っているのか、持っていないのか。

 お金があるのか、ないのか。

どのような事象が起きているのか理解するということは、把握できている情報量が多いと言えます。

つまりは、その事象を示す2択をどれほど把握しているかということです。

エントロピーは何が起こるか予想がつかないとき最大になり、予想がつくとき最小になります。

で?

このエントロピーは理論的な話ですが、パスワード生成を考えるとシンプルです。

パスワードに使える文字種が多ければそれほど選択肢(その文字を使っているか使っていないか)が多くなり、予測することが困難になります。