エントロピーとは、不確実さを示す度合いです。

この世のあらゆることは、2進法つまり2択で成り立っているとします。

すべては、その状態であるかそうでないかです。

　雨が降るのか、降らないのか。

　傘を持っているのか、持っていないのか。

　お金があるのか、ないのか。

どのような事象が起きているのか理解するということは、把握できている情報量が多いと言えます。

つまりは、その事象を示す2択をどれほど把握しているかということです。

エントロピーは何が起こるか予想がつかないとき最大になり、予想がつくとき最小になります。