多様性指数とは、データセット（例えば、群集）内にいくつの異なるタイプ（例えば、種）が存在するかを測定する手法です。多様性指数は、生物多様性の様々な側面（例えば、豊富さ、均一性、優占度）を統計的に表現したものであり、異なる群集やサイトを比較する際に役立ちます。

生態学で多様性指標が使用される場合、対象となるタイプは通常は種ですが、属、科、機能タイプ、ハプロタイプなどの他のカテゴリになることもあります。対象となる実体は通常、個々の生物（植物や動物など）であり、豊かさの尺度は、個体数、バイオマス、被覆率などです。人口統計学では、対象となる実体は人間であり、対象となるタイプはさまざまな人口統計グループです。情報科学では、実体は文字やアルファベットの異なる文字のタイプです。最も一般的に使用される多様性指標は、有効なタイプの数を単純に変換したものですが（「真の多様性」とも呼ばれます）、各多様性指標は、それ自体で何らかの実際の現象に対応する尺度（ただし、多様性指標ごとに異なるもの）として解釈することもできます。^{[ 1 ] [ 2 ] [ 3 ] [ 4 ]}

多くの指標は、対象者また​​は主体間のカテゴリ的多様性のみを考慮しています。しかし、そのような指標は、カテゴリ的多様性と質的多様性の両方を計算した場合にのみ生じる、対象者また​​は主体間の全体的な変動（多様性）を考慮していません。

この記事で説明する多様性指標には以下のものがあります。

• 豊富さ。データセット内のタイプの数を単純に数えます。
• シャノン指数は、加重幾何平均に基づく各クラスの相対的存在量も考慮します。
  • Rényi エントロピー。これにより、使用される加重平均の種類を自由に変更できるようになります。
• シンプソン指数は、加重算術平均の下で各クラスの相対的存在量を考慮に入れている。
• 最も豊富な種類の相対的存在量を示すバーガー・パーカー指数。
• 有効な種の数（真の多様性）は、使用される加重平均の種類を自由に変更することを可能にし、直感的な意味を持ちます。^{[ 4 ]}

より洗練された指標の中には、タイプ間の系統学的近縁性を説明するものもあります。これらは系統分岐指標と呼ばれ、本稿ではまだ説明していません。^{[ 5 ]}

真の多様性、あるいは有効な型の数とは、対象となるデータセットで観測される型の平均的な割合存在率が等しくなるために必要な、等しく存在する型の数を指します（すべての型が等しく豊富であるとは限りません）。データセットにおける真の多様性は、まずデータセット内の型の割合存在率の加重一般化平均 M _{q −1}をとり、次にその逆数をとることで計算されます。式は以下のとおりです。^{[ 3 ] [ 4 ]}

$${\displaystyle {}^{q}\!D={1 \over M_{q-1}}={1 \over {\sqrt[{q-1}]{\sum _{i=1}^{R}p_{i}p_{i}^{q-1}}}}=\left({\sum _{i=1}^{R}p_{i}^{q}}\right)^{1/(1-q)}}$$

分母M _{q −1}は 、指数q  − 1の加重一般化平均を用いて計算された、データセット内の各タイプの平均比例存在率に等しい。式において、Rは豊富さ（データセット内のタイプの総数）であり、i番目のタイプの比例存在率はp _iである。比例存在率自体は名目上の重みとして用いられる。これらの数値は、 qオーダーのヒル数、または有効種数と呼ばれる。^{[ 6 ]}${\displaystyle ^{q}D}$

q = 1の場合、上記の式は定義されません。しかし、q が1 に近づくにつれて数学的な限界は明確に定義され、対応する多様性は次の式で計算されます。

$${\displaystyle {}^{1}\!D={1 \over {\prod _{i=1}^{R}p_{i}^{p_{i}}}}=\exp \left(-\sum _{i=1}^{R}p_{i}\ln(p_{i})\right)}$$

これはシャノンエントロピーの指数関数であり、自然対数で計算されます（上記参照）。他の分野では、この統計量はパープレキシティとも呼ばれます。

^{多様性の一般的な方程式は、多くの場合、 [ 1 ] [ 2 ]}の形式で表されます。

$${\displaystyle {}^{q}\!D=\left({\sum _{i=1}^{R}p_{i}^{q}}\right)^{1/(1-q)}}$$

括弧内の項は基本和と呼ばれます。いくつかの一般的な多様性指標は、qの異なる値で計算された基本和に対応しています。^{[ 2 ]}

qの値はしばしば多様性の順序と呼ばれる。これは、種の相対的存在量の加重平均の計算方法を変化させることにより、希少種と豊富種に対する真の多様性の感度を定義する。パラメータqの値によっては、一般化平均M _{q −1}の値は、よく知られた種類の加重平均を特殊なケースとして想定する。具体的には、

• q = 0は加重算術平均に対応し、
• q = 1を加重幾何平均とし、
• q = 2を加重調和平均とする。 ^{[ 7 ]}
• q が無限大に近づくと、指数q  − 1を持つ加重一般化平均は最大p _i値に近づきます。これは、データセット内で最も豊富な種の相対的存在量です。

一般的に、 qの値を増やすと、最も豊富な種に与えられる実効的な重みが増加します。これにより、qの増加に伴いM _{q −1値が大きくなり、真の多様性（} ^q D）値は小さくなります。

q = 1の場合、 p _i値の加重幾何平均が使用され、各種はその割合存在度によって正確に加重されます（加重幾何平均では、重みは指数です）。q > 1の場合、豊富な種に与えられる重みは誇張されており、q < 1の場合、希少種に与えられる重みは誇張されています。q = 0では、種の重みが種の割合存在度を正確に打ち消し、すべての種が等しく豊富でなくても、p _i値の加重平均は1 / Rに等しくなります。 q = 0では、有効種数⁰ Dは、実際の種数Rに等しくなります。 多様性の観点から、qは一般に非負の値に制限されます。これは、qが負の値になると、希少種に豊富な種よりもはるかに大きな重みが与えられ、^q D がR を超えてしまうためです。^{[ 3 ] [ 4 ]}

豊富さRは、対象となるデータセットに含まれる異なるタイプの数を単純に定量化するものです。例えば、種の豊富さ（通常Sと表記）は、特定の場所などにおける種の数です。豊富さは単純な指標であるため、個体数データが​​入手できないことが多い生態学において、多様性指標としてよく用いられてきました。^{[ 8 ]}真の多様性をq = 0として計算すると、有効タイプの数（⁰ D ）は実際のタイプの数と等しくなり、豊富さ（ R ）と等しくなります。^{[ 2 ] [ 4 ]}

シャノン指数は、生態学の文献では人気の多様性指数で、シャノンの多様性指数、シャノン・ウィーナー指数、（誤って）シャノン・ウィーバー指数とも呼ばれています。^{[ 9 ]}この指標はもともと、テキスト文字列のエントロピー（したがって、シャノンエントロピーはシャノン情報量に関連）を定量化するために、1948 年にクロード・シャノンによって提案されました。 ^{[ 10 ]}その考え方は、文字の数が多く、対象の文字列内での文字の比率が近いほど、文字列の次の文字がどれになるかを正しく予測することが難しくなるというものです。シャノンエントロピーは、この予測に関連する不確実性（エントロピーまたは驚きの度合い）を定量化します。最もよく計算されるのは、次のとおりです。

$${\displaystyle H'=-\sum _{i=1}^{R}p_{i}\ln(p_{i})}$$

ここで、p _iは、対象となる文字列中のi番目の文字種に属する文字の割合です。生態学では、 p _iは、対象となるデータセット中のi番目の種に属する個体の割合を指すことがよくあります。シャノンエントロピーは、データセットからランダムに抽出された個体の種の同一性を予測する際の不確実性を定量化します。

ここでは自然対数で式が書かれているが、シャノンエントロピーを計算する際に用いる対数の底は自由に選ぶことができる。シャノン自身が対数の底として 2、10、eについて論じており、これらはそれ以来シャノンエントロピーを用いる応用において最も一般的な底となっている。各対数の底は異なる測定単位に対応しており、底 2、10、eに対してそれぞれ 2 進数 (bits)、10 進数 (decits)、自然数 (nats) と呼ばれてきた。元々異なる対数の底で計算されたシャノンエントロピー値を比較するには、同じ対数の底に変換する必要がある。底aから底bへの変更はlog _b (a)を乗じることで得られる。^{[ 10 ]}

シャノン指数（H'）は、各タイプの相対的存在量の加重幾何平均と関連している。具体的には、 q = 1として計算した真の多様性の対数に等しい。^{[ 3 ]}

$${\displaystyle H'=-\sum _{i=1}^{R}p_{i}\ln(p_{i})=-\sum _{i=1}^{R}\ln \left(p_{i}^{p_{i}}\right)}$$

これは次のようにも書ける。

$${\displaystyle H'=-\left[\ln \left(p_{1}^{p_{1}}\right)+\ln \left(p_{2}^{p_{2}}\right)+\ln \left(p_{3}^{p_{3}}\right)+\cdots +\ln \left(p_{R}^{p_{R}}\right)\right]}$$

これは

$${\displaystyle H'=-\ln \left(p_{1}^{p_{1}}p_{2}^{p_{2}}p_{3}^{p_{3}}\cdots p_{R}^{p_{R}}\right)=\ln \left({1 \over p_{1}^{p_{1}}p_{2}^{p_{2}}p_{3}^{p_{3}}\cdots p_{R}^{p_{R}}}\right)=\ln \left({1 \over {\prod _{i=1}^{R}p_{i}^{p_{i}}}}\right)}$$

定義により、π_値の合計は1であるため、分母はπ_値の加重幾何平均に等しく、π_値自体が重み（式中の指数）として用いられます。したがって、括弧内の項は真の多様性¹ Dに等しく、H'はln( ¹ D )に等しくなります。^{[ 1 ] [ 3 ] [ 4 ]}

対象となるデータセット内のすべてのタイプが均等に多い場合、すべてのp _i値は1 / Rに等しくなり、シャノン指数はln( R )の値になります。タイプの豊富さが不均等であるほど、 p _i値の加重幾何平均は大きくなり、対応するシャノンエントロピーは小さくなります。実質的にすべての豊富さが1つのタイプに集中し、他のタイプが非常にまれである場合（たとえそれらが多数存在していても）、シャノンエントロピーはゼロに近づきます。データセット内にタイプが1つしかない場合、シャノンエントロピーは正確にゼロになります（次にランダムに選択されるエンティティのタイプを予測する際に不確実性はありません）。

機械学習では、シャノン指数は情報ゲインとも呼ばれます。

レーニエントロピーは、シャノンエントロピーをqが1以外の値に一般化したものです。次のように表すことができます。

$${\displaystyle {}^{q}H={\frac {1}{1-q}}\;\ln \left(\sum _{i=1}^{R}p_{i}^{q}\right)}$$

これは

$${\displaystyle {}^{q}H=\ln \left({1 \over {\sqrt[{q-1}]{\sum _{i=1}^{R}p_{i}p_{i}^{q-1}}}}\right)=\ln({}^{q}\!D)}$$

これは、任意のqの値に基づいて真の多様性の対数を取ると、同じqの値に対応する Rényi エントロピーが得られることを意味します。

シンプソン指数は、個体をタイプに分類したときの集中度を測定するために、 1949年にエドワード・H・シンプソンによって導入されました。 ^{[ 11 ]}同じ指数は、1950年にオリス・C・ハーフィンダールによって再発見されました。 ^{[ 12 ]}この指数の平方根は、1945年に経済学者アルバート・O・ハーシュマンによってすでに導入されていました。^{[ 13 ]}その結果、同じ指標は通常、生態学ではシンプソン指数として、経済学ではハーフィンダール指数またはハーフィンダール・ハーシュマン指数（HHI）として知られています。

この尺度は、関心のあるデータセットからランダムに抽出された2つのエンティティが同じタイプを表す確率に等しい。^{[ 11 ]}これは次の式に等しい。

$${\displaystyle \lambda =\sum _{i=1}^{R}p_{i}^{2},}$$

ここで、Rは豊富さ（データセット内の種類の総数）です。この式は、対象となる種類の割合存在率p _{iの加重算術平均にも等しく、割合存在率自体が重みとして使用されます。} ^{[ 1 ]}割合存在率は定義上0から1の間の値に制限されますが、これは加重算術平均であるため、λ ≥ 1/ Rとなり、すべての種類が等しく豊富である場合に到達します。

λの計算式と真の多様性の計算式を比較すると、 1/λは² D、つまりq = 2として計算された真の多様性に等しいことがわかります。したがって、元のシンプソン指数は対応する基本和に等しくなります。^{[ 2 ]}

λを、対象データセットからランダムに抽出された2つの実体が同一の型を表す確率と解釈する場合、実体は復元抽出されていると仮定します。データセットが非常に大きい場合、非復元抽出でもほぼ同じ結果が得られますが、データセットが小さい場合は、結果に大きな差が生じる可能性があります。データセットが小さく、非復元抽出が仮定される場合、両方のランダム抽出で同一の型が得られる確率は以下のとおりです。

$${\displaystyle \ell ={\frac {\sum _{i=1}^{R}n_{i}(n_{i}-1)}{N(N-1)}}}$$

ここで、n _iはi番目のタイプに属するエンティティの数であり、 Nはデータセット内のエンティティの総数である。^{[ 11 ]}この形式のシンプソン指数は、微生物学ではハンター・ガストン指数としても知られている。^{[ 14 ]}

型の平均的な割合存在度は型の数が減少し、最も豊富な型の存在度が増加すると増加するため、λは多様性の高いデータセットでは小さな値を取り、多様性の低いデータセットでは大きな値を取ります。これは多様性指標としては直感に反する動作であるため、多くの場合、多様性の増加とともに増加するようなλの変換が代わりに使用されてきました。そのような指標の中で最も人気があるのは、逆シンプソン指数（1/λ）とジニシンプソン指数（1−λ）です。^{[ 1 ] [ 2 ]}これらは両方とも生態学の文献ではシンプソン指数とも呼ばれているため、異なる指標を誤って同じであるかのように比較しないように注意が必要です。

逆シンプソン指数は次の式に等しくなります。

$${\displaystyle {\frac {1}{\lambda }}={1 \over \sum _{i=1}^{R}p_{i}^{2}}={}^{2}D}$$

これは単純に 2 次の真の多様性、つまり、加重算術平均を使用して対象のデータセット内のタイプの平均比例存在量を定量化するときに得られる有効なタイプの数に等しくなります。

この指数は、政党の有効数を測る指標としても使われます。

ジニ・シンプソン指数は、機械学習の分野ではジニ不純度、あるいはジニの多様性指数^{[ 15 ]}とも呼ばれます。元のシンプソン指数 λ は、対象のデータセットからランダムに（復元抽出して）抽出した2つの実体が同一のタイプを表す確率に等しくなります。したがって、その変換 1 − λ は、2つの実体が異なるタイプを表す確率に等しくなります。この指標は、生態学では種間遭遇確率（PIE）^{[ 16 ]}やジニ・シンプソン指数^{[ 2 ]}としても知られています。これは、真の多様性のオーダー2の変換として表すことができます。

$${\displaystyle 1-\lambda =1-\sum _{i=1}^{R}p_{i}^{2}=1-{\frac {1}{{}^{2}D}}}$$

社会学、心理学、経営学のギブス・マーティン指数^{[ 17 ]}は、ブルー指数としても知られており、ジニ・シンプソン指数と同じ指標です。

この量は集団遺伝学では期待されるヘテロ接合性としても知られています。

ヴォルフガング・H・バーガーとフランシス・ローレンス・パーカーにちなんで名付けられたバーガー・パーカー指数^{[ 18 ]}は、データセットにおける最大のp _i値、すなわち最も豊富な種類の相対的存在量に等しい。これは、 qが無限大に近づく場合のp _i値の加重一般化平均に対応し、したがって、真の無限大の多様性（ 1/ ^∞D ）の逆数に等しい。

• コリンヴォー、ポール・A. (1973).生態学入門. ワイリー. ISBN 0-471-16498-4。
• Cover, Thomas M.; Thomas, Joy A. (1991). 『情報理論の要素』 Wiley. ISBN 0-471-06259-6。 上記で非公式に説明したコーディング手順の詳細については、第 5 章を参照してください。
• Chao, A. ; Shen, TJ. (2003). 「サンプル中に未観測種が存在する場合のシャノンの多様性指数のノンパラメトリック推定」 (PDF) .環境生態統計. 10 (4): 429– 443. Bibcode : 2003EnvES..10..429C . doi : 10.1023/A:1026096204727 . S2CID  20389926 .

• シンプソンの多様性指数
• 多様性指数 Archived 2005-12-19 at the Wayback Machineには、実際の生態系におけるシンプソン指数の推定例がいくつか示されています。