量子化（信号処理）

信号を量子化する最も簡単な方法は、元のアナログ振幅に最も近いデジタル振幅値を選択することです。この例は、元のアナログ信号（緑）、量子化信号（黒点）、量子化信号から再構成された信号（黄色）、そして元の信号と再構成された信号の差（赤）を示しています。元の信号と再構成された信号の差が量子化誤差であり、この単純な量子化方式では、入力信号の決定論的な関数となります。

数学およびデジタル信号処理において、量子化とは、大きな集合（多くの場合連続した集合）からの入力値を、（可算な）より小さな集合（多くの場合有限個の要素を持つ）の出力値にマッピングするプロセスです。 丸めと切り捨ては、量子化プロセスの典型的な例です。信号をデジタル形式で表現するプロセスには通常、丸めが含まれるため、量子化はほぼすべてのデジタル信号処理に何らかの形で関与しています。また、量子化は、基本的にすべての非可逆圧縮アルゴリズムの中核を成しています。

入力値と量子化された値（丸め誤差など）の差は、量子化誤差、ノイズ、または歪みと呼ばれます。量子化を実行するデバイスまたはアルゴリズム関数は、量子化器と呼ばれます。アナログ-デジタル変換器は量子化器の一例です。

例

例えば、実数を最も近い整数値に丸めることは、非常に基本的なタイプの量子化器、すなわち一様量子化器を形成します。量子化ステップサイズが特定の値に等しい典型的な（中間トレッドの）一様量子化器は、次のように表すことができます。 ${\displaystyle x}$ ${\displaystyle \Delta }$

${\displaystyle Q(x)=\Delta \cdot \left\lfloor {\frac {x}{\Delta }}+{\frac {1}{2}}\right\rfloor }$ 、

ここで、表記は床関数を表します。 ${\displaystyle \lfloor \ \rfloor }$

あるいは、同じ量子化器を天井関数で次のように表現することもできる。

${\displaystyle Q(x)=\Delta \cdot \left\lceil {\frac {x}{\Delta }}-{\frac {1}{2}}\right\rceil }$ 。

(この表記は天井関数を表します)。 ${\displaystyle \lceil \ \rceil }$

量子化器の本質的な特性は、入力値の集合よりも小さい、出力値の集合が可算な数えられることです。出力値の集合のメンバーは、整数、有理数、または実数値のいずれかになります。最も近い整数への単純な丸めの場合、ステップサイズは1です。 が他の整数値の場合、または が他の整数値に等しい場合、この量子化器は実数値の入力と整数値の出力を持ちます。 ${\displaystyle \Delta }$ ${\displaystyle \Delta =1}$ ${\displaystyle \Delta }$

量子化ステップサイズ（Δ）が量子化される信号の変動に対して小さい場合、このような丸め操作によって生成される平均二乗誤差がおよそ になることは比較的簡単に示せます。^{[1] [2] [3] [4] [5] [6]}平均二乗誤差は量子化ノイズ電力とも呼ばれます。量子化器に1ビットを追加すると、Δの値が半分になり、ノイズ電力は ⁠ 倍に減少します。${\displaystyle \Delta ^{2}/12}$ 1/4⁠ .デシベルで表すと、騒音パワーの変化は${\displaystyle \scriptstyle 10\cdot \log _{10}(1/4)\ \approx \ -6\ \mathrm {dB} .}$

量子化器の出力可能な値の集合は可算であるため、任意の量子化器は分類段階（または順方向量子化段階）と再構成段階（または逆量子化段階）と呼ばれる2つの異なる段階に分解できます。分類段階では入力値を整数の量子化インデックス にマッピングし、再構成段階ではインデックスを入力値の出力近似値である再構成値にマッピングします。上記の一様量子化器の例では、順方向量子化段階は次のように表すことができます。 ${\displaystyle k}$ ${\displaystyle k}$ ${\displaystyle y_{k}}$

${\displaystyle k=\left\lfloor {\frac {x}{\Delta }}+{\frac {1}{2}}\right\rfloor }$ 、

そしてこの例の量子化器の再構成段階は単純に

${\displaystyle y_{k}=k\cdot \Delta }$ 。

この分解は量子化動作の設計と解析に役立ち、量子化されたデータが通信チャネルを介してどのように通信されるかを示しています。ソースエンコーダは順方向量子化段階を実行し、通信チャネルを介してインデックス情報を送信し、デコーダは再構成段階を実行して元の入力データの近似出力を生成します。一般に、順方向量子化段階では、入力データを量子化インデックスデータの整数空間にマッピングする任意の関数を使用できます。逆量子化段階は、概念的に（または文字通りに）、各量子化インデックスを対応する再構成値にマッピングするテーブルルックアップ操作です。この2段階分解は、ベクトル量子化器とスカラー量子化器の両方に同様に適用できます。

数学的性質

量子化は多数対少数のマッピングであるため、本質的に非線形かつ不可逆なプロセスです (つまり、同じ出力値が複数の入力値によって共有されるため、一般に、出力値のみが与えられた場合、正確な入力値を復元することは不可能です)。

入力値の可能な集合は無限に大きく、連続的であるため可算でない（例えば、すべての実数の集合、あるいはある限られた範囲内のすべての実数の集合など）可能性がある。出力値の可能な集合は有限または可算無限である可能性がある。^[6]量子化に関係する入力集合と出力集合は、かなり一般的な方法で定義することができる。例えば、ベクトル量子化は、多次元（ベクトル値）の入力データに量子化を適用することである。^[7]

種類

アナログと比較して4段階の量子化を持つ2ビット解像度^[8]

8段階の3ビット解像度

アナログ-デジタルコンバータ

アナログ-デジタル変換器(ADC) は、サンプリングと量子化という2 つのプロセスとしてモデル化できます。サンプリングは、時間とともに変化する電圧信号を離散時間信号(実数のシーケンス) に変換します。量子化は、各実数を離散値の有限集合からの近似値に置き換えます。最も一般的には、これらの離散値は固定小数点ワードとして表されます。任意の数の量子化レベルが可能ですが、一般的なワード長は8 ビット(256 レベル)、16 ビット (65,536 レベル)、および 24 ビット (1,680 万レベル) です。数値シーケンスを量子化すると、一連の量子化誤差が生成されます。この誤差は、その確率的動作のため、量子化ノイズと呼ばれる加法的なランダム信号としてモデル化されることがあります。量子化器が使用するレベルが多いほど、量子化ノイズ電力は低くなります。

レート歪み最適化

レート歪み最適化量子化は、非可逆データ圧縮アルゴリズムの情報源符号化において用いられます。その目的は、通信チャネルまたは記憶媒体がサポートするビットレートの制限内で歪みを管理することです。この文脈における量子化の分析には、量子化器の出力を表すために使用されるデータ量（通常は桁数、ビット数、またはビットレートで測定される）の調査と、量子化プロセスによって生じる精度の低下（歪みと呼ばれる）の調査が含まれます。

ミッドライザーとミッドトレッドの均一な量子化器

符号付き入力データに対するほとんどの一様量子化器は、ミッドライザー型とミッドトレッド型の2種類に分類できます。この用語は、値0付近の領域で何が起こるかに基づいており、量子化器の入出力関数を階段に見立てたアナロジーを用いています。ミッドトレッド型量子化器は再構成レベルがゼロ（階段の踏板に相当）であり、ミッドライザー型量子化器は分類閾値がゼロ（階段の蹴込み板に相当）です。^[9]

ミッドトレッド量子化では丸め処理が行われます。ミッドトレッド一様量子化の公式は前のセクションで説明されています。

${\displaystyle Q(x)=\Delta \cdot \left\lfloor {\frac {x}{\Delta }}+{\frac {1}{2}}\right\rfloor }$ 、

ミッドライザー量子化では切り捨てが行われます。ミッドライザー一様量子化器の入出力式は次のように表されます。

${\displaystyle Q(x)=\Delta \cdot \left(\left\lfloor {\frac {x}{\Delta }}\right\rfloor +{\frac {1}{2}}\right)}$ 、

ここで分類規則は次のように与えられる。

${\displaystyle k=\left\lfloor {\frac {x}{\Delta }}\right\rfloor }$

そして再構築ルールは

${\displaystyle y_{k}=\Delta \cdot \left(k+{\tfrac {1}{2}}\right)}$ 。

ミッドライザーユニフォーム量子化器はゼロ出力値を持たないことに注意してください。最小出力振幅はステップサイズの半分です。一方、ミッドトレッド量子化器はゼロ出力レベルを持ちます。アプリケーションによっては、ゼロ出力信号表現が必須となる場合があります。

一般的に、ミッドライザー型量子化器またはミッドトレッド型量子化器は、実際には均一量子化器ではない場合があります。つまり、量子化器の分類間隔の大きさがすべて同じではない場合や、出力値の可能な間隔がすべて同じではない場合があります。ミッドライザー型量子化器の特徴は、分類閾値が正確にゼロであることであり、ミッドトレッド型量子化器の特徴は、再構成値が正確にゼロであることです。^[9]

デッドゾーン量子化器

デッドゾーン量子化器は、0を中心に対称的な動作をするミッドトレッド量子化器の一種です。このような量子化器の出力値が0の周囲の領域は、デッドゾーンまたはデッドバンドと呼ばれます。デッドゾーンは、ノイズゲートやスケルチ機能と同じ目的で使用されることがあります。特に圧縮アプリケーションでは、デッドゾーンの幅は他のステップとは異なる値に設定されることがあります。デッドゾーン以外の部分が均一な量子化器の場合、デッドゾーンの幅は順方向量子化規則^{[10] [11] [12]}を用いて任意の値に設定できます。${\displaystyle w}$

${\displaystyle k=\operatorname {sgn}(x)\cdot \max \left(0,\left\lfloor {\frac {\left|x\right|-w/2}{\Delta }}+1\right\rfloor \right)}$ 、

ここで関数( )は符号関数（ signum関数とも呼ばれる）である。このようなデッドゾーン量子化器の一般的な再構成規則は次のように与えられる。 ${\displaystyle \operatorname {sgn} }$

${\displaystyle y_{k}=\operatorname {sgn}(k)\cdot \left({\frac {w}{2}}+\Delta \cdot (|k|-1+r_{k})\right)}$ 、

ここで、は0から1の範囲の再構成オフセット値であり、ステップサイズの割合として表されます。通常、入力データを、ゼロを中心に対称でゼロでピーク値に達する典型的な確率密度関数（PDF）（ガウス分布、ラプラシアン分布、一般化ガウス分布PDFなど）で量子化する場合、一般にはに依存する可能性があり、以下で説明する最適条件を満たすように を選択することもできますが、多くの場合、 などの定数に設定されます。（この定義では、 （ ）関数の定義により、 は効果がないことに注意してください。） ${\displaystyle r_{k}}$ ${\displaystyle 0\leq r_{k}\leq {\tfrac {1}{2}}}$ ${\displaystyle r_{k}}$ ${\displaystyle k}$ ${\displaystyle {\tfrac {1}{2}}}$ ${\displaystyle y_{0}=0}$ ${\displaystyle \operatorname {sgn} }$ ${\displaystyle r_{0}}$

非常に一般的に用いられる特殊なケース（例えば、財務会計や初等数学で典型的に用いられる手法）は、すべての に対してと を設定することです。この場合、デッドゾーン量子化器は均一量子化器でもあります。これは、この量子化器の中央デッドゾーンが他のすべてのステップと同じ幅を持ち、その再構成値もすべて等間隔になっているためです。 ${\displaystyle w=\Delta }$ ${\displaystyle r_{k}={\tfrac {1}{2}}}$ ${\displaystyle k}$

ノイズとエラー特性

加法ノイズモデル

量子化誤差の解析における一般的な仮定は、量子化誤差が信号処理システムに与える影響が加法性白色雑音の場合と同様に、信号との相関が無視でき、パワースペクトル密度がほぼ平坦であるというものである。^{[2] [6] [13] [14]}加法性雑音モデルは、デジタルフィルタリングシステムにおける量子化誤差の影響の解析に広く用いられており、このような解析において非常に有用である。このモデルは、滑らかなPDF（確率密度関数）を持つ高解像度量子化（信号強度に比べて小さい）の場合に有効なモデルであることが示されている。^{[2] [15]}${\displaystyle \Delta }$

加法性ノイズの挙動は必ずしも妥当な仮定ではない。量子化誤差（ここで定義される量子化器の場合）は信号と決定論的に関連しており、完全に独立しているわけではない。したがって、周期信号は周期的な量子化ノイズを生成する可能性がある。また、場合によっては、デジタル信号処理システムにおいてリミットサイクルの発生を引き起こすことさえある。量子化誤差をソース信号から効果的に独立させる方法の一つは、ディザ量子化（場合によってはノイズシェーピングを伴う）を実行することである。これは、量子化の前に信号にランダム（または疑似ランダム）ノイズを付加するものである。 ^{[6] [14]}

量子化誤差モデル

一般的に、元の信号は 1最下位ビット(LSB) よりもはるかに大きくなります。この場合、量子化誤差は信号と大きな相関はなく、ほぼ一様分布となります。量子化に丸めを使用すると、量子化誤差の平均は0となり、二乗平均平方根(RMS) 値はこの分布の標準偏差で、 で表されます。切り捨てを使用すると、誤差の平均は 0 以外となり、RMS 値は となります。丸めでは切り捨てよりも RMS 誤差が少なくなりますが、この違いは の静的 (DC) 項によるものだけです。AC 誤差の RMS 値はどちらの場合もまったく同じなので、誤差の DC 項を無視できる状況 (AC 結合システムなど) では、切り捨てよりも丸めの方が有利という特別な利点はありません。いずれの場合でも、全信号範囲のパーセンテージとして表される標準偏差は、量子化ビット数が 1 ビット変化するごとに 2 倍変化します。したがって、潜在的な信号対量子化ノイズ電力比は 4、つまり1 ビットあたり約 6 dB 変化します。 ${\displaystyle \scriptstyle {\frac {1}{\sqrt {12}}}\mathrm {LSB} \ \approx \ 0.289\,\mathrm {LSB} }$ ${\displaystyle \scriptstyle {\frac {1}{2}}\mathrm {LSB} }$ ${\displaystyle \scriptstyle {\frac {1}{\sqrt {3}}}\mathrm {LSB} }$ ${\displaystyle \scriptstyle {\frac {1}{2}}\mathrm {LSB} }$ ${\displaystyle \scriptstyle 10\cdot \log _{10}(4)}$

振幅が低い場合、量子化誤差は入力信号に依存するようになり、歪みが発生します。この歪みはアンチエイリアシングフィルタの後に発生し、これらの歪みがサンプルレートの1/2を超えると、対象帯域に折り返されます。量子化誤差を入力信号から独立させるため、信号にノイズを加えるディザリングが行われます。これによりS/N比はわずかに低下しますが、歪みを完全に除去することができます。

量子化ノイズモデル

正弦波を64レベル（6ビット）と256レベル（8ビット）に量子化した場合の比較。6ビット量子化によって生じる加法性ノイズは、8ビット量子化によって生じるノイズよりも12dB大きくなります。この例のようにスペクトル分布が平坦な場合、12dBの差はノイズフロアの測定可能な差として現れます。

量子化ノイズは、 ADCにおける量子化によって生じる量子化誤差のモデルです。これは、ADCへのアナログ入力電圧とデジタル出力値との間の丸め誤差です。このノイズは非線形で信号に依存します。いくつかの異なる方法でモデル化できます。

理想的なADCでは、量子化誤差は-1/2 LSBと+1/2 LSBの間で均一に分布し、信号はすべての量子化レベルにわたって均一に分布しているため、信号対量子化ノイズ比（SQNR）は次のように計算できます。

${\displaystyle \mathrm {SQNR} =20\log _{10}(2^{Q})\approx 6.02\cdot Q\ \mathrm {dB} \,\!}$

ここで、Q は量子化ビットの数です。

これを満たす最も一般的なテスト信号は、全振幅の三角波とノコギリ波です。

たとえば、16 ビットADC の最大信号対量子化ノイズ比は 6.02 × 16 = 96.3 dB になります。

入力信号が全振幅正弦波の場合、信号の分布は均一ではなくなり、対応する式は次のようになります。

${\displaystyle \mathrm {SQNR} \approx 1.761+6.02\cdot Q\ \mathrm {dB} \,\!}$

ここでも、量子化ノイズは均一に分布していると仮定しています。入力信号が高振幅で広い周波数スペクトルを持つ場合、これは当てはまります。^[16] この場合、16ビットADCの最大信号対雑音比は98.09dBです。信号対雑音比の1.761の差は、信号が三角波やのこぎり波ではなく、フルスケールの正弦波であるためにのみ生じます。

高解像度ADCにおける複雑な信号に対しては、このモデルは正確です。低解像度ADC、高解像度ADCにおける低レベル信号、そして単純な波形では、量子化ノイズが均一に分布しないため、このモデルは不正確になります。^[17]これらの場合、量子化ノイズの分布は信号の正確な振幅に強く影響されます。

計算はフルスケール入力を基準としています。信号が小さい場合、相対的な量子化歪みは非常に大きくなる可能性があります。この問題を回避するためにアナログ圧縮伸長法を使用できますが、歪みが生じる可能性があります。

デザイン

粒状歪みと過負荷歪み

多くの場合、量子化器の設計では、限られた範囲の出力値のみをサポートし、入力がサポート範囲を超えるとクリッピングを実行して出力をこの範囲に制限します。このクリッピングによって生じる誤差は、過負荷歪みと呼ばれます。サポート範囲の極端な制限内では、量子化器の選択可能な出力値間の間隔はその粒度と呼ばれ、この間隔によって生じる誤差は粒状歪みと呼ばれます。量子化器の設計では、粒状歪みと過負荷歪みの適切なバランスを決定することが一般的です。サポートされる可能な出力値の数が一定である場合、平均粒状歪みを減らすと平均過負荷歪みが増加する可能性があり、その逆も同様です。信号の振幅（または、量子化ステップ サイズ）を制御して適切なバランスを実現する手法は、自動ゲイン制御(AGC)の使用です。しかし、量子化器の設計によっては、粒度誤差や過負荷誤差の概念が適用されない場合があります（例えば、入力データの範囲が限られている量子化器や、選択可能な出力値が可算無限集合である量子化器など）。^[6]${\displaystyle \Delta }$

レート歪み量子化器の設計

量子化演算を実行するスカラー量子化器は、通常、次の 2 つの段階に分解できます。

分類

入力信号範囲を重複しない区間に分類する処理。この処理では、に対してとなる決定境界値を定義し、極限は および で定義されます。指定された区間範囲に含まれるすべての入力は、同じ量子化インデックス に関連付けられます。${\displaystyle M}$ ${\displaystyle \{I_{k}\}_{k=1}^{M}}$ ${\displaystyle M-1}$ ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$ ${\displaystyle I_{k}=[b_{k-1}~,~b_{k})}$ ${\displaystyle k=1,2,\ldots ,M}$ ${\displaystyle b_{0}=-\infty }$ ${\displaystyle b_{M}=\infty }$ ${\displaystyle x}$ ${\displaystyle I_{k}}$ ${\displaystyle k}$

復興

各区間は、マッピングを実装する再構築値によって表されます。${\displaystyle I_{k}}$ ${\displaystyle y_{k}}$ ${\displaystyle x\in I_{k}\Rightarrow y=y_{k}}$

これら 2 つの段階を合わせて、 の数学的演算を構成します。 ${\displaystyle y=Q(x)}$

エントロピー符号化技術は、分類段階を実行するソースエンコーダから再構成段階を実行するデコーダへ量子化インデックスを伝達するために適用できます。これを行う1つの方法は、各量子化インデックスをバイナリコードワード に関連付けることです。重要な考慮事項は、各コードワードに使用されるビット数であり、ここでは と表記されます。結果として、レベル量子化器とそのインデックス値を伝達するための関連コードワードセットを設計するには、ビットレートや歪み などの選択された設計制約セットを最適に満たす 、 、 の値を見つける必要があります。 ${\displaystyle k}$ ${\displaystyle c_{k}}$ ${\displaystyle \mathrm {length} (c_{k})}$ ${\displaystyle M}$ ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$ ${\displaystyle \{c_{k}\}_{k=1}^{M}}$ ${\displaystyle \{y_{k}\}_{k=1}^{M}}$ ${\displaystyle R}$ ${\displaystyle D}$

情報源が関連する PDF を持つランダム変数を生成すると仮定すると、ランダム変数が特定の量子化間隔内に収まる確率は次のように与えられます。 ${\displaystyle S}$ ${\displaystyle X}$ ${\displaystyle f(x)}$ ${\displaystyle p_{k}}$ ${\displaystyle I_{k}}$

${\displaystyle p_{k}=P[x\in I_{k}]=\int _{b_{k-1}}^{b_{k}}f(x)dx}$ 。

この量子化器の結果のビット レート(量子化値あたりの平均ビット単位) は、次のように導出できます。 ${\displaystyle R}$

${\displaystyle R=\sum _{k=1}^{M}p_{k}\cdot \mathrm {length} (c_{k})=\sum _{k=1}^{M}\mathrm {length} (c_{k})\int _{b_{k-1}}^{b_{k}}f(x)dx}$ 。

歪みが平均二乗誤差によって測定されると仮定すると、^[a]歪みDは次のように表される。

${\displaystyle D=E[(x-Q(x))^{2}]=\int _{-\infty }^{\infty }(x-Q(x))^{2}f(x)dx=\sum _{k=1}^{M}\int _{b_{k-1}}^{b_{k}}(x-y_{k})^{2}f(x)dx}$ 。

重要な観察点は、レートは決定境界とコードワードの長さに依存するのに対し、歪みは決定境界と再構成レベルに依存するということです。 ${\displaystyle R}$ ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$ ${\displaystyle \{\mathrm {length} (c_{k})\}_{k=1}^{M}}$ ${\displaystyle D}$ ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$ ${\displaystyle \{y_{k}\}_{k=1}^{M}}$

量子化器のこれら 2 つのパフォーマンス メトリックを定義した後、量子化器の設計問題の一般的なレート歪み定式化は、次の 2 つの方法のいずれかで表現できます。

1. 最大歪み制約が与えられた場合、ビットレートを最小化する${\displaystyle D\leq D_{\max }}$ ${\displaystyle R}$
2. 最大ビットレート制約が与えられた場合、歪みを最小化する${\displaystyle R\leq R_{\max }}$ ${\displaystyle D}$

これらの問題の解は、多くの場合、ラグランジュ乗数がレートと歪みの適切なバランスを確立する非負定数である制約なしの問題に定式化を変換することで、等価的に（または近似的に）表現および解くことができます。制約なしの問題を解くことは、問題の等価な制約付き定式化に対する解の族の凸包上の点を見つけることと等価です。しかし、これらの3つの問題定式化のいずれに対しても、解、特に閉形式の解を見つけることは困難な場合があります。多次元反復最適化手法を必要としない解は、一様分布、^[18]指数分布、^[12]およびラプラシアン分布^[12]の3つのPDFについてのみ公開されています。反復最適化手法は、他のケースでも解を見つけるために使用できます。^{[6] [19] [20]}${\displaystyle \min \left\{D+\lambda \cdot R\right\}}$ ${\displaystyle \lambda }$

再構成値は歪みにのみ影響し、ビット レートには影響しないことに注意してください。また、以下に示すように、各値は全体の歪みに 個別に寄与します。${\displaystyle \{y_{k}\}_{k=1}^{M}}$ ${\displaystyle y_{k}}$ ${\displaystyle d_{k}}$

${\displaystyle D=\sum _{k=1}^{M}d_{k}}$

どこ

${\displaystyle d_{k}=\int _{b_{k-1}}^{b_{k}}(x-y_{k})^{2}f(x)dx}$

この観察結果は分析を容易にするために使用できます。値のセットが与えられれば、それぞれの値を個別に最適化して、歪みへの寄与を最小限に抑えることができます。 ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$ ${\displaystyle y_{k}}$ ${\displaystyle D}$

平均二乗誤差歪み基準の場合、各区間内の再構成値を区間内の 条件付き期待値（重心とも呼ばれる）に設定することで、再構成値の最適なセットが得られることが簡単に示されます。これは次のように表されます。${\displaystyle \{y_{k}^{*}\}_{k=1}^{M}}$ ${\displaystyle y_{k}}$ ${\displaystyle I_{k}}$

${\displaystyle y_{k}^{*}={\frac {1}{p_{k}}}\int _{b_{k-1}}^{b_{k}}xf(x)dx}$ 。

十分に設計されたエントロピー符号化技術を使用すると、インデックスの真の情報量に近いビットレートを使用できるため、 ${\displaystyle \{k\}_{k=1}^{M}}$

${\displaystyle \mathrm {length} (c_{k})\approx -\log _{2}\left(p_{k}\right)}$

そしてそれゆえ

${\displaystyle R=\sum _{k=1}^{M}-p_{k}\cdot \log _{2}\left(p_{k}\right)}$ 。

この近似を用いることで、エントロピー符号化の設計問題を量子化器自体の設計から分離することが可能になります。算術符号化などの最新のエントロピー符号化技術は、既知の（または適応的に推定された）確率の集合が与えられた場合、情報源の真のエントロピーに非常に近いビットレートを実現できます。 ${\displaystyle \{p_{k}\}_{k=1}^{M}}$

一部の設計では、特定の数の分類領域を最適化するのではなく、量子化器の設計問題に の値の最適化も含まれる場合があります。一部の確率情報源モデルでは、 が無限大に近づくと最高の性能が得られる場合があります。 ${\displaystyle M}$ ${\displaystyle M}$ ${\displaystyle M}$

エントロピー制約を無視する：ロイド・マックス量子化

上記の定式化では、ビット レート制約を0 に設定して無視する場合、または可変長コード(またはレート歪みの意味で FLC よりも優れた算術符号化などの他のエントロピー符号化テクノロジ) の代わりに固定長コード (FLC) を使用して量子化されたデータを表すと仮定すると、最適化問題は歪みのみの最小化に簡約されます。 ${\displaystyle \lambda }$ ${\displaystyle D}$

レベル量子化器によって生成されるインデックスは、ビット/シンボルを用いた固定長コードで符号化できます。例えば、256レベルの場合、FLCビットレートは8ビット/シンボルです。このため、このような量子化器は8ビット量子化器と呼ばれることもあります。しかし、FLCを使用すると、より優れたエントロピー符号化によって得られる圧縮率の向上が失われます。 ${\displaystyle M}$ ${\displaystyle R=\lceil \log _{2}M\rceil }$ ${\displaystyle M=}$ ${\displaystyle R}$

レベルを持つFLCを仮定すると、レート歪み最小化問題は歪み最小化問題のみに帰着できる。帰着問題は次のように表現できる。PDFを持つ情報源と、量子化器が分類領域のみを使用するという制約が与えられたとき、結果として生じる歪みを最小化する 決定境界と再構成レベルを求める。${\displaystyle M}$ ${\displaystyle X}$ ${\displaystyle f(x)}$ ${\displaystyle M}$ ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$ ${\displaystyle \{y_{k}\}_{k=1}^{M}}$

${\displaystyle D=E[(x-Q(x))^{2}]=\int _{-\infty }^{\infty }(x-Q(x))^{2}f(x)dx=\sum _{k=1}^{M}\int _{b_{k-1}}^{b_{k}}(x-y_{k})^{2}f(x)dx=\sum _{k=1}^{M}d_{k}}$ 。

上記の問題に対する最適解を求めると、MMSQE（最小平均二乗量子化誤差）解と呼ばれることもある量子化器が得られ、結果として得られるPDF最適化（非均一）量子化器はロイド・マックス量子化器と呼ばれます。ロイド・マックス量子化器は、次のように、およびから生じる2組の同時方程式を解く反復法^{[6] [21] [22]}を独立して開発した2人の人物にちなんで名付けられました。 ${\displaystyle {\partial D/\partial b_{k}}=0}$ ${\displaystyle {\partial D/\partial y_{k}}=0}$

${\displaystyle {\partial D \over \partial b_{k}}=0\Rightarrow b_{k}={y_{k}+y_{k+1} \over 2}}$ 、

各閾値を各再構築値ペアの中間点に配置し、

${\displaystyle {\partial D \over \partial y_{k}}=0\Rightarrow y_{k}={\int _{b_{k-1}}^{b_{k}}xf(x)dx \over \int _{b_{k-1}}^{b_{k}}f(x)dx}={\frac {1}{p_{k}}}\int _{b_{k-1}}^{b_{k}}xf(x)dx}$

これにより、各再構築値は、関連付けられている分類間隔の重心（条件付き期待値）に配置されます。

1957年に最初に記述されたロイド法Iアルゴリズムは、ベクトルデータへの適用を容易にするために容易に一般化できます。この一般化により、リンデ・ブゾ・グレイ（LBG）法やk平均法といった分類器最適化手法が生まれました。さらに、この手法はベクトルデータに対するエントロピー制約も容易に一般化できます。^[23]

一様量子化と6 dB/ビット近似

ロイド・マックス量子化器は、入力PDFが範囲 にわたって一様分布している場合、実際には一様量子化器です。しかし、一様分布を持たない情報源の場合、最小歪み量子化器は一様量子化器ではない可能性があります。一様分布を持つ情報源に適用された一様量子化器の解析は、以下のように要約できます。 ${\displaystyle [y_{1}-\Delta /2,~y_{M}+\Delta /2)}$

対称的な情報源Xは、他の場所では0、に対して、でモデル化できる。量子化器の ステップサイズと信号対量子化雑音比（SQNR）は、${\displaystyle f(x)={\tfrac {1}{2X_{\max }}}}$ ${\displaystyle x\in [-X_{\max },X_{\max }]}$ ${\displaystyle \Delta ={\tfrac {2X_{\max }}{M}}}$

${\displaystyle {\rm {SQNR}}=10\log _{10}{\frac {\sigma _{x}^{2}}{\sigma _{q}^{2}}}=10\log _{10}{\frac {(M\Delta )^{2}/12}{\Delta ^{2}/12}}=10\log _{10}M^{2}=20\log _{10}M}$ 。

ビットを使用する固定長コードの場合、となり 、 ${\displaystyle N}$ ${\displaystyle M=2^{N}}$ ${\displaystyle {\rm {SQNR}}=20\log _{10}{2^{N}}=N\cdot (20\log _{10}2)=N\cdot 6.0206\,{\rm {dB}}}$

またはビットあたり約 6 dB です。たとえば、=8 ビットの場合、=256 レベル、SQNR = 8×6 = 48 dB です。=16 ビットの場合、=65536 レベル、SQNR = 16×6 = 96 dB です。量子化で使用される各追加ビットごとに SQNR が 6 dB 改善されるという特性は、よく知られた性能指数です。ただし、この導出は均一なソースに適用される均一な量子化器にのみ適用されるため、注意して使用する必要があります。他のソース PDF および他の量子化器設計の場合、PDF のタイプ、ソースのタイプ、量子化器のタイプ、および動作ビット レート範囲によっては、SQNR が 6 dB/ビットで予測されるものと多少異なる場合があります。 ${\displaystyle N}$ ${\displaystyle M}$ ${\displaystyle N}$ ${\displaystyle M}$

しかし、多くの情報源では、十分に高いビットレートで動作している場合、量子化器のSQNR関数の傾きは6dB/ビットと近似できると一般的に想定されています。漸近的に高いビットレートでは、ステップサイズを半分にすると、ビットレートはサンプルあたり約1ビット増加します（値が前の2倍のサイズの間隔の左半分にあるか右半分にあるかを示すために1ビット必要となるため）。また、この近似値に基づいて、平均二乗誤差は4分の1（つまり6dB）減少します。 ${\displaystyle \Delta ^{2}/12}$

漸近的に高いビットレートでは、多くのソースPDFに対して6dB/ビットの近似が厳密な理論的解析によって支持されている。^{[2] [3] [5] [6]}さらに、これらの条件下では、最適なスカラー量子化器の構造（レート歪みの意味で）は均一量子化器の構造に近づく。^{[5] [6]}

他の分野では

多くの物理量は、実際には物理的実体によって量子化されています。この制限が適用される分野の例としては、電子工学（電子による）、光学（光子による）、生物学（ DNAによる）、物理学（プランク限界による）、化学（分子による）などが挙げられます。

参照

• ベータエンコーダ
• 色の量子化
• データのビニング
• 離散化
• 離散化誤差
• 最小カウント
• ポスタリゼーション
• パルス符号変調
• 四分位数
• 量子化（画像処理）
• 回帰希釈– 説明変数または独立変数の量子化などの誤差によって引き起こされるパラメータ推定値のバイアス

注記

1. 他の歪み測定法も検討できますが、平均二乗誤差が一般的な方法です。

参考文献

1. Sheppard, WF (1897). 「等距離分割法に従って配置されたデータにおける頻度定数の最確値の計算について」.ロンドン数学会報. s1-29 (1). Wiley: 353– 380. doi :10.1112/plms/s1-29.1.353. ISSN  0024-6115.
2. WR Bennett、「量子化信号のスペクトル」、Bell System Technical Journal、第27巻、446～472ページ、1948年7月。
3. Oliver, BM; Pierce, JR; Shannon, CE (1948). 「PCMの哲学」. Proceedings of the IRE . 36 (11): 1324– 1331. doi :10.1109/jrproc.1948.231941. ISSN  0096-8390. S2CID  51663786.
4. シーモア・スタインとJ・ジェイ・ジョーンズ『現代コミュニケーション原則』マグロウヒル、ISBN 978-0-07-061003-3、1967年（196頁）。
5. Gish, H.; Pierce, J. (1968). 「漸近的に効率的な量子化」. IEEE Transactions on Information Theory . 14 (5): 676– 683. Bibcode :1968ITIT...14..676G. doi :10.1109/tit.1968.1054193. ISSN  0018-9448.
6. Gray, RM ; Neuhoff, DL (1998). 「量子化」. IEEE Transactions on Information Theory . 44 (6): 2325– 2383. Bibcode :1998ITIT...44.2325G. doi :10.1109/18.720541. ISSN  0018-9448. S2CID  212653679.
7. Allen Gersho、Robert M. Gray (1991). ベクトル量子化と信号圧縮. Springer . ISBN 978-0-7923-9181-4。
8. ホジソン、ジェイ (2010).『記録を理解する』p.56. ISBN 978-1-4411-5607-5フランツ、デイヴィッド（2004年）『ホームスタジオでのレコーディングとプロデュース』p.38-9（バークリー出版）より抜粋。
9. Gersho, A. (1977). 「量子化」. IEEE Communications Society Magazine . 15 (5): 16– 28. Bibcode :1977ICScM..15...16G. doi :10.1109/mcom.1977.1089500. ISSN  0148-9615. S2CID  260498692.
10. ラバニ, マジッド; ジョシ, ラジャン L.; ジョーンズ, ポール W. (2009). 「第1章 JPEG 2000 コア符号化システム（パート1）」の「セクション1.2.3 量子化」. シェルケンス, ピーター, スコドラス, アタナシオス, エブラヒミ, トゥラジ (編). 『JPEG 2000 スイート』 . John Wiley & Sons . pp. 22–24. ISBN 978-0-470-72147-6。
11. Taubman, David S.; Marcellin, Michael W. (2002). 「第3章 量子化」. JPEG2000: 画像圧縮の基礎、標準、そして実践. Kluwer Academic Publishers . p. 107. ISBN 0-7923-7519-X。
12. Sullivan, GJ (1996). 「指数関数的およびラプラシアン確率変数の効率的なスカラー量子化」. IEEE Transactions on Information Theory . 42 (5): 1365– 1374. Bibcode :1996ITIT...42.1365S. doi :10.1109/18.532878. ISSN  0018-9448.
13. Widrow, B. (1956). 「ナイキスト標本化理論による粗振幅量子化の研究」. IRE Transactions on Circuit Theory . 3 (4): 266– 276. doi :10.1109/tct.1956.1086334. hdl : 1721.1/12139 . ISSN  0096-2007. S2CID  16777461.
14. Widrow, B. (1961). 「振幅量子化サンプルデータシステムの統計解析」(PDF) . Transactions of the American Institute of Electrical Engineers, Part II: Applications and Industry . 79 (6): 555– 568. doi :10.1109/TAI.1961.6371702. 2011年4月1日時点のオリジナル(PDF)からアーカイブ。 2012年8月17日閲覧。
15. Marco, D.; Neuhoff, DL (2005). 「均一スカラー量子化器における加法性ノイズモデルの妥当性」. IEEE Transactions on Information Theory . 51 (5): 1739– 1755. Bibcode :2005ITIT...51.1739M. doi :10.1109/tit.2005.846397. ISSN  0018-9448. S2CID  14819261.
16. ポールマン、ケン C. (1989)。デジタルオーディオの原理第2版。サムス。 p. 60.ISBN​ 9780071441568。
17. ワトキンソン、ジョン (2001).デジタルオーディオの芸術 第3版.フォーカルプレス. ISBN 0-240-51587-0。
18. Farvardin, N. ; Modestino, J. (1984). 「非ガウス性メモリレス情報源のクラスに対する最適量子化器性能」. IEEE Transactions on Information Theory . 30 (3): 485– 497. Bibcode :1984ITIT...30..485F. doi :10.1109/tit.1984.1056920. ISSN  0018-9448.（セクションVI.Cおよび付録B）
19. Berger, T. (1972). 「最適量子化器と順列符号」. IEEE Transactions on Information Theory . 18 (6): 759– 765. Bibcode :1972ITIT...18..759B. doi :10.1109/tit.1972.1054906. ISSN  0018-9448.
20. Berger, T. (1982). 「最小エントロピー量子化器と順列符号」. IEEE Transactions on Information Theory . 28 (2): 149– 157. Bibcode :1982ITIT...28..149B. doi :10.1109/tit.1982.1056456. ISSN  0018-9448.
21. Lloyd, S. (1982). 「PCMにおける最小二乗量子化」. IEEE Transactions on Information Theory . 28 (2): 129– 137. Bibcode :1982ITIT...28..129L. CiteSeerX 10.1.1.131.1338 . doi :10.1109/tit.1982.1056489. ISSN  0018-9448. S2CID  10833328. (この研究は、 1957 年 7 月 31 日の部門ログ日付でベル研究所にコメントを求めて回覧された原稿に記載されており、1957 年の数学統計研究所の会議でも発表されましたが、正式には 1982 年まで出版されませんでした)。
22. Max, J. (1960). 「歪みを最小にする量子化」. IEEE Transactions on Information Theory . 6 (1): 7– 12. Bibcode :1960ITIT....6....7M. doi :10.1109/tit.1960.1057548. ISSN  0018-9448.
23. Chou, PA; Lookabaugh, T.; Gray, RM (1989). 「エントロピー制約ベクトル量子化」. IEEE Transactions on Acoustics, Speech, and Signal Processing . 37 (1): 31– 42. Bibcode :1989ITASS..37...31C. doi :10.1109/29.17498. ISSN  0096-3518.

• Sayood, Khalid (2005)、『データ圧縮入門、第3版』、Morgan Kaufmann、ISBN 978-0-12-620862-7
• Jayant, Nikil S.; Noll, Peter (1984)、『波形のデジタル符号化：原理と音声とビデオへの応用』、Prentice–Hall、ISBN 978-0-13-211913-9
• グレッグ、W.デイビッド（1977年）、アナログ＆デジタル通信、ジョン・ワイリー、ISBN 978-0-471-32661-8
• スタイン、シーモア、ジョーンズ、J.ジェイ（1967年）、現代コミュニケーション原則、マグロウヒル、ISBN 978-0-07-061003-3

さらに読む

• バーナード・ウィドロウ、イシュトヴァン・コラー（2007年）『デジタル計算、信号処理、制御における量子化雑音』ケンブリッジ大学出版局、ISBN 9780521886710. 2011年8月7日時点のオリジナルよりアーカイブ。2013年5月19日閲覧。