bfloat16浮動小数点形式

bfloat16 （脳浮動小数点）[ 1 ] [ 2 ]浮動小数点形式は、コンピュータメモリ内で16ビットを占めるコンピュータ数値形式です。浮動小数点基数を使用して数値の広いダイナミックレンジを表します。この形式は、機械学習とニアセンサーコンピューティングを加速することを目的として、32ビットIEEE 754単精度浮動小数点形式（binary32）の短縮版（16ビット）です。[ 3 ] 8つの指数ビットを保持することで32ビット浮動小数点数のダイナミックレンジを近似しますが、binary32形式の24ビットの仮数部ではなく、8ビットの精度のみをサポートします。単精度32ビット浮動小数点数よりも、bfloat16数は整数計算には不向きですが、これはbfloat16数の本来の用途ではありません。 Bfloat16は、ストレージ要件を削減し、機械学習アルゴリズムの計算速度を向上させるために使用されます。[ 4 ]

bfloat16形式は、Googleの人工知能研究グループであるGoogle Brainによって開発されました。この形式は、 Intel Xeonプロセッサ（AVX-512 BF16拡張）、IntelデータセンターGPU、Intel Nervana NNP-L1000、Intel FPGA、[ 5 ] [ 6 ] [ 7 ] AMD Zen、AMD Instinct 、NVIDIA GPU、Google Cloud TPU、[ 8 ] [ 9 ] [ 10 ] AWS Inferentia、AWS Trainium、ARMv8.6-A、[ 11 ] AppleのM2 [ 12 ]およびA15チップ以降など、多くのCPU、GPU、AIプロセッサで利用されています。 CUDA、[ 13 ] Intel oneAPI Math Kernel Library、AMD ROCm、[ 14 ] AMD Optimizing CPU Libraries、PyTorch、TensorFlowなど、多くのライブラリがbfloat16をサポートしています。[ 10 ] [ 15 ]これらのプラットフォームでは、bfloat16は混合精度演算でも使用される可能性があり、bfloat16の数値を操作してより広いデータ型に拡張することができます。

bfloat16浮動小数点形式

bfloat16 の形式は次のとおりです。

bfloat16形式は、IEEE 754単精度32ビット浮動小数点の短縮版であり、IEEE 754単精度32ビット浮動小数点との間で高速な変換を可能にします。bfloat16形式への変換では、指数ビットは保持されますが、仮数部は切り捨て（つまり0への丸め）またはその他の丸めメカニズムによって縮小され、NaN特殊ケースは無視されます。指数ビットを保持することで、32ビット浮動小数点の範囲は≈ 10 −38から≈ 3 × 10 38に維持されます。[ 16 ]

ビットは次のように配置されます。

IEEE半精度16ビット浮動小数点数
サイン 指数（5ビット） 分数（10ビット）
  ┃
 0  0  1  1  0  0  0  1  0  0  0  0  0  0  0  0 
15141090
 
bfloat16
サイン 指数（8ビット） 分数（7ビット）
  ┃
 0  0  1  1  1  1  1  0  0  0  1  0  0  0  0  0 
1514760
 
NvidiaのTensorFloat-32（19ビット）
サイン 指数（8ビット） 分数（10ビット）
  ┃
 0  0  1  1  1  1  1  0  0  0  1  0  0  0  0  0  0  0  0 
18171090
 
ATIのfp24フォーマット[ 17 ]
サイン 指数（7ビット） 分数（16ビット）
  ┃
 0  0  1  1  1  1  0  0  0  1  0  0  0  0  0  0  0  0  0  0  0  0  0  0 
232216150
 
ピクサーのPXR24フォーマット
サイン 指数（8ビット） 分数（15ビット）
  ┃
 0  0  1  1  1  1  0  0  0  1  0  0  0  0  0  0  0  0  0  0  0  0  0  0 
232215140
 
IEEE 754 単精度32 ビット浮動小数点
サイン 指数（8ビット） 分数（23ビット）
  ┃
 0  0  1  1  1  1  1  0  0  0  1  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0 
313023220

指数エンコーディング

bfloat16 バイナリ浮動小数点指数は、オフセットバイナリ表現を使用してエンコードされ、ゼロオフセットは 127 です。これは、IEEE 754 標準では指数バイアスとも呼ばれます。

したがって、オフセット バイナリ表現で定義された実際の指数を取得するには、指数フィールドの値からオフセット 127 を減算する必要があります。

指数フィールドの最小値と最大値 (00 Hと FF H ) は、IEEE 754 標準形式と同様に特別に解釈されます。

指数 仮数ゼロ 仮数がゼロでない 方程式
00時間ゼロ、−0非正規数(−1)符号ビット×2 −126 × 0.有効ビット数
01 H、…、FE H正規化された値 (−1)符号ビット× 2指数ビット − 127 × 1 仮数ビット
FF H±無限大NaN (静音、シグナリング)

最小の正の正規値は 2 −126 ≈ 1.18 × 10 −38であり、最小の正（非正規）値は 2 −126−7 = 2 −133 ≈ 9.2 × 10 −41です。

四捨五入と変換

最も一般的なユースケースは、IEEE 754 Binary32とbfloat16間の変換です。以下のセクションでは、変換プロセスと変換における丸め方式について説明します。bfloat16との間の形式変換には、他にも様々なシナリオが考えられます。例えば、int16とbfloat16などです。

  • Binary32からbfloat16へ。bfloat16が初めてストレージフォーマットとして導入されたとき、[ 15 ] IEEE 754 Binary32（32ビット浮動小数点）からbfloat16への変換は切り捨て（0への丸め）でした。その後、行列乗算ユニットの入力になると、ハードウェアプラットフォームに応じてさまざまな丸めメカニズムが採用される可能性があります。例えば、Google TPUの場合、変換時の丸め方式は最も近い偶数への丸めです。[ 18 ] ARMはIEEEに準拠しない奇数への丸めモードを使用します。[ 19 ] NVIDIAは、最も近い偶数への丸めモードでのfloat数値からbfloat16精度への変換をサポートしています。[ 20 ]
  • bfloat16からbinary32へ。binary32はbfloat16のすべての正確な値を表現できるため、変換では有効ビットに16個のゼロを埋め込むだけです。[ 18 ]

特殊値のエンコード

正の無限大と負の無限大

IEEE 754 と同様に、正と負の無限大は対応する符号ビットで表され、指数部8ビットはすべて設定され（FF hex）、仮数部ビットはすべてゼロとなる。明示的には、

val s_exponent_signcnd +無限大 = 0_11111111_0000000 -inf = 1_11111111_0000000

数字ではない

IEEE 754 と同様に、NaN値は符号ビット、指数部8ビットすべて（FF hex ）のいずれかで表され、仮数部ビットはすべてゼロではありません。明示的には、

val s_exponent_signcnd +NaN = 0_11111111_klmnopq -NaN = 1_11111111_klmnopq

ここで、k、l、m、n、o、p、 qのうち少なくとも 1 つが1 です。IEEE 754 と同様に、NaN 値は quiet または signaling にすることができますが、2018 年 9 月現在、signaling bfloat16 NaN の使用例は知られていません。

範囲と精度

bfloat16は、32ビットIEEE 754単精度浮動小数点形式（binary32）の数値範囲を維持しながら、精度を24ビットから8ビットに下げるように設計されています。つまり、精度は2桁から3桁の間となり、bfloat16は約3.4×10 38までの有限値を表現できます。

例

これらの例は、浮動小数点値のビット表現（16進数と2進数）で示されています。これには、符号、（バイアス付き）指数、および仮数部が含まれます。 

3f80 = 0 01111111 0000000 = 1 c000 = 1 10000000 0000000 = −2 
7f7f = 0 11111110 1111111 = (2 8 − 1) × 2 −7 × 2 127 ≈ 3.38953139 × 10 38 (bfloat16精度の最大の有限正値) 0080 = 0 00000001 0000000 = 2 −126 ≈ 1.175494351 × 10 −38（bfloat16精度および単精度浮動小数点における最小正規化正値）

通常の bfloat16 数の最大の正の有限値は 3.38953139 × 10 38で、単精度で表現できる最大の正の有限値である (2 24 − 1) × 2 −23 × 2 127 = 3.402823466 × 10 38よりわずかに小さくなります。

ゼロと無限大

0000 = 0 00000000 0000000 = 0 8000 = 1 00000000 0000000 = −0 
7f80 = 0 11111111 0000000 = 無限大 ff80 = 1 11111111 0000000 = −無限大

特別な値

4049 = 0 10000000 1001001 = 3.140625 ≈ π ( パイ ) 3eab = 0 01111101 0101011 = 0.333984375 ≈ 1/3

NaNs

ffc1 = x 11111111 1000001 => qNaN ff81 = x 11111111 0000001 => sNaN

参照

参考文献

  1. ^ Teich, Paul (2018年5月10日). 「Tearing Apart Google’s TPU 3.0 AI Coprocessor」 . The Next Platform . 2020年8月11日閲覧. Googleは独自の内部浮動小数点形式「bfloat」（「brain floating point」（Google Brainにちなむ））を発明した。
  2. ^ Wang, Shibo; Kanwar, Pankaj (2019-08-23). 「BFloat16: Cloud TPU で高パフォーマンスを実現する秘訣」 . Google Cloud . 2020-08-11閲覧.このカスタム浮動小数点形式は「Brain Floating Point Format」、略して「bfloat16」と呼ばれています。この名前は、この形式のアイデアが考案されたGoogleの人工知能研究グループ「Google Brain」に由来しています。
  3. ^ Tagliavini, Giuseppe; Mach, Stefan; Rossi, Davide; Marongiu, Andrea; Benin, Luca (2018). 「超低消費電力コンピューティングのためのトランスプレシジョン浮動小数点プラットフォーム」. 2018 Design, Automation & Test in Europe Conference & Exhibition (DATE) . pp.  1051– 1056. arXiv : 1711.10374 . doi : 10.23919/DATE.2018.8342167 . ISBN 978-3-9819263-0-9. S2CID  5067903 .
  4. ^イアン・カトレス博士 (2020年3月17日). 「Intel：Cooper Lake計画：BF16の重要性は？」 . 2020年3月18日時点のオリジナルよりアーカイブ。2020年5月12日閲覧。bfloat16規格は、32ビット数値の範囲を16ビット数値のデータサイズで表現することを目的とした規格であり、精度はほぼゼロに保たれる一方で、規格の限界に近い精度に対してはやや緩い値となっています。bfloat16規格は、機械学習アルゴリズムにおいて多くの用途があり、アルゴリズム内部の値の精度を向上させると同時に、任意のデータセットで2倍のデータ量（または計算セクションの速度）を実現しています。
  5. ^ Khari Johnson (2018年5月23日). 「Intel、AIトレーニングの高速化を実現するNervana Neural Net L-1000を発表」 . VentureBeat . 2018年5月23日閲覧. ...Intelは、Intel XeonプロセッサーやIntel FPGAを含むAI製品ライン全体にbfloat16のサポートを拡大する予定です。
  6. ^ Michael Feldman (2018年5月23日). 「Intel、AIポートフォリオの新たなロードマップを発表」 . TOP500 Supercomputer Sites . 2018年5月23日閲覧. Intelは、XeonおよびFPGA製品ラインを含むすべてのAI製品でこのフォーマットをサポートする予定です。
  7. ^ Lucian Armasu (2018年5月23日). 「Intel、初のニューラルネットワークプロセッサ「Spring Crest」を2019年に発売へ」 . Tom's Hardware . 2018年5月23日閲覧。Intelは、NNP-L1000がbfloat16もサポートすると発表しました。bfloat16は、ML業界のあらゆる企業がニューラルネットワークに採用している数値フォーマットです。同社はFPGA、Xeon、その他のML製品でもbfloat16をサポートする予定です。Nervana NNP-L1000は2019年に発売予定です。
  8. ^ 「利用可能なTensorFlow Ops | Cloud TPU | Google Cloud」。Google Cloud 。 2018年5月23日閲覧。このページでは、Cloud TPUで利用可能なTensorFlow Python APIとグラフ演算子の一覧を示します。
  9. ^ Elmar Haußmann (2018-04-26). 「ResNet-50におけるGoogleのTPUv2とNvidiaのV100の比較」 . RiseML Blog . 2018-04-26にオリジナルからアーカイブ。2018-05-23に取得。Cloud TPUについては、GoogleはTensorFlow 1.7.0で公式TPUリポジトリのbfloat16実装を使用することを推奨しています。TPUとGPUの実装はどちらも、それぞれのアーキテクチャで混合精度計算を利用し、ほとんどのテンソルを半精度で保存します。
  10. ^ a b Tensorflow Authors (2018-07-23). 「TPU上でBFloat16を使用したResNet-50」 . Google . 2018年11月6日閲覧。
  11. ^ 「Armv8-AのBFloat16拡張機能」 . community.arm.com . 2019年8月29日. 2019年8月30日閲覧。
  12. ^ “AArch64: 新しいApple CPUのサポートを追加 · llvm/llvm-project@677da09” . GitHub . 2023年5月8日閲覧。
  13. ^ 「CUDA ライブラリ bloat16 組み込み関数」。
  14. ^ 「ROCm バージョン履歴」 . github.com . 2019年10月23日閲覧。
  15. ^ a b Joshua V. Dillon, Ian Langmore, Dustin Tran, Eugene Brevdo, Srinivas Vasudevan, Dave Moore, Brian Patton, Alex Alemi, Matt Hoffman, Rif A. Saurous (2017-11-28). TensorFlow Distributions (Report). arXiv : 1711.10604 . Bibcode : 2017arXiv171110604D . 2018-05-23 にアクセス. TensorFlow Distributions のすべての演算は、半精度、単精度、倍精度の浮動小数点数（TensorFlow dtype：tf.bfloat16（切り捨て浮動小数点数）、tf.float16、tf.float32、tf.float64）にわたって数値的に安定しています。クラスコンストラクタには、数値アサート用のvalidate_argsフラグがあります。{{cite report}}: CS1 maint: 複数の名前: 著者リスト (リンク)
  16. ^ 「ライブストリーム 1日目: ステージ8 (Google I/O '18) - YouTube」 . Google . 2018年5月8日. 2018年5月23日閲覧.多くのモデルでは、これはfloat-32の代替として使用できます。
  17. ^ Buck, Ian (2005-03-13)、「第32章 GPUコンピューティングへの飛躍」、Pharr, Matt (編)、GPU Gems、Addison-Wesley、ISBN 0-321-33559-7、 2018年4月5日閲覧。
  18. ^ a b「bfloat16 数値形式」。Google Cloud 。 2023年7月11日閲覧。TPUでは、変換時の丸め方式は、最も近い偶数に丸められ、オーバーフローは無限大になります。
  19. ^ 「Arm A64命令セットアーキテクチャ」 . developer.arm.com . 2023年7月26日閲覧。非IEEE Round-to-Odd丸めモードを使用します。
  20. ^ 「1.3.5. Bfloat16精度変換とデータ移動」（PDF） . docs.nvidia.com . p. 199. 2023年7月26日閲覧。float値をnv_bfloat16精度に丸め（最も近い偶数への丸め）モードで変換し、変換された値を含むnv_bfloat16を返します。
「 https://en.wikipedia.org/w/index.php?title=Bfloat16_floating-point_format&oldid=1333943248」より取得