Bfloat16 floating-point format (original) (raw)
V oboru informatiky je bfloat16 (brain floating point) označení konkrétního způsobu reprezentace čísel v počítači pomocí pohyblivé řádové řárky. Jedná se o formát založený na dvojkové soustavě, kde vyjadřuje , dalších 8 bitů vyjadřuje exponent a posledních 7 bitů vyjadřuje . Jedná se v podstatě o variantu dvaatřicetibitového datového typu single definovaného standardem IEEE 754. Byl zaveden zejména pro podporu strojového učení.
Property | Value |
---|---|
dbo:abstract | V oboru informatiky je bfloat16 (brain floating point) označení konkrétního způsobu reprezentace čísel v počítači pomocí pohyblivé řádové řárky. Jedná se o formát založený na dvojkové soustavě, kde vyjadřuje , dalších 8 bitů vyjadřuje exponent a posledních 7 bitů vyjadřuje . Jedná se v podstatě o variantu dvaatřicetibitového datového typu single definovaného standardem IEEE 754. Byl zaveden zejména pro podporu strojového učení. (cs) bfloat16 (brain floating point with 16 bits) ist die Bezeichnung für ein Gleitkommaformat in Computersystemen. Es handelt sich um ein binäres Datenformat mit einem Bit für das Vorzeichen, 8 Bits für den Exponenten und 7 Bits für die Mantisse. Es handelt sich also um eine in der Mantisse gekürzte Version des IEEE 754 single-Datentyps. bfloat16 wird insbesondere in Systemen für maschinelles Lernen eingesetzt, wie beispielsweise TPUs, sowie bestimmten Intel-Xeon-Prozessoren und Intel FPGAs. (de) The bfloat16 (Brain Floating Point) floating-point format is a computer number format occupying 16 bits in computer memory; it represents a wide dynamic range of numeric values by using a floating radix point. This format is a truncated (16-bit) version of the 32-bit IEEE 754 single-precision floating-point format (binary32) with the intent of accelerating machine learning and near-sensor computing. It preserves the approximate dynamic range of 32-bit floating-point numbers by retaining 8 exponent bits, but supports only an 8-bit precision rather than the 24-bit significand of the binary32 format. More so than single-precision 32-bit floating-point numbers, bfloat16 numbers are unsuitable for integer calculations, but this is not their intended use. Bfloat16 is used to reduce the storage requirements and increase the calculation speed of machine learning algorithms. The bfloat16 format was developed by Google Brain, an artificial intelligence research group at Google. The bfloat16 format is utilized in Intel AI processors, such as Nervana NNP-L1000, Xeon processors (AVX-512 BF16 extensions), and Intel FPGAs, Google Cloud TPUs, and TensorFlow. ARMv8.6-A, AMD ROCm, and CUDA also support the bfloat16 format. On these platforms, bfloat16 may also be used in mixed-precision arithmetic, where bfloat16 numbers may be operated on and expanded to wider data types. (en) |
dbo:wikiPageID | 57499027 (xsd:integer) |
dbo:wikiPageLength | 29531 (xsd:nonNegativeInteger) |
dbo:wikiPageRevisionID | 1124029922 (xsd:integer) |
dbo:wikiPageWikiLink | dbr:Dynamic_range dbr:Intelligent_sensor dbr:0_(number) dbr:16-bit dbr:Single-precision_floating-point_format dbr:NaN dbr:Machine_learning dbr:Computer_memory dbr:Computer_number_format dbr:Hardware_acceleration dbr:Subnormal_number dbr:CUDA dbr:Type_conversion dbr:Minifloat dbr:AMD dbr:ARM_architecture dbr:AVX-512 dbc:Floating_point_types dbr:FPGA dbr:Google_Brain dbr:Floating_point dbr:Primitive_data_type dbc:Binary_arithmetic dbr:Half-precision_floating-point_format dbr:Hexadecimal dbr:TensorFlow dbr:Tensor_processing_unit dbr:AI_accelerator dbr:Binary_number dbr:Mixed-precision_arithmetic dbr:Infinity dbr:OpenCL dbr:Single_precision dbr:Nervana_Systems dbr:Exponent_bias dbr:IEEE_754 dbr:ISO/IEC_10967 dbr:Offset_binary dbr:Xeon dbr:Sign_bit dbr:Significand dbr:−0 dbr:Exponent dbr:Precision_(arithmetic) |
dbp:wikiPageUsesTemplate | dbt:Confuse dbt:Legend dbt:Lowercase_title dbt:Reflist dbt:Short_description dbt:Data_types dbt:Floating-point |
dct:subject | dbc:Floating_point_types dbc:Binary_arithmetic |
rdf:type | owl:Thing |
rdfs:comment | V oboru informatiky je bfloat16 (brain floating point) označení konkrétního způsobu reprezentace čísel v počítači pomocí pohyblivé řádové řárky. Jedná se o formát založený na dvojkové soustavě, kde vyjadřuje , dalších 8 bitů vyjadřuje exponent a posledních 7 bitů vyjadřuje . Jedná se v podstatě o variantu dvaatřicetibitového datového typu single definovaného standardem IEEE 754. Byl zaveden zejména pro podporu strojového učení. (cs) bfloat16 (brain floating point with 16 bits) ist die Bezeichnung für ein Gleitkommaformat in Computersystemen. Es handelt sich um ein binäres Datenformat mit einem Bit für das Vorzeichen, 8 Bits für den Exponenten und 7 Bits für die Mantisse. Es handelt sich also um eine in der Mantisse gekürzte Version des IEEE 754 single-Datentyps. bfloat16 wird insbesondere in Systemen für maschinelles Lernen eingesetzt, wie beispielsweise TPUs, sowie bestimmten Intel-Xeon-Prozessoren und Intel FPGAs. (de) The bfloat16 (Brain Floating Point) floating-point format is a computer number format occupying 16 bits in computer memory; it represents a wide dynamic range of numeric values by using a floating radix point. This format is a truncated (16-bit) version of the 32-bit IEEE 754 single-precision floating-point format (binary32) with the intent of accelerating machine learning and near-sensor computing. It preserves the approximate dynamic range of 32-bit floating-point numbers by retaining 8 exponent bits, but supports only an 8-bit precision rather than the 24-bit significand of the binary32 format. More so than single-precision 32-bit floating-point numbers, bfloat16 numbers are unsuitable for integer calculations, but this is not their intended use. Bfloat16 is used to reduce the storage r (en) |
rdfs:label | Bfloat16 (cs) Bfloat16 (de) Bfloat16 floating-point format (en) |
owl:sameAs | wikidata:Bfloat16 floating-point format dbpedia-cs:Bfloat16 floating-point format dbpedia-de:Bfloat16 floating-point format https://global.dbpedia.org/id/6VPZU |
prov:wasDerivedFrom | wikipedia-en:Bfloat16_floating-point_format?oldid=1124029922&ns=0 |
foaf:isPrimaryTopicOf | wikipedia-en:Bfloat16_floating-point_format |
is dbo:wikiPageRedirects of | dbr:BF16 dbr:Bf16 dbr:Bfloat16 dbr:Brain_floating-point_format |
is dbo:wikiPageWikiLink of | dbr:DL_Boost dbr:Power10 dbr:Minifloat dbr:AVX-512 dbr:Advanced_Vector_Extensions dbr:Ampere_(microarchitecture) dbr:Floating-point_arithmetic dbr:List_of_Intel_CPU_microarchitectures dbr:Half-precision_floating-point_format dbr:AArch64 dbr:AI_accelerator dbr:Advanced_Matrix_Extensions dbr:Mixed-precision_arithmetic dbr:CPUID dbr:IEEE_754 dbr:BF16 dbr:Bf16 dbr:Bfloat16 dbr:Brain_floating-point_format |
is foaf:primaryTopic of | wikipedia-en:Bfloat16_floating-point_format |