淘宝网网站开发部技术部,商务网站规划与网页制作,常州做网站的,老域名做网站常见浮点数格式梳理
IEEE 754 标准
浮点数转换网站#xff1a;https://www.h-schmidt.net/FloatConverter/IEEE754.html
IEEE二进制浮点数算术标准#xff0c;为许多CPU与浮点运算器所采用。这个标准定义了表示浮点数的格式#xff08;包括负零-0#xff09;与反常值https://www.h-schmidt.net/FloatConverter/IEEE754.html
IEEE二进制浮点数算术标准为许多CPU与浮点运算器所采用。这个标准定义了表示浮点数的格式包括负零-0与反常值denormal number一些特殊数值无穷Inf与非数值NaN以及这些数值的“浮点数运算符”它也指明了四种数值舍入规则和五种例外状况包括例外发生的时机与处理方式。
IEEE 754规定了四种表示浮点数值的方式单精确度32位、双精确度64位、延伸单精确度43比特以上很少使用与延伸双精确度79比特以上通常以80位实现。只有32位模式有强制要求其他都是选择性的。大部分编程语言都提供了IEEE浮点数格式与算术但有些将其列为非必需的。例如IEEE 754问世之前就有的C语言现在包括了IEEE算术但不算作强制要求C语言的float通常是指IEEE单精确度而double是指双精确度。
摘自维基百科
四种精度的浮点数的各位数含义如下
符号阶/指数尾数总位数单精度151016单精度182332双精度1115264长双精度1156480
各类型浮点数的精度和动态范围
最小值最大值fp16 (半精度)5.96×10−85.96\times 10^{-8}5.96×10−8655046550465504fp32 (单精度)1.4×10−451.4\times 10^{-45}1.4×10−453.4×10483.4\times 10^{48}3.4×1048
这里仅介绍最基本的各位的含义详细的规约形式、移码、舍入等请参考具体标准、相关课程或博客1、博客2。
fp16、fp32与bf16
相信在机器学习领域除了上面提到的标准的浮点数之外大家还经常见到的一种浮点数格式就是所谓的 bf16。 BF16 是对FP32单精度浮点数截断数据即用8bit 表示指数7bit 表示小数。 FP16半精度浮点数用5bit 表示指数10bit 表示小数 与32位相比采用BF16/FP16吞吐量可以翻倍内存需求可以减半。但是这两者精度上差异不一样BF16 可表示的整数范围更广泛但是尾数精度较小FP16 表示整数范围较小但是尾数精度较高。计算时可避免计算溢出出现Inf caseFP16 在输入数据超过65506 时计算结果溢出出现Inf case。
Ref
https://zh.wikipedia.org/wiki/IEEE_754
https://www.zhihu.com/search?typecontentqbf16
https://www.h-schmidt.net/FloatConverter/IEEE754.html
https://blog.csdn.net/a3192048/article/details/106662693
http://c.biancheng.net/view/314.html
