网站开发 视频存在哪,wordpress外网访问不,网站建设中 敬请期待.,如何在微信公众号中导入wordpress数学是自然科学的皇后#xff0c;计算机的设计初衷是科学计算。计算机的最基本功能是需要存储整数、实数#xff0c;及对整数和实数进行算术四则运算。
但是在计算机从业者的眼中#xff0c;我们知道的数学相关的基本数据类型通常是整型、浮点型、布尔型。整型又分为int8计算机的设计初衷是科学计算。计算机的最基本功能是需要存储整数、实数及对整数和实数进行算术四则运算。
但是在计算机从业者的眼中我们知道的数学相关的基本数据类型通常是整型、浮点型、布尔型。整型又分为int8用8位表示的整数、uint8用8位表示的无符号整数、int16、uint16、int32、uint32浮点型又分为float16半精度FP16、float32单精度、float64双精度。今天我们就来聊聊浮点数。 #1 为什么叫浮点数 由于实数在计算机中的表示方法是以小数点浮动的方式表示的所以称之为浮点数。
1、计算机中的整数表示
众所周知计算机最底层是二进制计数。用二进制数表示整数很简单本文不考虑原码、反码、补码也不考虑大端模式和小端模式最高位表示符号位0表示正数1表示负数余下的位表示二进制值。
int8即使用8位表示的整数最高位用来表示正负符号还有7位表示数字其所能表示的范围是-128127。有人可能会想00000000表示正010000000表示负0int8表示的范围岂不是-128127吗但用两个序列表示同一个数这本身就是一种浪费。如果计算机从最底层就开始这样浪费那还了得所以节约资源从我做起。 2、用定点数来表示实数
最高位表示符号然后再约定整数占几位余下的位都是小数。从另一个角度来说即小数点的位置是固定的。优点是计算很方便缺点是存储的数据范围有限。 3、用浮点数来表示实数
最高位表示符号再约定一部分二进制位表示指数域余下的是数域。优点是能表示的数据范围很大缺点是计算慢。但是80286出现后有了浮点协处理数FPU浮点数表示方式成为了主流。
IEEE-754是IEEE制定的二进制浮点数算术标准IEEE即电气与电子工程师协会这个协会制定了很多计算机领域的标准也计算机中表示浮点数的行业标准于1985年正式采用2008年和2019年又分别进行了完善和修订。 题外话
我司首席科学家金耀初教授就是现任IEEE计算智能协会主席。计算智能协会是IEEE下设的39个专业学会之一目前是会员约9000人是IEEE唯一以人工智能、计算智能为主要研究领域的学会。 我们以最常见的64位、32位、16位浮点数为例如下图所示 添加图片注释不超过 140 字可选 FP64称为双精度浮点数一共64位1位表示正负符号11位表示指数52位表示小数可表达的精度范围是 FP32是我们最常用的浮点数也称为单精度浮点数一共32位1位表示正负符号8位表示指数23位表示小数可表达的精度范围是 FP16称为半精度浮点数一共16位1位表示正负符号5位表示指数10位表示小数可表达的数据范围是 添加图片注释不超过 140 字可选 我们再以最简单的16位浮点数为例如下图所示 添加图片注释不超过 140 字可选 添加图片注释不超过 140 字可选 互联网上有一些很有意思的网页能帮我们更深刻的认识到浮点数。我们挑选了由纽约市立大学计算机科学系提供的网页网址为https://babbage.cs.qc.cuny.edu/ieee-754.old/decimal.html或者也可以打开https://baseconvert.com/ieee-754-floating-point。 添加图片注释不超过 140 字可选 接下来我们随机输入一个浮点数例如38.375然后点击Rounded再看看其在计算机中是如何表达的。
添加图片注释不超过 140 字可选 最高位是31位位序从0开始此处为0表示是正数 接下来是指数域从30位到23位一共是8位最大能表示的数是256最小能表示的数是0 指数域的值要减掉127此处指数域是10000100即132-1275 余下的都是尾数域从22位到0位一共是23位此处是1.00110011小数点前面的1是最终的32位数据里不存在的因为尾数规范化后都是以1开始所以这个1都是省略的 最高位好理解但是指数域5和尾数域的1.00110011是怎么得到38.375的请各位先思考一下再看下面的计算过程。 添加图片注释不超过 140 字可选 移动数域的小数点位置这个操作是不是浮点我认为这就是浮点数的由来。
接下来还有一个很有意思的问题即浮点数的精度问题。以0.3这个数为例我们输入0.3后分别点击Not Rounded和Rounded因为这里是二进制数不适合翻译为四舍五入所以我用原单词替代分别得到如下两图 Not Rounded模式下 Not Rounded模式下数域为1 .00110011001100110011001最终计算得到的十进制数是0.299999总是比0.3小一点点。
为什么会这样因为十进制的有穷数0.3转换为二进制数后是一个无穷数1001无限循环如果直接扔掉后面的数那么最终转换后的十进制数据就会少了一点点变成了0.29999999。 Rounded模式下 Rounded模式下数域为1 .00110011001100110011010也就是向前进了一位这样最终得到的数变成了0.30000001即比实际的十进制数0.3大了一点点。
所以在实际编程中不建议对浮点数数据直接进行等值比较一般使用区域比较因为浮点数存在精度问题。c/c程序员们遇到的问题0.1 0.2 0.30000000000000004也是这个原因导致的。 #2 BF16(Brain Float) BF16是一种全新的浮点数格式专门服务于人工智能和深度学习最开始是Google Brain发明并应用在TPU上的后来IntelArm及一众头部公司都在广泛使用。
BF16也是用16位来表示浮点数但是是用8位表示指数用7位表示小数此时BF16表示的整数范围和FP32是一样的小数部分则存在着很大的误差。
以前大部分的AI训练都使用FP32但有相关的论文证明在深度学习中降低数字的精度可以减少tensor相乘所带来的运算功耗且对结果的影响却并不是非常大且更少的尾数也使它能够拥有更小的芯片面积。因此在模型越来越大、计算越来越密集的人工智能领域BF16也得到了广泛的应用。 #3 模型量化及INT8 从数据在计算机上的表示来看整数运算比浮点数运算要快很多。而训练一个深度神经网络模型得到的参数通常都是FP32类型的我们将其部署到终端NPU上时通常需要将其量化为8位整数即int8或者uint8。
为什么人工神经网络模型要量化因为终端的算力、资源都是有限的量化后有如下好处 减小了模型尺寸。原有的一个参数如果是32位表示的实数量化后用8位整数来表示这样模型能缩小至原模型大小的四分之一 降低了内存和存储占用 降低了功耗 提升了计算速度。 这些特点都能有效地帮助模型部署在终端设备上虽然量化会带来一些精度上的损失但通过良好的量化算法和设计有效的算子量化后的模型在终端上能够拥有接近云端模型的准确率同时能极大节约云端算力和网络传输成本。
