李洋网站建设,一级域名如何分发二级域名,网站改版上线,天津电子商务网站建设目录
背景
发展
第一阶段#xff1a;ASCII编码
第二阶段#xff1a;扩展ASCII编码
第三阶段#xff1a;各国编码
第四阶段#xff1a;Unicode编码
第五阶段#xff1a;UTF系列编码方式
相关扩展 背景
在计算机诞生初期#xff0c;所有的数据都是基于二进制数ASCII编码
第二阶段扩展ASCII编码
第三阶段各国编码
第四阶段Unicode编码
第五阶段UTF系列编码方式
相关扩展 背景
在计算机诞生初期所有的数据都是基于二进制数0和1来表示的。如果人类直接操作二进制数据会出现很多问题如可读性差、易出错等为了解决这个问题让计算机能够理解和处理人类语言方便人类使用计算机一种相关技术就应运而生这就是字符编码一套将人类语言转换为二进制数据的规则或系统。 发展
第一阶段ASCII编码
遇到的问题在计算机发展的早期当时计算机开始普及并需要进行字符的传输和存储。然而由于各种计算机系统和程序使用的字符表示方式不尽相同导致文本数据在交换和处理时容易出现混乱和错误。
解决方案为了解决不同计算机系统之间字符编码不一致的问题ASCIIAmerican Standard Code for Information Interchange美国信息交换标准代码就此诞生。
PS字符编码中最小的存储单位是字节而标准ASCII只使用了7位最高位为0。标准ASCII只能表示128个不同的字符主要用于表示英文字符、数字、标点符号和控制字符等。 第二阶段扩展ASCII编码
遇到的问题由于计算机最初是由美国人发明的因此ASCII编码主要基于英文字符集进行设计。如果计算机只在美国使用的话也没有什么太大的问题但是后来其它国家也开始使用计算机的时候发现它们国家里面的字符根本不在这128个字符里面。
解决方案其它国家在原有的ASCII码基础上进行扩展就是将原来二进制数最高位的0变为1也就是从128扩展到255等于新增的128个字符对应ASCII码叫作扩展ASCII码。通过对ASCII码的扩展似乎解决了一些欧洲国家的字符编码问题。 第三阶段各国编码
遇到的问题随着计算机应用的全球化和多语言环境的出现各国因语言不同标准的ASCII编码已不满足。而扩展ASCII码并没有一个统一的国际标准因此不同的系统、平台或编程语言可能采用不同的扩展ASCII码表。这可能会导致在不同环境之间交换文本数据时出现字符编码不兼容的问题。
解决方案各国开始发展自己的字符编码标准以满足本国语言和字符的表示需求。这些编码标准通常与ASCII码和扩展ASCII码有所不同并具有更大的字符集和更复杂的编码规则。
PS我国与之对应的编码是GB2312字符编码和对GB2312进行扩充的GBK字符编码等主要用于表示中文字符。其中GBK编码于1995年12月正式发布。 第四阶段Unicode编码
遇到的问题随着全球化的进一步推进各国之间的信息交流愈加的频繁而各国编码并没有一个统一的国际标准各种编码标准之间产生冲突和乱码问题。
解决方案需要一种能够统一表示全球各种字符的编码方案以解决各国编码带来的兼容性问题。这个时候提出了Unicode统一码、万国码、单一码这样的一个标准。Unicode标准定义了世界上几乎所有书写系统中的字符的码点code points即给每个字符分配了一个唯一的数字标识符通常是一个16位或32位的整数。
PSUnicode只定义了字符的码点相等于是一个标准的字符集。具体的字符编码取决与使用的Unicode的编码方式。
Unicode最初编码方式的演变
因Unicode编码本身并不直接指定这些码点如何存储在计算机中最初的它使用16位即固定的两个字节的编码空间采用了类似UCS-2固定宽度的编码方式。但由于字符数量的增加最多只能表示65,536个2^16不同的字符需要表示的字符数量远远超出了16位所能表示的范围。主要概况就是设计的局限性显现
为了解决16位编码空间的局限性Unicode标准引入了两种主要的解决方案
类似于UCS-4编码方式即使用更多的位数通常是32位或4个字节也就是将近43亿[2^32]来表示每个字符从而扩大编码空间。这种方式基本上就能涵盖世界上所有的字符了。但是这样的编码规则并没有被世界各国很好的接受因为这种方式会增加存储和传输的成本每个字符固定了4个字节。支持额外的机制在保留16位编码空间的同时引入额外的机制来表示超出16位编码范围的字符。这主要通过使用“代理对”surrogate pairs来实现即使用两个16位的编码单元来表示一个超出基本多语言平面BMP的字符。这种方式能够在不大幅增加存储和传输成本的前提下支持更多的字符。但这种方式会使得编码和解码过程变得复杂。
补充在Unicode字符集的发展历史中有两个主要的组织或项目在推动单一字符集的创建国际标准化组织ISO于1984年创建的通用字符集Universal Character Set, UCS这后来由ISO 10646或称ISO/IEC 10646标准所定义另一个是由一些软件制造商如Xerox、Apple等于1988年成立的Unicode团队。这两个项目在初期是独立的但随着时间的推移他们意识到世界不需要两个不兼容的字符集因此开始合并双方的工作成果为创建一个单一编码表而协同工作从Unicode 2.0开始Unicode的编码与ISO/IEC 10646标准UCS实现了一致两者共享相同的字符编码和字符集。随着技术的发展和标准化工作的推进现编码中UCS编码已经合并到Unicode编码中了。
这里再补充一个点UCS字符集包含UCS-2编码方式和UCS-4编码方式UCS的开发进度快于Unicode1990年就公布了第一套编码方法UCS-2。后续Unicode在1996年7月公布明确宣布是UCS-2的超集。 第五阶段UTF系列编码方式
介绍因Unicode编码本身并不直接指定这些码点如何存储在计算机中它定义了多种编码形式其中UTFUnicode Transformation Format系列是一种用于编码Unicode字符集的字符编码方式。
遇到的问题虽然Unicode字符集包含了全球各种字符但最初编码方式存在的问题如编码长度固定和不同编码方式之间的冲突限制了存储和传输效率。所以说Unicode标准推出了很长一段时间并没有被广泛接受直到后面互联网时代的来临各国之间的信息交流愈加的频繁这时候不得不对编码进行重新思考。
解决方案为了解决这些问题UTF系列编码方式应运而生其中最具代表性的是UTF-8。
UTF系列全称为Unicode Transformation Format是用于表示Unicode字符集的一种字符编码方式。UTF系列包括UTF-8、UTF-16和UTF-32三种主要编码类型每种类型都有其特定的应用场景和优势。
以下是关于UTF系列的详细说明
UTF-8 特点一种可变长度的Unicode编码方式优点之一是节省空间它使用1到4个字节来编码Unicode字符。UTF-8编码在表示ASCII字符时与ASCII编码兼容即ASCII字符在UTF-8中的编码与它们在ASCII中的编码相同都是单个字节。这使得UTF-8在处理以ASCII字符为主的文本时具有更高的效率。使用场景广泛应用于互联网和计算机系统中如网页编码、文件存储等。UTF-16 特点UTF-16可以看作是UCS-2的父集源于UCS-2。它是固定或可变长度的取决于字符的Unicode代码点。在没有辅助平面字符之前UTF-16与UCS-2是相同的都使用两个字节表示字符。但是当引入辅助平面字符后UTF-16扩展为能够表示更多字符的编码方式。 UTF-16 通常使用 2 个字节来编码字符但当遇到辅助平面内的字符时它需要使用 4 个字节两个 16 位单元来编码。这种设计使得 UTF-16 在处理常用字符时非常高效只需要 2 个字节同时又能支持整个 Unicode 字符集。然而这也使得 UTF-16 的编码长度不是完全固定的需要根据具体的字符来确定使用场景操作系统、编程语言、数据库等需要表示Unicode字符的场景特别是在Windows操作系统中UTF-16是默认的字符编码方式。UTF-32 特点始终使用固定长度4个字节表示一个Unicode字符。这种编码方式对于处理Unicode字符非常直接但可能会浪费存储空间。UTF-32与UCS-4在编码方式上非常相似都是使用四个字节的固定长度来表示每个字符使用场景需要严格区分字符和编码的场景如文本编辑器、网页开发等。
至此以上就是字符编码的大致发展历程。 相关扩展
字符编码是编码的一个子集。字符编码整个过程包括字符集、码点、编码方式、编码、解码。 字符集是整个字符编码的基础表示该字符编码中所有字符的集合。码点是字符集为每个字符分配的一个唯一的数字编号作为码点用于在计算机中唯一标识该字符。用于将字符映射到特定的字节序列称为编码方式是一种映射规则。编码是将字符转为二进制数的过程。解码是编码的逆过程将二进制数转为字符。每一种字符编码都有一种字符集和码表Unicode字符集有多种编码方式。使用不同编码方式进行编码和解码会产生乱码。UTF-8编码中文需要占3个字节GBK编码中文需要占2个字节。【因UTF-8编码和GBK编码都兼容了ASCII编码所以对于ASCII字符包括英文字母、数字和一些标点符号使用1个字节】
