美国留学

意外的中文形状显示问题——关于“ Zhao Mengfu”的令人困惑的帐户

无论我们是浏览物理书籍还是其他物理印刷品，浏览电子书，网页，还是使用输入方法输入文本，我们经常遇到某些文本字体显然与之前和之后的其他文本显然不同的情况。

有意更改字体的一个有趣示例，从2006年版的Qunzhong Publishing House 《古拉格群岛》。

除了很少有故意更改字体的情况外，由于技术限制，更多的案例直接被“丢弃”。大多数文本字体形状问题都有复杂的历史和技术原因。我们经常认为这些问题很容易解决，但实际上它们远非如此。

电子版本《越南概论》中“左口”的直接治疗放弃行为。

例如，当使用诸如Word之类的文本编辑器时，很容易格式化字体，例如BOLD。在字体设计中，中风的厚度称为“字体重量”。

但是，与我们的“常识”完全不同的是，在专业排版软件中，这种看似简单的更改同一字体重量的操作是不可能的。如果我们使用的字体没有特殊的“单词重量”设计，例如我们的普通字体“ shu Song”，“ Cardinal Style”和“ Song Song”，那么即使排版人员希望简单地将字体变厚或更薄的字体变形，他们也需要用另一个类似的字体替换它。一些编辑甚至抱怨说，他们必须更改字体和字体，无法统一，他们编辑的书籍被读者抱怨，因为“印刷质量存在问题”。

资料来源：台湾历史与语言研究所《古文字與古代史（第一輯）》，一个示例，该字体需要由于更改而特别创建字体。

周Xiaotian 《唐诗鉴赏辞典》另一个常见情况反映在此页面的电子版本中。简化“化”之后的“化”形不能正常输入和显示，因此发布者最终必须选择使用一张图片来解决问题。

Zhou Xiaotian 《唐诗鉴赏辞典》电子版本中的一个页面，简化“其”之后，“其”形状无法正常显示，并且发布者只能创建一个自制的图片。

带有标准形状的传统汉字“六”应该是“六” +“版”，因为“ Zhao Mengfu”的高频出现了，曾经成为这种简化的汉字中最典型的“问题角色”之一。

总编辑王宁与《通用规范汉字字典》的条目

在2013年实施了《通用规范汉字表》之后，类比简化的角色“正式”“后”成为了标准的中文角色，而Zhao Mengfu甚至无法将自己置于地下。就像Qian Zhongshu坚持认为“后”一词应该写为“后”。

尽管有一些规定，例如“法律，历史，传统的汉字，例如特殊需求，例如人们的名字和地点名称以及可以使用传统的汉字”，但仍有编辑报告说，他们在作品中遇到的检查标准通常是“不允许使用传统的汉字”。

“名”的类比已包含在《出版物汉字使用管理规定》（第7版）中。

这是因为“名”的类比已包含在《现代汉语词典》中。为了避免在检查或随机检查后成为“错误”，他们通常不敢在遇到这个著名名称时为了安全起见而保留传统的“名”。

左图的红色圆圈显示了出版商创建的简化字符“南”，传统的汉字“南”保留在正确图片的标记线处。

但是问题在于，“后”简化字符的类比成为标准的汉字，并不意味着它们已经成为汉字，可以在布局文件中输入诸如“正常”汉字的布局文件中的glyph代码。上图左侧的红色圆圈中的简化字符“名”。尽管字体似乎与其他文本没有什么不同，但实际上，简化的字符“名”不能直接输入发布者的布局文件，并且是发布者的自我创建字符。由于其简单的结构，这种自制角色并不容易检测。实际上，创建这个字形非常容易。任何尚未接受特殊培训的读者都可以自己完成。打开Indesign软件，我们只需要输入两个字形“ Mega”和“ Page”，压缩它们，缩短间距并将它们拼接在一起。如此简单的字体很容易成为“完美”，因此很难用肉眼区分。

它实际上具有自己的标准Unicode编码，但仍然无法输入或正常显示。

不仅如此，这个类比简化的单词实际上具有Unicode标准代码“ U+2 B5AF”，但更不用说流行的排版软件，我们使用的一般输入方法仍然无法直接键入，并且在大多数情况下，它甚至无法正常显示在网页上。

为了充分理解这个看似凌乱的帐户，我们首先需要了解汉字编码和字体存储和显示的基本原理。

现实中没有这样的词，但是它具有普遍编码的自己的神奇“鬼中文角色”。

当我们通过某个输入方法输入汉字时，我们将首先将计算机映射到直接“知道”的代码，即字符集中的标准代码，称为内部代码。例如，最早的内部代码ASCII（美国信息互换标准代码）具有基于拉丁字母的设计逻辑，主要是为了解决现代英语中的标准编码问题而创建的。

ASCII代码表

为了易于阅读，例如，ASCII编码通常表示为十个或十六进制，例如，字母“ A”的代码位可以表示为65或41，但是它实际上是一个存储在计算机0100 0001中的八位二进制二进制编码。因为现代计算机系统存储在BYTES中的现代计算机系统存储在BYTES（8位）中，必须添加到7位，一个0-0-nit bit bit bit bited by new 7-bit bit bit bit bit by 7-bit bit bit bit。很容易理解，ASCII的编码空间为000000011111111，它可以代表的编码总数仅为128（达到2的第七功率）。

但这显然不足以拥有英语内部代码。其他国家和文本显然也需要一组自己的内部代码。当今世界上最常见的内部代码是所有语言中称为“每个字符”的数字均分配了一个唯一的相应数字代码位。

有了如此出色的野心和许多需要编码的符号，原始编码空间自然不够。 Unicode 1.0出生于1991年，使用了固定的16位编码。 Unicode代码位通常由U+前缀表示，因此有216（U+0000U+FFFF）=65,536代码位。

Unicode代码分配图，图像来源《现代汉语词典》

这些65536代码位当时几乎所有主流语言（包括中文）绘制了一个几乎所有主流语言的字符。我们通常将其称为基本的多元平面（BMP，也称为平面0）。编码部分的中文字符通常称为CJK（CJK统一的意识形图）块，总共编码了20,992个中文字符。

在一般语言学领域，学术界就汉字是否属于“意识形态”和此分类本身的合理性存在重大争议。诸如Zhou Youguang和Qiu Xigui之类的权威学者都认为，从写作系统的结构性角度来看，汉字的本质可以定义为“逻辑平衡写作”，而纯粹的“意识形态写作”根本不存在。但是，在自然语言处理（NLP）领域，可以从CJK“中国，日本和韩国统一意识形态”的名称中可以看出中文角色被视为意识形态。更准确地说，汉字被认为是视觉语义单元，因此其编码系统的设计逻辑确实与类似于英语的拼音字符根本不同。

特别值得注意的是，CJK不仅涵盖了大陆上使用的汉字，还包括日本汉字，汉字，韩语和韩国人物，越南汉字，台湾和香港传统汉字和其他角色符号。它甚至包括许多中国少数族裔角色编码，例如西夏语，khitan小/大角色，女性书籍等。

一个著名的幽灵中文角色，仅存在于Unicode中：

这种跨区域标准和早期标准发展的粗暴过程将导致一些令人难以置信的令人发指的情况。由于早期的技术局限性，“典”的右半部分被虚假陈述为“典”，并且最终包含在Unicode中的“典”字体错误。 “天”是一个著名的幽灵汉字，仅存在于Unicode中，但实际上不存在。

导致相同特征形状差异的许多因素，图像源《中文信息处理技术》

很容易想到，许多“汉字”单词可能具有不同语言的同一字形，而Unicode的编码没有考虑到不同语言的语义问题。例如，日语中的“如”（女儿或年轻女子）的语义与中文中的“如”（母亲）的语义完全不同，但它们的编码为u+5a18。

那么，如果它是只有略有不同差异的字体怎么办？有许多因素会导致字符形状的细微差异，例如，笔触的方向，长度，曲率，交点，合并是否，单个笔触的添加和减少，中风样式的差异，差异等。这些不同的标准特征集的微妙差异在这些不同的标准字符集的形状上都无法完全失踪。但是，在东亚意识形态图中，这已成为需要正确解决的核心问题之一。

字符“剑”的六个字符，来源《中文信息处理技术》

例如，字符“剑”至少具有六个不同的字体变体，如图所示。大陆通常使用“剑”，日本通常使用“剑”，台湾通常使用“剑”，但是它们的Unicode编码是相同的，也就是说，只要具有相似字符的汉字，相同的字体源，相关语义相关的语义和语义相关语义在相同的代码位置。

字形显示的基本原理：从离散点矩阵映射到参数化曲线向量图

Unicode基本上定义了字符的抽象身份，而不是其具体字形。 “字体”文件或多或少与存储不同字符的字形接触。操作系统通过字体文件呈现特定Unicode代码点的字形，该文件介绍了我们在屏幕上看到的内容。

点矩阵字体示例图，与上面相同

作为二维计划，确定汉字形状的要素非常复杂，包括至少基本的中风形状（水平，垂直，垂直和钩子等），动态中风（中风的轻度和沉重度），空间关系（交叉/连接/脱节等）（相互连接/脱节等），相对级别的位置，相对层次，筑巢层的尺寸变化（尺寸）的尺寸变化，视觉范围，尺寸的组合，add and的尺寸差异，范围的尺寸相差，范围的范围，散布的范围，散布的情况，散布的情况，范围的范围，范围差异，尺寸相差在整个层面上的协调，样式等。

在文字处理技术的早期阶段，字形信息数字化记录的一般解决方案是离散的点矩阵图。基本的技术原理非常简单，也就是说，将字形分为一个小方格矩阵。对于其中的每个DOT矩阵单元，可以用坐标记录其位置，其状态可以用彩色（1）和无色（0）记录，并且其二进制信息编码。

中风矢量压缩示例图，与上述相同

基于向量的解决方案很快来自后面。为二维汉字平面图形创建笛卡尔坐标系。在记录每次笔触的起点和终点的坐标之后，很容易使用向量来表示所有笔划和空笔的方向和长度。但是，显然，如果只有端点坐标，则只能用静态轮廓记录中风，并且根本无法记录中风信息的更多变化，并且用控制点来定义平滑路径的Bezzier曲线可以解决此问题。参数化曲线迅速发展为向量解决方案的核心技术。随着技术的进一步开发，使用二次曲线的TrueType（.ttf）描述使用二次曲线来描述Glyph曲线的Glyph大纲和Opentype（.OTF）已成为当今最受欢迎的矢量字体技术和Font File Gordats。

TTF，OTF等是当今最受欢迎的字体文件格式

字形的向量是存储在字体文件中的数据，屏幕上的字形渲染将恢复向量。不难想象，具有较大尺寸和多字节表示的汉字不仅与编码逻辑中的拉丁字符有很大不同，而且其数字化方案也完全不同。西方角色通常只需要数十个控制点才能正确记录，但是记录汉字所需的控制点的平均数量是西方字符的十倍！

古代书籍数据库——中文是开放的收藏，永远无法筋疲力尽

BMP中只有20,902个基本汉字（u+9fa6至u+9fff还包含90个补充汉字）。从理论上讲，这个数字可以覆盖99的日常使用场景，但看似微不足道的所谓“ 1”会导致各种问题。例如，非老式系统无法识别的具有非基础汉字的中国人口高达6000万。他们日常生活的所有方面都受到了他们不幸的名字的影响，没有编码汉字。迫切需要重新发行“ ID卡”，以备起来没有编码的汉字。

这些社会问题都是由BMP外国角色引起的！

更加“致命”的是，Unicode的伟大视野远不止为现有语言编写字符目录。它还具有一个几乎史诗般的重要任务：对于散布在人类历史的长河中的所有角色和符号，Unicode必须为其设计内部代码。历史上有超过一百万的汉字。在补充工作中，大量和审查的困难都是巨大的挑战。

在BMP之外添加汉字的工作主要负责意识形态文本组IRG（意识形态研究小组）。从2024年发布的Unicode 16.0开始，IRG已向CJK添加了近70,000个汉字。

您可以在IRG官方网站3https://www.unicode.org/irg/上查看其工作状态

但是，即使IRG引起了许多有争议的学术争议，例如已被搁置的“字体理论”和“字体源”，但在人们日常使用中，扩展平面代码的最大问题是，除了BMP中的20,902个基本汉字外，其余的补品也无法通过一般输入方法输入，即使它们具有编码。

Zhihu用户“ nabai bu”总结的Unicode中汉字和相关字符的所有占领部分

与输入方法限制相比，Windows和MacOS的默认字体支持问题更为严重。由于它们仅支持BMP中文字符，因此扩展字符甚至无法在普通用户的电子设备的屏幕上呈现字形。这就是为什么不能通过一般输入方法键入“名”的类比，并且不能在许多用户的屏幕上显示。

即使在专业领域，也存在相同甚至更多的麻烦。例如，即使流行的古代书籍数据库中使用的字符已经被编码，也可以在数据库中调用，但是只要它不在基本平面上，它们仍然无法执行检索，查询，统计等，因此它们与“收集单词”基本上没有什么不同。因此，在实际工作中，学者们仍然需要通过扩展编码为基本平面编码来更改字符，以便可以真正执行后续的数据处理。

这些已经足够大的字符只是“卡通写作”，而“原始字符”的级别更为复杂且难以基于数据的水平。例如，西部王朝的青铜铭文中“宝藏”一词的配置高达1,060。古代人物数字发展专家刘齐吉（Liu Zhiji）指出了《中文信息处理技术》：

传统语言学研究的第一手数据是自然物体的形式，例如通过打印，墨水或复制，雕刻等形成的纸张。数据库语言学研究的数据是数字形式的数据库资源。从查询和搜索的角度来看，以自然对象形式存在的第一手数据以无序和无组织状态存在。因此，出于特定的研究目的，它通常需要手动视觉检查，编辑和分类。

实际上，中国大陆长期以来一直在编码定期参加IRG会议的古代汉字专家，但编码古代汉字的工作仍在缓慢发展。也许在非标准形式中存在的这些“原型字符”更清楚地显示出意识形态的一些基本特征。 ——在IRG的专家Chen Yongcong工作，他在Unicode和Opentype East Usipe工作时指出：“ IRG的这项工作可能永远不会停止，因为中文角色是一个开放的收藏，而且永远无法完成。”

“中国书店的员工从未离开” ——我们创建了以这种方式在计算机上不存在的单词

如果编码问题是理论上的挑战，那么古老的书籍排版是对实践中这种冲突的集中反映。专业数据库的最终期望是建立一个可靠的谱系和标准编码系统，以用于为历史上所有字形的随后数据处理，甚至没有标准形式。但是，出乎意料的是，古代书籍排序专家的职业职业与它不同：“补充单词和人物，我们认为我们补充的内容根本不是单词，我们只是结合了我们所需要的图片。我们的员工从未学过中文。我们不理解这些词的发音和意思是什么，我们不需要理解我们的补充只是我们的努力。随后的批处理操作。”

Decai Huizhi是中国最专业的古代书籍布局公司。著名的“专业古代书籍出版专业人士”，例如中华书公司和北京大学出版社实际上在自己的出版社中几乎没有排版员工，他们的古书籍基本上被移交给了Decai Huizhi进行销售。该公司的负责人刘青威笑着说，他可以被视为“中国书公司的雇员及其从未分配的雇员”。

他认为，古老的书籍排版是一项非常小的市场规模和需求，技术内容较小和增加价值的工作，因此“我只能使用形式的更改来满足客户的要求。”

2005年和2006年左右，中华书公司拥有自己的照片室，并开始允许社会与社会之外的合作。正是在这个时候，Liu Qingwei开始与中华书公司长期合作。

当前的“ CTP”（计算机对板，直接制造技术）*降低了布局技术的成本和困难。但是，在那些日子里，排版要求将文件首先放在胶片上，然后在盘子暴露（暴露）之后，它也需要在PS版本（PrisonSitiatizatizatization plate）上，然后才能成为印刷机可以使用的印刷板。这称为激光照明，这是一项非常复杂且繁琐的技术。

Liu Qingwei仍然记得每个人在工作时都必须保留《数据库古文字研究论稿》的书，并且不允许他们离开一会儿。当时，如果排版人员想完成工作，他们需要记住要自己分类的文本的所有代码。他直言不讳地说，当时做排版是“非常痛苦的”。

《北大方正汉字内码字典》

书排版的本质是图形设计，许多特殊类别可以进一步细分为它们。每个类别都有其自身的特征和技巧，例如一些专门从事字典排版，有些专门从事排版杂志，排版技术书籍等。古代书籍排版也是相对特殊的部分。

起初，刘金威一无所知。他考虑过抓住眉毛和胡须，并做所有类型的类型。结果，他很快发现，不同类型排版的技术要求差异很大。更重要的是，最初的时间表是一个非常集中的事情，也是出版与外部当事方合作的重要业务。当时，许多出版机构没有特殊的关系和手段，因此很难开始合作，即使他们很幸运地开始，他们也无法维持。但是，与无法挤入许多其他排版领域的情况相比，几乎没有人愿意触摸古代书籍的布局。

古代书籍的生产周期非常长，通常收集期是在正式出版本书之后，因此收集期也特别慢。例如，Huang Tianshu 《北大方正汉字内码字典》书籍终于出版了近十年。

尽管该国后来引入了“不欠中小型企业的资金”以稍微改善还款情况的政策，但收益仅限于需要报告资金的项目书籍。如果这是一本非项目的书，那么还款问题仍然会使人们抱怨。古代书籍的布局需要频繁修改，但是布局人员仅负责图形和文本的设计，内容审查由编辑完成。因此，每次发布者重新评估手稿返回时，就像一本新书。

关于古代书籍的布局最麻烦的事情是，更不用说每个出版社或每个书籍编辑了，即使他们专门编写了每本书，他们收到的要求都大不相同，因此基本上不可能建立高标准化和简单的应用程序工作流程。因此，Decai Huizhi终于决定了他的主要业务，这仅仅是为了提供一些可靠的古老书籍出版社服务。尽管客户的工作量越来越少，但如果他们建立自己的专业工作流程，那么这是其他公司很难获得一份份额的市场。

任何在进入古代文本方面有很少经验的人都知道，使用形状代码的速度远高于使用声音代码的速度。现代语音代码输入方法的输入速度的提高主要取决于其强大的单词频率记忆和云词汇库功能，但是这些功能对包含大量稀有字符和主要单词的古代文本几乎没有影响。过去，古代书籍基本上是用来字体wubi输入方法的，但是随着时代的变化，现在几乎没有年轻人可以熟练使用Wubi输入方法。但是，即使形状代码输入具有如此巨大的好处，他们仍然决定取消为员工的Wubi培训课程。这是因为很少有客户可以在古代书中服务。从本质上讲，这是一个超出需求的市场。没有更多的项目可以提高员工的工作速度，因此提高员工的工作效率对公司没有真正的意义。互补字符是古代书籍布局工作流程中最重要的链接之一。这并不困难，但是这是一件麻烦的事情，需要大量的经验和积累现有成就。

出版行业中有三个最主流的排版软件，即ID（Indesign），创始人书版和创始人Feixiang，其中古代书籍的类型基本上在创始人书本版中使用。实际上，字体库的重要性高于软件本身的重要性。关于创始人图书版的最重要的事情是它与自己的大字体库，GB创始人的超大角色集兼容。最重要的是，在电子屏幕上设置的大字符中，在电子屏幕中显示字形是完全正常的，并且电子读数根本不受影响。但是，如果其他排版软件和Fangzheng的字体库用于打印，则字体笔触将很好。此外，如果布局部门使用Founder Font库，那么这些下游打印工厂也必须使用它。创始人的超大角色集V 2.0的字体库更大，但是由于价格太高，实际上很少可以使用排版机构。与创始人相比，尽管ID与更多的字符兼容，但它只能与Song Dynasty角色兼容，并且更改更少。更重要的是，创始人的编辑器是非Wysiwyg编辑器，因此其编辑速度明显快于Wysiwyg逻辑的ID。特别是在转换和编辑大文件时，只需显示文件的渲染效果就需要很长时间。因此，在古老的书类型行业中，如果客户没有特殊要求，则通常应使用创始人的书籍版本制作布局，尤其是在最终需要输入其他数据库的情况下。

补充字符的一种简单方法与“名”的类比一样简单，以简化字符制作方法。您可以使用字体形成图片。分组的图片称为图形字符。由于图片的身高固定，因此在正常的物理书籍中有大和小字符。如果图片扩大并减少，则会出现问题。因此，图形字符是补充字符的更麻烦的方法。 NUWA拼布的特殊补充插件可以在一定程度上避免这些问题。该原理等同于代替与用全新的字形编码的现有字体相对应的字形。此补充可以保留其文本属性并匹配格式的更改。当然，此代码的相应文本只能在创始人版本中识别，并且不能使用通用复制和粘贴方法复制它。

更麻烦的是字体问题。如果您的字体不同，则必须添加一个单独的单词。这不是那么聪明，因此您必须创建各种字体之一。当补充字符的比例较低时，很容易看出字体差异是否很大，而创始人书的歌曲字体和歌曲字体之间的差异很小。这样，差异不容易看到字体的差异，这可以减少排版过程中补充字符的工作量。因此，市场上的大多数古代书籍都使用。

当然，古老的书籍排版可以分为几类，例如古老的人物，竹slips，庸俗的字符等。每个类别都有自己的困难。例如，在竹子书中，同一字符的字符在理论上是不同的，每个角色都需要特别创建。例如，例如，像金吉亚（Jinjia）这样的角色，如果他们已经拥有李丁（Li ding）的字符，那么您可以直接更改字符，但更多的不是li ding。因为它们不是“立方体字符”，所以不能将它们与普通的字符组合方法分组，因此只能将其制成图形字符。

当刘·金威（Liu Qingwei）首次进入该行业时，由于他没有积累任何补充单词的结果，因此他不得不从头开始添加数千个新单词，这很重要。此外，到目前为止，古老的书籍出版商很难为每个补充词付费，以支付创建新词的成本。出版机构为排版公司付款的模型通常基于页面，其余的补充是由个人支付的。为了重复使用现有成就，他们特别制作了字体库。这样，如果积累了更多的补充角色，它们可以消除补充角色的“损失”，甚至在将来赚取利润。实际上，还有另一个更麻烦的类型是关于庸俗人物的互补词。例如，张东夸（Zhang Yongquan）的《甲骨文摹本大系》，这本书充满了需要补充的粗俗单词。更重要的是，这些新创建的单词几乎不可能在其他书籍中重复使用。这本书也已成为Liu Qingwei职业生涯中最麻烦的工作项目之一。

从“ Zhao Mengfu”中简化字符的争议到古代书版的互补问题，这些技术障碍在一起揭示了意识形态文本系统与数字编码规则之间的深刻冲突。 ——汉字的开放性，编码统一和技术的便利性就像是不可能的三角形，并且仍在等待更好的解决方案。

东穆罕（Dong Muhang）

（本文来自Pengpai News。有关更多原始信息，请下载“ Pengpai News”应用程序）