汉字AI系列之十八:为什么汉字AI大幅节省算力?
作者:微信文章汉字AI是仿人脑架构,其关键核心在于汉字底层逻辑是“人与自然”的智能对话,是仿人脑认知自然世界的思维智能载体,是移动的自然物理世界在汉字认知相映射。
汉字AI基于内在“汉字智能知识图谱”,根据“字”既自带字内知识信息,也自带字内思维认知流向。“字”本身是“词”,是由“字”内所二个及以上独体“文”汉字图形相互表达组词而定“字”义表达方向及读音。每一个合体“字”,至少两个以上的字义及读音。与其他字在前后相对位置方向上的组合成词、短语、句子,可更精准知道其在上下文中表达定义方向。
可从主题词、核心词检索模式,下沉到“文、字”及“汉字图形”底层检索判断。
基于Transformer架构大模型的算力缺陷:对算力要求特别高,算力成了吸金兽,也成了算力黑洞。
1. 同一个问题重复计算,算法随机性无法形成知识记忆路径。
输入端每一个问题,都需要重新计算一次;对于输入端同一个问题,不同的人每问一次都需要重新计算一次,而且每一次输出端的结果不确定的,是不同的,并不能形成如人脑一般记忆存储。上万人问同一个问题,需重复计算上万次,并不能做到同一问题仅算一次得出统一的结论。
每一次计算路径是不同的,并不能如人脑知识记忆存储,不能形成记忆存储。算法效率势必低下,形成“算力黑洞”,对算力的要求高,算力背后就是电力能源效率。
基于Transformer架构为算法基础的大模型,并没有内在知识图谱作为底层基础支撑,没有内含知识记忆作为信息基础。
算法概率上的随机性,输入端每一步均都需要推导计算,每次计算的输出结果并不是稳定明确的。输入和输出层可视化有一定的可解释性,中间层如何逻辑推理操作如同“黑盒子”缺乏机制透明,存在“黑箱困境”问题,是基于概率大小的算法推导,过程是随机的。
2.模型计算开销随输入长度呈平方级增长,算力黑洞无法避免
Transformer的自注意力机制本质上是平方级别(O (n²))的时间与空间复杂度,处理更长的上下文时,模型的计算开销将随输入长度的平方增长,存在无法克服的“算力黑洞”问题。
3.无休止的无效计算,拼音文字的天生缺陷
Transformer架构是按照拼音文字自然语言处理信息模式,拼音文字本身无意义的符号组合定义,信息密度小,只是一维声音信息,单向、单线信息传递,需要一直不停计算,也同时不停地产生无用垃圾信息,冗长信息垃圾沉积,极大消耗算力。
每调用一次“词元(token)”均需要计算,并不是知识信息,是按照无意义的符号组合来定义思维信息。符号信息,拼音文字的符号信息势必需要无休止的无效计算。
基于Transformer架构为算法基础的大模型,大语言模型在训练和推理过程中操作的最基本单位是词元(token),被视为语言的最小信息单位,是底层最小可操作信息单元。Transformer理解的是“一串 token(词元)向量”之间的关系。token可以是单个字符,也可以是多个字符组成的序列。字符或字符序列合并为一个子词单元。
汉字AI架构的算力优势:
一、汉字AI计算速度快,省算力,可破“算力黑洞”
汉字AI仿人脑框架,每一个“文”和“字”既是独立也是相互关联的信息知识节点,字内具有“形、声、义”三维信息,“字”内图“形”相互定义确定其“声、义”不同表达方向。“字”内思维不同表达方向又形成组词思维表达,构成“组词、短语、句子”信息知识节点,构成汉字知识图谱具有图形思维、字内思维、组词思维能力,可直接思维判断,极大节省算力,计算速度快。
二、汉字信息密度大,省算力。同一问题只需一次计算:
1.对输入端,输入一个问题信息,如同知识时空网络地图中寻找答案,只要一次计算,形成知识地图记忆路径。当不同的人再次面对同一个问题,并不需要重复计算,即使上万人同时问同一个问题,结果都是统一的,大大节省算力,实现100%精准判断。知识地图,寻找路径,每一个过程路径是明确的、可解释推导的。
2.知识(信息)节点,时空地图路径记忆。
汉字AI本身就是内置的超级知识库,是基于汉字知识(信息)图谱路径,是一张时空认知空间网络神经地图。汉字知识图谱,每一个汉字、所有组词、所有短语成语、所有句子构成、所有句子诗文出处,均形成一个个独立的又相互关联的“知识图谱”节点。
基于汉字知识图谱,通过“自然具象场景←汉字图形←文←→字→词→成语短语→句子→诗、文章”,可实现在“汉字图形←文→字”最根层的信息精准搜索判断,使表达更加精准,信息数据检索也更精准,并省算力,算法高效,信息容量大,精准有效数据处理能力。
3. 预判断,减少无效计算。100%精准搜索:精准信息判断,可对无效无用信息剔除,省算力。可对信息认知作前置预判断,预认知,可剔除无效、无用、虚假信息,可避免“幻象”产生。
4.对于新词认知,自我组合生成新的知识图谱节点,形成记忆存储,加入已有的网络知识库中。机器只要学习一次形成记忆,具有自我学习,自我进化的能力。
汉字AI颠覆传统Transformer架构的算力限制,另辟蹊径,使算力不再成为人工智能时代的发展瓶颈。
合作请加微信(注明:AI)
页:
[1]