Meaning Dataset 详细介绍文档 目录 概述 核心概念 语义层级结构 Rank 编码机制 序列生成机制 特殊功能机制 数据示例 概述 Meaning Dataset 是一个模仿自然语言结构和抽象表达的数据集。它通过层级化的树形结构来表示语义（meaning），其中每个复杂的语义都可以分解为更简单的语义单元，最终分解为不可再分的基本单元（token）。 设计理念 层级化语义表示 每个 meaning 都有一个唯一编号，编号的大小直接反映其复杂度： 小编号 = 简单语义（如基本概念） 大编号 = 复杂语义（由多个简单语义组合而成） 这种设计模仿了人类认知的层级特性——复杂概念总是建立在简单概念之上。 可组合性原理 所有复杂的 meaning 都可以由更低编号的 meaning 组合而成。这种递归分解的特性确保了： 任何语义都可以追溯到底层的基本单元 分解过程形成树形结构 同一个 meaning 可以作为多个更复杂 meaning 的组成部分 自然语言模拟 Meaning Dataset 模仿了自然语言的核心特征： 词汇表 ：基本的 token 类似于单词 语法 ：meaning 的组合规则类似于语法结构 递归性 ：有限的基本单元可以组合出无限的复杂表达 核心概念 Token（词元）- 原子语义单元 Token 是整个 meaning 系统中最基本的、不可再分的数据表达单元。 特征 ： 编号范围：0 到 vocab_size - 1 不可被拆解或分解 是所有 meaning 分解的最终层级 类似自然语言中的"单词" 类比 ：就像自然语言中，"苹果"、"红色"、"吃"这些单词无法再分解为更小的有意义的单位。 Meaning（语义）- 可组合的语义单位 Meaning 是一种语义或符号的表达，用唯一编号标识。 编号规则 ： 编号范围 类型 特性 0 ~ vocab_size-1 基本 meaning 即 token，不可拆解 vocab_size 及以上 复合 meaning 可拆解为更低编号的 meaning 复杂度递增 ：编号越大，表示语义越复杂。这是因为： 大编号的 meaning 可以选择更多的"原材料"（小编号 meaning）进行组合 组合的层级可能更深 类比 ：在自然语言中： "花" = 基本语义（token） "玫瑰花" = 复合语义（"玫瑰" + "花"） "红玫瑰花园" = 更复杂的语义（由更简单的语义组合而成） Level（层级）- 语义深度 Level 表示当前 token 相对于 root meaning 的距离，反映了语义的深度。 层级定义 ： Level 0 ：token 层，基本单元层 Level 1 ：由 token 直接组合成的 meaning Level 2 ：由 Level 1 的 meaning 组合成的 meaning 以此类推... 可视化 ： Level 3: Meaning A / \ Level 2: Meaning B Meaning C / \ / \ Level 1: Token Token Meaning D Token / \ Level 0: Token Token 特殊 Level 值 ： 值 含义 用途 0 基本层 token 所在的层 255 Tree 标记 标识树节点位置（with_tree 模式） 511 Stride 标记 标识重复的 token（stride 模式） Meaning Height（高度）- 树的深度 Meaning Height 是当前 meaning 从根节点到叶节点的最大层级深度。 意义 ： Height 越大，表示该 meaning 的语义结构越复杂 Height 反映了分解的层级数量 Height = 1 表示只由 token 直接组成 Height > 1 表示存在多层嵌套结构 示例 ： Meaning A (Height = 1): └── Token1, Token2, Token3 Meaning B (Height = 2): └── Meaning C (Height = 1) └── Token1, Token2 └── Token3 Meaning C (Height = 3): └── Meaning D (Height = 2) └── Meaning E (Height = 1) └── Token1, Token2 └── Token3 └── Token4 Meaning Weight（宽度）- 叶节点数量 Meaning Weight 是当前 meaning 的叶节点（token）总数，也称为序列长度。 意义 ： Weight 越大，表示该 meaning 包含的基本单元越多 Weight 直接决定了序列的长度 Weight 与 Height 无直接关系——一个 shallow but broad 的 meaning 可能有很大 weight 示例 ： Meaning A (Weight = 5): ├── Token1 ├── Token2 ├── Token3 ├── Token4 └── Token5 (Height = 1, Weight = 5) Meaning B (Weight = 5): └── Meaning C └── Meaning D └── Meaning E └── Token1, Token2, Token3, Token4, Token5 (Height = 4, Weight = 5) 语义层级结构 树形分解结构 每个 meaning 通过层层递归分解形成树形数据结构： 根节点 ：原始 meaning 中间节点 ：中间层的 meaning 叶节点 ：基本 token 前序遍历序列化 树形结构通过前序遍历（pre-order traversal）展开为线性序列： 遍历规则 ： 访问当前节点的第一个子项 递归访问该子项的所有子项 返回并访问当前节点的第二个子项 重复直到所有子项被访问 示例 ： 树形结构： A / | \ B C D /\ | E F G 前序遍历序列：B, E, F, C, G, D Meaning 分解规则 基本 Meaning（0 到 vocab_size-1） 直接映射为自身 不进行分解 Level = 0 序列只包含自身 复合 Meaning（>= vocab_size） 复合 meaning 的生成遵循以下规则： 子项选择 ：从 [0, current_meaning) 范围内随机选择子项 确保子项编号小于父项，满足"编号越小越简单"的原则 可以选择 token 或其他复合 meaning 子项数量 ：在 [min_subitem, max_subitem] 之间 min_subitem：最少子项数 max_subitem：最多子项数 实际数量随机决定 递归分解 ： 对于每个子项，如果是复合 meaning，递归获取其序列 如果是 token，直接使用其值 序列拼接 ： 按子项顺序拼接所有子序列 计算每个位置的新 level、rank_idx、rank_all 层级计算 ： 新 level = 子项 level + 1 这样逐层递增，形成层级结构 Level 传播机制 Level 信息随着 meaning 的分解逐层传播： 传播规则 ： 父 meaning 的 level = 子 meaning 的 level + 1 示例 ： Meaning 1000 (Level 在序列中为 1) ├── Meaning 500 (Level 在序列中为 2) │ ├── Token 10 (Level 在序列中为 3) │ └── Token 20 (Level 在序列中为 3) └── Token 30 (Level 在序列中为 2) 序列：[500(分解), 30] 实际上序列展开为：[10, 20, 30] Level： [3, 3, 2] 可视化 ： Level 0: ████████████████ (Token 层) Level 1: ██████ (第一层组合) Level 2: ████ (第二层组合) Level 3: ██ (第三层组合) Rank 编码机制 Rank 编码是 meaning 系统的核心机制，用于精确定位每个 token 在树形结构中的位置。 设计目标 Rank 编码需要解决两个问题： 位置定位 ：token 在每一层中的位置是什么？ 分支信息 ：每一层有多少个分支？ Rank_idx（排序索引）- 位置编码 Rank_idx 记录了 token 在每一层中的位置信息。 编码方式 ： 每层使用 4 位存储（0-15） 低 4 位：第 0 层（最底层）的位置 第 5-8 位：第 1 层的位置 第 9-12 位：第 2 层的位置 以此类推... 编码公式 ： rank_idx = (pos_0) | (pos_1 << 4) | (pos_2 << 8) | ... 示例解析 ： rank_idx = 273 = 0x111 二进制：0001 0001 0001 层2 层1 层0 含义： - 第 0 层位置：1 (二进制 0001) - 第 1 层位置：1 (二进制 0001) - 第 2 层位置：1 (二进制 0001) 填充规则 ： 高位无效位用 1（0xF）填充 这样可以区分有效数据和填充位 Tree Token 特殊处理 ： Tree token 总是排在当前层的最后 其 rank_idx 为 0xFFFFFFF0 + m_len m_len 是当前层的子项数量 Rank_all（排序总数）- 分支计数 Rank_all 记录了每一层的总分支数量。 编码方式 ： 每层使用 4 位存储（0-15） 与 rank_idx 相同的位布局 每一层的值表示该层的分支总数 编码公式 ： rank_all = (count_0) | (count_1 << 4) | (count_2 << 8) | ... 示例解析 ： rank_all = 4369 = 0x1111 二进制：0001 0001 0001 0001 层3 层2 层1 层0 含义： - 第 0 层总数：1 - 第 1 层总数：1 - 第 2 层总数：1 - 第 3 层总数：1 计算规则 ： Token 层（level 0）：rank_all = 0xFFFFFFF（填充） 复合 meaning：rank_all = (子项 rank_all << 4) + 当前子项数 Tree Token 特殊处理 ： Tree token 不计入 rank_all 总数 其 rank_all 也为 0xFFFFFFF0 + m_len Rank 计算示例 考虑以下树形结构： A (rank_idx=?, rank_all=?) / | \ B C D /\ | E F G 计算过程 ： 叶节点（E, F, G） ： 都是 token（level 0） rank_idx = 0, 1, 0（各自在父节点中的位置） rank_all = 0xFFFFFFF（填充值） 中间节点（B, C, D） ： B 有 2 个子项（E, F） C 有 1 个子项（G） D 是 token rank_idx(B) = 0 | (0 << 4) = 0（第 0 层第 0 个） rank_all(B) = 0xF | (2 << 4) = 0x2F（第 1 层有 2 个） 根节点（A） ： 有 3 个子项（B, C, D） rank_idx(A) = 0 | (0 << 4) | (0 << 8) = 0 rank_all(A) = 0xF | (0xF << 4) | (3 << 8) = 0x3FF Rank 的用途 1. 位置查询 ： 通过 rank_idx 和 rank_all 可以快速判断： token 是否在某层的某个位置 token 是否在某层的第一个/最后一个 2. 结构分析 ： 通过 rank_all 知道每层的分支数 通过 rank_idx 知道 token 在每层的相对位置 3. 训练 Mask ： 可以使用 rank 信息精确控制哪些 token 参与训练： val_mask_level = [0, 1] # 只看第 0 层和第 1 层 val_mask_idx = [0, -1] # 第 0 层第 0 个，第 1 层最后 1 个 序列生成机制 序列展开过程 将 meaning 树展开为线性序列的过程： 步骤 1 ：从根 meaning 开始 步骤 2 ：获取 meaning 的所有子项 步骤 3 ：对每个子项： 如果是 token，直接加入序列 如果是复合 meaning，递归展开后加入序列 步骤 4 ：按子项顺序拼接所有结果 信息携带 序列中的每个位置携带多种信息： 信息 描述 用途 token 基本单元的值 模型的输入 level 当前 token 的层级 理解结构深度 rank_idx 当前 token 在各层的位置 定位和结构分析 rank_all 各层的分支总数 结构完整性信息 约束条件 为了保证 rank 编码的有效性，系统有以下约束： 约束 值 原因 每层最多子项数 15 rank 使用 4 位存储 最大层级数 8 rank 总共 32 位，每层 4 位 token 范围 0 ~ vocab_size-1 词汇表大小限制 特殊功能机制 Stride（步长）功能 目的 ：通过重复 token 来模拟某种强调或时序特性。 机制 ： 当 stride > 1 时，每个 token 会被重复指定次数 重复的 token 被标记为 level = 511（特殊 level） 原始 token 保持 level = 0 示例 ： stride = 2 原始序列：[A, B, C] 扩展后： [A, A', B, B', C, C'] Level： [0, 511, 0, 511, 0, 511] 用途 ： 模拟某种强调或重复模式 增加序列长度而不增加语义复杂度 测试模型对重复模式的处理能力 With Tree 功能 目的 ：在序列中显式标记树形结构的位置。 机制 ： 每个 meaning 的子项展开后，在末尾插入一个 tree token Tree token 使用特殊的 level = 255 Tree token 的编号为 vocab_size - special_vocab_offset 示例 ： without_tree: Meaning A 有子项 [B, C] 序列：[B(展开), C(展开)] with_tree: 序列：[B(展开), TREE, C(展开), TREE] 可视化 ： Tree: A / \ B C 序列：[B1, B2, TREE, C1, C2, C3, TREE] └─B的部分──┘ └──C的部分───┘ 用途 ： 为模型提供显式的结构边界信息 帮助模型理解语义的组合关系 类似自然语言中的括号或标点符号 验证 Mask（Validation Mask） 目的 ：精确控制哪些 token 参与训练损失计算。 机制 ： 通过 level 和 idx 两个维度进行筛选 可以组合多个条件（AND 逻辑） 只有满足所有条件的 token 才会参与训练 配置方式 ： val_mask_level = [0, 1, 2] # 指定层级 val_mask_idx = [0, 0, -1] # 指定每层的位置 含义： - 第 0 层的第 0 个 token - 且第 1 层的第 0 个 token - 且第 2 层的最后 1 个 token - 只有同时满足这 3 个条件的 token 才参与训练 用途 ： 训练特定位置的 token 预测能力 研究模型对不同层级信息的利用情况 实现课程学习（先学简单的，再学复杂的） Mask 类型 ： 类型 描述 用途 token_mask 区分正常 token 和特殊 token 过滤 stride/tree token val_mask 根据位置筛选 token 控制训练目标 数据示例 完整示例 以下是一个完整的 meaning 树及其展开序列： 配置： vocab_size = 256 meaning = 115200 树形结构： 115200 / | \ 10240 1100 12322 / | \ / \ / | \ 512 32 1201 245 233 3214 532 324 / \ / \ / \ | / \ 123 42 320 500 1231 23 324 93 176 / \ / \ / \ / \ 176 11 255 129 129 99 211 111 展开序列 ： 序列内容： 123 42 32 176 11 255 129 245 233 129 99 23 211 111 93 176 level： 3 3 2 4 4 4 4 2 2 4 4 3 4 4 3 3 rank_idx： 0 1 1 0 1 16 17 16 17 0 1 2 0 1 32 33 at L0： 0 1 1 0 1 0 1 0 1 0 1 2 0 1 0 1 at L1： 0 0 0 0 0 1 1 1 1 0 0 0 0 0 2 2 Rank 编码详解 以序列中的几个位置为例： 位置 0 (token=123) ： level = 3：在 3 层深度 rank_idx = 0： 第 0 层：位置 0 第 1 层：位置 0 第 2 层：位置 0 含义：这是 512 → 123 这个分支的第一个 token 位置 3 (token=176) ： level = 4：在 4 层深度（最深） rank_idx = 0： 第 0 层：位置 0 第 1 层：位置 0 第 2 层：位置 0 第 3 层：位置 0 含义：这是 320 → 176 这个分支的第一个 token 位置 14 (token=93) ： level = 3 rank_idx = 32 = 0x20： 第 0 层：位置 0 第 1 层：位置 0 第 2 层：位置 2 含义：这是 324 的第 2 个子项（子项：324, 93, 176） 实际树形可视化 90800 ├── 17100 │ ├── 3078 │ │ ├── 153 │ │ │ ├── <25> │ │ │ ├── 34 │ │ │ │ ├── <11> │ │ │ │ └── <0> │ │ │ ├── 39 │ │ │ │ ├── <3> │ │ │ │ └── <7> │ │ │ ├── <15> │ │ │ └── 37 │ │ │ ├── <8> │ │ │ ├── <10> │ │ │ └── <7> │ │ ├── 848 │ │ │ ├── 212 │ │ │ │ ├── 53 │ │ │ │ │ ├── <14> │ │ │ │ │ └── <13> │ │ │ │ └── 60 │ │ │ │ ├── <1> │ │ │ │ ├── <12> │ │ │ │ └── <13> │ │ │ └── 124 │ │ │ ├── <12> │ │ │ ├── <13> │ │ │ ├── <24> │ │ │ └── 32 │ │ │ ├── <5> │ │ │ ├── <8> │ │ │ ├── <8> │ │ │ ├── <7> │ │ │ └── <1> │ │ └── 299 │ │ ├── 66 │ │ │ ├── <18> │ │ │ ├── 38 │ │ │ │ ├── <1> │ │ │ │ ├── <11> │ │ │ │ ├── <11> │ │ │ │ ├── <8> │ │ │ │ └── <4> │ │ │ ├── <0> │ │ │ ├── <5> │ │ │ └── <2> │ │ ├── 61 │ │ │ ├── <20> │ │ │ ├── <10> │ │ │ ├── <6> │ │ │ └── <16> │ │ ├── 46 │ │ │ ├── <14> │ │ │ └── <9> │ │ └── 37 │ │ ├── <8> │ │ ├── <10> │ │ └── <7> ... 图例： <> 中的数字：token 的序列索引位置 普通数字：meaning 的编号 统计特性 对于 vocab_size = 256, size = 115200 的配置： 指标 典型值 说明 总 meaning 数 115200 包含基本 token 和复合 meaning 基本 token 数 256 vocab_size 最大序列长度 50-200 取决于分解规则 平均序列长度 20-50 取决于 min/max_subitem 最大层级深度 4-8 取决于随机分解结果 最常见序列长度 10-30 大多数 meaning 的复杂度 设计优势 1. 层次化表达 Meaning Dataset 通过层级结构自然地表达了语义的组合性和层次性，这与人类认知和自然语言的结构高度一致。 2. 可控复杂度 通过调整参数，可以控制： 语义的复杂度范围（start, end） 分解的粒度（min_subitem, max_subitem） 结构的深度（间接控制） 3. 丰富的结构信息 每个 token 携带多层信息： 值信息（token 本身） 结构信息（level） 位置信息（rank_idx） 上下文信息（rank_all） 4. 灵活的训练控制 通过验证 mask，可以： 训练特定层级的预测能力 实现课程学习 研究模型对不同结构信息的利用 5. 可扩展性 系统支持多种扩展： Stride：增加时序维度 With Tree：增加显式结构标记 自定义 mask：实现各种训练策略 与自然语言的类比 Meaning Dataset 自然语言 说明 Token 单词 基本表达单元 Meaning 词组/句子 由单词组合成的有意义的单位 Level 嵌套深度 句法结构的嵌套层级 Rank_idx 词序/句法位置 单词在短语/句子中的位置 Rank_all 分支数 可选的并列成分数量 Tree 句法树 语法结构的树形表示 Sequence 线性文本 树形结构展开后的线性形式 这种类比使得 Meaning Dataset 成为研究语言模型对结构化信息处理能力的理想工具。