Recently Updated Pages

注：作为术语的“tokenization”在中文中尚无共识的概念对应，本文档采用英文表达以利说明。 Qwen-7B采用UTF-8字节级别的BPE tokenization方式，并依赖tikt...

## data flow ``` query -> "你好" | ...

精细的抽象，记忆空间特别大 在nlp问题里面，通过逐个处理新的token，递归得进行抽象 欠缺 记忆和人类不一致，而且没有统一的表达，不通用 没有自主意识，还是在算概率，逃不...

当前状态: 1.情绪:(感到吃惊和不安) 2.注意力: (全神贯注地关注膝盖的伤口,想弄清楚伤口的具体情况) 3.当前在思考什么: (在想伤口是如何形成的?流血的严重性如何?是否需要处...

https://mp.weixin.qq.com/s/W4x4WuorcGNbSWPtpEbwWg 事实证明，Ilya 的观点基本上是对的，虽然新想法如 Transformer 架构确实带来了...

效率挑战赛  https://llm-efficiency-challenge.github.io/index

命名的重要性 好的设计从命名开始