Skip to main content

Recently Updated Pages

氛围

基本问题

这个词首先被用在了编程的领域,很奇怪的是编程本来是一件很精确的工作,追求准确无误的工作,但是“氛围编程”这个词语还是流行起来了, 那么这还是必然的还是无奈? 随着LLM基本搞定自然语言的理解...

Updated 9 months ago by Colin

LLM心理行为学的研究

基本问题

随着LLM的爆火,很多科研人员投入研究LLM表现出来的行为 特别是一些心理学方面的表现,比如: 谄媚 自信/不自信 固执己见/被质疑就动摇 从原理上说,本质上都是数学的统计概率...

Updated 10 months ago by Colin

语言的向量化

算法&模型

方式1,向量通过罗列的方式,表示所有信息的程度 向量维度足够多的时候,虽然能完整表达语义,但是效率非常低,每个语义只能激活很少的维度 不是每个维度都需要很高的表示精度, 方式2,向...

Updated 10 months ago by Colin

架构/微架构

AI加速芯片 GMP

设计 标量寄存器和向量寄存器统一,支持自动进行转换 异步单元(SP-PU-L1-DMA)之间都采用异步机制,依赖转移到异步目标 统一的同步机制 静态分配同步资源 原生软硬件支持...

Updated 10 months ago by Colin

完美复制一个我,那还是我吗?

基本问题

如果现在的AI技术发展到了,能把一个人的所有记忆,思想,想法,性格,爱好,脾气都完全复制和实现, 那么这样一个物体还是我吗?这能称作是永生了吗? 能:相当于两个“机器”同时维护一个“我”这样...

Updated 1 year ago by Colin

太快和太慢

基本问题

太,在这里其实表达的是个贬义词,描述一个不合适的前提 在科技领域,所有的技术其实都要求其合适性 在2025年的今天,大家还在争论激光雷达对于自动驾驶的必要性 马斯克认为,路是给人修的,那么...

Updated 1 year ago by Colin

仿真人脑的基本条件

算法&模型 人脑的仿真

准则 能够持续学习 建立世界模型并进行规划的能力 能够进行新的高层级的抽象 能够进行“元”概念的学习和泛化 心智,意识 理解自我、个体的概念 维持自洽的基本能力 行动...

Updated 1 year ago by Colin

人类社交的更高层次的需求

基本问题

社会活动是人类的基本需求 人类行为活动的目标不再是温饱之后,需要一种新的奖励形式,那就是社会的“认同”、“认可” 所有的社会属性都可以转换成“认可度”,财物、声誉、名望、游戏等级、公司领导等...

Updated 1 year ago by Colin

生命和AGI的开发

基本问题

蛋白质结构可能有 10 的 300 次方种,这些都远远超过宇宙中的原子数量, 所有的因素都考虑进去,尝试的空间远远大于宇宙的时空 那么为什么生命能够形成? 自然进化规律,没有上帝和高级策略...

Updated 1 year ago by Colin

附带meaning tree信息的数据集

算法&模型 meaning

115200 / | \ 10240 ...

Updated 1 year ago by Colin

第一性原理及公理化思维

基本问题

公理化思维,以第一性原理为根基,运用逻辑去找到超出我们认知极限问题的答案,进而建立起他理性思维体系。 古希腊哲学中的“原型”以中间的推理逻辑为实体,东方文明中的“原型”以结论为实体,这种微...

Updated 1 year ago by Colin

Triton

AI加速芯片

高层次Kernel开发语言Triton The aim of Triton is to provide an open-source environment to write fast cod...

Updated 1 year ago by Colin

边缘视觉的软件/硬件方案

AI加速芯片

软件 iree的路线 https://github.com/openxla/iree 兼容CUDA/OpenCL的路线, CuPBoP  ,  Vortex Open GPGPU ...

Updated 1 year ago by Colin

测量线性稳压器的 2nV/√ Hz噪声和 120dB 电源抑制

玩

https://www.analog.com/en/resources/app-notes/an-159.html an-159.pdf AN159_Layout_Files.zip ...

Updated 1 year ago by Colin

锂电池/电动车使用规则

玩

磷酸铁锂,因为不能从电压判断电量,经常充满一次,为了更好得平衡电池,电池间的平衡比满电的损害更小 由于磷酸铁锂的每个电池的自放电、能量回收充电的速度不一样,所以时间一长需要平衡校准 ...

Updated 1 year ago by Colin

TTT - Learning to (Learn at Test Time)

算法&模型

研究人员设计了一类新的序列建模层,其中隐藏状态是模型,更新规则是自监督学习的一个步骤。 由于更新测试序列上隐藏状态的过程,相当于在测试时训练模型,因此此类新层称为测试时训练(TTT)层。 ...

Updated 1 year ago by Colin

Mamba

算法&模型

SSM Mamba的定位 SSM/S4的中间变量为定长,所以必须使用最大的容量来表达整个句子的信息,要不然句子长了就存储不下,这又导致训练难 SSM/S4缺乏动态性(att...

Updated 1 year ago by Colin

改进大规模训练稀疏自编码器的方法

算法&模型 Transformer

Ref :https://mp.weixin.qq.com/s/iZHPnnIncVFa8QJOuH8qFg 神经网络中的激活通常表现出不可预测和复杂的模式,且每次输入几乎总会引发很密集的激活...

Updated 1 year ago by Colin

Transformer in CV

算法&模型 Transformer

MEGALODON https://arxiv.org/pdf/2404.08801.pdf Vision Mamba https://github.com/hustvl/Vim/ ...

Updated 1 year ago by Colin

query@key

算法&模型

   

Updated 1 year ago by Colin