第686章 纯注意力机制?你们竟敢这么想-《高二分科,我选校花也选亿万身家》


    第(2/3)页

    七百多张顶级显卡。

    斯坦福整个计算机系的集群加起来,也就这个数的三分之一。

    三人下车,六月的雅安闷热潮湿,但厂房周围的空气明显凉了几度。那是大功率制冷系统外排的冷风。

    徐静带着他们刷卡进入侧门。走廊很长,地面铺着防静电地板,头顶是工业级LED灯管,亮得刺眼。

    推开尽头的玻璃门,林之远停住了脚步。

    一整面墙的服务器机柜,从地板延伸到天花板,蓝色的指示灯密密麻麻地闪烁着。

    液冷管道从机柜顶部蜿蜒而过,冷却液发出轻微的咕噜声。

    “我的天。”凯文低声说了一句。

    赵明拍了拍他的肩膀,笑了:

    “怎么样?还觉得不可能吗?”

    徐静没给他们太多时间感慨:

    “算力中心只是基础设施。你们要去的地方在隔壁楼。走吧。”

    隔壁楼门口挂着一块不锈钢牌子:九天AI实验室。

    二楼的开放式办公区里,十几个人正对着屏幕工作。有人在跑代码,有人在白板上写公式,角落里两个人正对着一张打印出来的论文激烈讨论。

    一个戴眼镜的年轻人从工位上站起来,朝他们走过来。

    “林博士,赵博士?”他伸出手。“任少卿。论文你们应该看过了。”

    林之远握上去。这只手的主人,就是那篇让全球AI界炸锅的论文的第一作者。

    比他想象中年轻得多,看着也就二十五六岁。

    “看过了。复现过了。数据完全对得上。”

    任少卿笑了一下:“那就好。省得我还要解释为什么152层能训练。”

    楼梯口传来脚步声。一个身材偏瘦、穿着黑色连帽衫的男人走下来,手里端着一杯咖啡,眼睛下面有明显的黑眼圈。

    “楼天城。”任少卿介绍道。“我们的系统架构负责人。昨晚应该又通宵了。”

    楼天城点了点头,看了一眼林之远的胸牌:

    “看资料,你在斯坦福做的是推荐算法方向?”

    “对。博士论文写的是用深度学习做推荐系统。”

    “那正好。”楼天城喝了口咖啡。

    “我们现在在做一个东西,需要你这个方向的人。”

    他转身走向白板,拿起马克笔,刷刷刷写了一串公式。

    林之远凑过去看。

    那是一个注意力权重的数学表达式。

    所谓“注意力机制”,通俗地说,就是让AI在处理一段信息时,能像人类阅读一样,自动把目光聚焦在最重要的部分,而不是平均分配精力。

    但这个公式和他在论文里见过的不一样。

    传统的注意力机制,是让AI在翻译时“回头看”原文。

    比如翻译一句英文时,每写一个中文词,都回头看看英文原句里哪个词最相关。

    而白板上这个公式,做的事情完全不同:它让一句话里的每个词,都去“看”这句话里的其他所有词。

    不是回头看别人,是自己看自己。

    “你们在做……序列内部的自相关计算?”

    林之远的声音不自觉地提高了。
    第(2/3)页