人工智能芯片受益于良好的睡眠

  • 发布时间:2021-11-29 10:43:27 来源:
标签:
导读 人工神经元已经远比传统计算机更像人类,现在事实证明,它们可能还需要睡眠才能发挥最佳功能。这不仅仅是时不时关闭它们的问题——一项新研

人工神经元已经远比传统计算机更像人类,现在事实证明,它们可能还需要睡眠才能发挥最佳功能。这不仅仅是时不时关闭它们的问题——一项新研究表明,神经元受益于暴露于慢波信号,就像睡眠生物大脑中的信号一样。

神经网络由人工神经元组成,它们像真实大脑中的真实神经元一样相互发送信号。常用的连接会随着时间的推移而得到加强,从而有效地允许神经网络自行学习。与传统计算机的顺序处理不同,神经网络可以并行处理不同的信息流,这使得它们成为图像和语音识别等方面的强大工具。

不幸的是,它们也可能带来了有机大脑的不利因素——睡眠需求。每个人都从经验中知道睡眠对我们的健康和幸福有多么重要。它不仅可以促进学习并帮助我们巩固记忆,而且摄入不足会导致体重增加、抑郁、老年痴呆症,甚至死亡。

虽然神经网络可能不需要担心体重增加,但神经元在长时间工作后似乎变得不太稳定。在洛斯阿拉莫斯国家实验室的一项新研究中,研究人员发现这种情况发生在系统进行无监督字典训练时。

这种探索性技术是网络识别对象之间的相似性以尝试对它们进行分类的地方,而无需给出明确的示例来检查它们。不出所料,这种方法被发现对神经网络来说更费脑力。

该研究的合著者加勒特·肯扬 (Garrett Kenyon) 说:“如何防止学习系统变得不稳定的问题实际上只有在尝试利用生物学上真实的、尖峰神经形态处理器或试图理解生物学本身时才会出现。” “绝大多数机器学习、深度学习和 AI 研究人员从未遇到过这个问题,因为在他们研究的非常人工的系统中,他们可以执行全局数学运算,从而调节系统的整体动态增益。”

为了帮助网络保持专注,研究人员将它们暴露于不同类型的白噪声信号中。高斯噪声——由各种频率和幅度组成的信号——效果最好,可以使神经元平静并恢复其稳定性。有趣的是,这些是在恢复性慢波睡眠阶段在人类大脑中荡漾的同一种波。

该研究的主要作者 Yijing Watkins 说:“就好像我们让神经网络睡了一个好觉。”

研究人员表示,他们的下一个目标是在英特尔强大的神经形态芯片Loihi上测试该算法。通过让芯片偶尔“休眠”,该团队希望它能够更好地处理来自视网膜相机的视觉信息。

  • 版权声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。