东京大学的一个研究小组开发了一种根据老鼠大脑活动输出图像的系统。 Stability AI 的“Stable Diffusion”是一种所谓的生成式 AI，可以从文本生成图像，并作为开源发布。它应用了被称为潜在扩散模型的人工智能，并且可以通过输入作为生成源的噪声来创建图像。
在这项研究中，我们构建了一个由稳定扩散修改而来的框架，并输入从大鼠大脑皮层记录的局部场电位作为图像源而不是噪声，从而实现了根据大鼠大脑状态进行实时处理。系统输出图像。局部场电位是对神经元发出的电信号的测量，研究小组每 1/30 秒提取一次，将其转换为潜在向量，并将其输入到潜在扩散模型中。由于每 1/30 秒出现的潜在向量彼此相似，因此通过潜在扩散模型获得的图像也显示出平滑的过渡，产生随着脑电波变化而逐渐变化的图像。
以这种方式将大脑活动与人工智能结合起来的绘图系统尚无先例，而这份报告也是全球首例。在这种情况下，图像是通过仅输入噪声来生成的，但稳定扩散也可以输入文本指令来指导图像生成。因此，通过给出反映老鼠内部状态的指令，可以根据老鼠的“心情”生成图像，例如当老鼠感兴趣时，生成气氛明亮的图像，当老鼠想要时，生成气氛安静的图像。据说有可能可以做到。
新开发的方法不仅可以应用于大脑活动，还可以应用于各种时间序列信号，例如心脏和肠道蠕动等其他生物信号，以及风和波浪等自然现象。这一成果有望开辟一种新的艺术创作方法。
