「我们应该抛弃反向传播并重新开始。」早在几年前，使反向传播成为深度学习核心技术之一的 Geoffrey Hinton 就发表过这样一个观点。

而一直对反向传播持怀疑态度的也是 Hinton。因为这种方法既不符合生物学机理，与大规模模型的并行性也不兼容。所以，Hinton 等人一直在寻找替代反向传播的新方法，比如 2022 年的前向 - 前向算法。但由于性能、可泛化性等方面仍然存在问题，这一方向的探索一直没有太大起色。

最近，来自牛津大学和 Mila 实验室的研究者向这一问题发起了挑战。他们开发了一种名为 NoProp 的新型学习方法，该方法既不依赖前向传播也不依赖反向传播。相反，NoProp 从扩散和流匹配（flow matching）方法中汲取灵感，每一层独立地学习对噪声目标进行去噪。

研究人员认为这项工作迈出了引入一种新型无梯度学习方法的第一步。这种方法不学习分层表示 —— 至少不是通常意义上的分层表示。NoProp 需要预先将每一层的表示固定为目标的带噪声版本，学习一个局部去噪过程，然后可以在推理时利用这一过程。

他们在 MNIST、CIFAR-10 和 CIFAR-100 图像分类基准测试上展示了该方法的有效性。研究结果表明，NoProp 是一种可行的学习算法，与其他现有的无反向传播方法相比，它实现了更高的准确率，更易于使用且计算效率更高。通过摆脱传统的基于梯度的学习范式，NoProp 改变了网络内部的贡献分配（credit assignment）方式，实现了更高效的分布式学习，并可能影响学习过程的其他特性。

在看了论文之后，有人表示，「NoProp 用独立的、无梯度的、基于去噪的层训练取代了传统的反向传播，以实现高效且非层次化的贡献分配。这是一项具有开创性意义的工作，可能会对分布式学习系统产生重大影响，因为它从根本上改变了贡献分配机制。

其数学公式中涉及每层特定的噪声模型和优化目标，这使得无需梯度链即可进行独立学习。其优势在于通过让每一层独立地对一个固定的噪声目标进行去噪，从而绕过了反向传播中基于顺序梯度的贡献分配方式。这种方式能够实现更高效、可并行化的更新，避免了梯度消失等问题，尽管它并未构建传统的层次化表示。」

还有人表示，「我在查看扩散模型架构时也产生过这样的想法…… 然而，我认为这可能是一种非最优的方法，所以它现在表现得如此出色让我感到很神秘。显而易见的是其并行化优势。」

反向传播虽是训练神经网络的主流方法，但研究人员一直在寻找替代方案，原因有三：

但这些方法因在准确性、计算效率、可靠性和可扩展性方面的限制，尚未在神经网络学习中广泛应用。

作者对 NoProp 方法进行了评估，分别在离散时间设置下与反向传播方法进行比较，在连续时间设置下与伴随敏感性方法（adjoint sensitivity method）进行比较，场景是图像分类任务。

结果如表 1 所示，表明 NoProp-DT 在离散时间设置下在 MNIST、CIFAR-10 和 CIFAR-100 数据集上的性能与反向传播方法相当，甚至更好。此外，NoProp-DT 在性能上优于以往的无反向传播方法，包括 Forward-Forward 算法、Difference Target 传播以及一种称为 Local Greedy Forward Gradient Activity-Perturbed 的前向梯度方法。虽然这些方法使用了不同的架构，并且不像 NoProp 那样显式地对图像输入进行条件约束 —— 这使得直接比较变得困难 —— 但 NoProp 具有不依赖前向传播的独特优势。

此外，如表 2 所示，NoProp 在训练过程中减少了 GPU 内存消耗。

为了说明学习到的类别嵌入，图 2 可视化了 CIFAR-10 数据集中类别嵌入的初始化和最终学习结果，其中嵌入维度与图像维度匹配。

在连续时间设置下，NoProp-CT 和 NoProp-FM 的准确率低于 NoProp-DT，这可能是由于它们对时间变量 t 的额外条件约束。然而，它们在 CIFAR-10 和 CIFAR-100 数据集上通常优于伴随敏感性方法，无论是在准确率还是计算效率方面。虽然伴随方法在 MNIST 数据集上达到了与 NoProp-CT 和 NoProp-FM 相似的准确率，但其训练速度明显较慢，如图 3 所示。

对于 CIFAR-100 数据集，当使用 one-hot 编码时，NoProp-FM 无法有效学习，导致准确率提升非常缓慢。相比之下，NoProp-CT 仍然优于伴随方法。然而，一旦类别嵌入与模型联合学习，NoProp-FM 的性能显著提高。

张凌赫推荐碳水循环减肥法

「活动」kumadaibiaotitest

5.57MB

版本V2.8.87

下载APK 高速下载

下载胡桃❌喷水自慰爽影片安装你想要的应用更方便更快捷发现更多

24%好评(55189人)

详细信息

软件大小: 96315.77712MB
最后更新: 2025/04/11 12:34:00
最新版本: V6.93106.3
文件格式: apk
应用分类:ios-Android 成人㊙️黄www免费下载
使用语言: 中文
: 需要联网
系统要求: 2.22970以上

应用介绍

一，佐良娜被脱内衣被❌小说，亚洲AV㊙️无码海角社区
二，星野裸体被❌黄漫，女仆扒开🍑给男生玩伊甸园
三，17c黑料爆料18🈲，bearGayGay✅打屁股
四，luce裸体被❌羞羞嗯，18🈲🍆🍑无套直动漫acfun
五，㊙️韩国免费网站19禁，欧美❌❌❌在线观看
六，AI白鹿被❌出水来,爱蜜莉雅❌爆爽喷水自慰，美女❤️
七，❤国产精寸止挑战nina
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V1.3.69

美女裸体拉稀㊙️网站

美女脱👙给我捏🐻作文

国产婬妇❌❌❌❌❌下载

93863.66MB

105好评

🌿我～轻点～又大又爽
男人㊙️桶进美女屁股网站

菠萝视频成人🔞高潮片

72686.44MB

298755好评

学生露出🐻让老师玩小说
性欧美⭕⭕⭕⭕

美女美腿🏻调教脚奴视频s

13.45MB

311好评

nxgxcomk4💋💋
莎莉娜扒开腿做❌同人本子免费

成人做爰黄✌片免费看

53.78MB

278好评

动漫美女被❌吸乳羞羞的
jk漫画禁漫♥成人入口无限金币

野外妓女B❌❌❌BXXX现看

71.81MB

700好评

91九色❤️PORNY国产
极品美女超短jk❌❌被c

❌❌❌老师裸体视频

83.37MB

336好评

高清🈚码🔞❌♋免费蓝莓动漫
亚洲㊙️无码一区二区三区电影

亚洲AV无码㊙️香纯唯

23.42MB

101好评

69❌❌❌HD更
八重神子扒开内衣👙吸奶头动漫

扒开❌狂揉❌真人

50.97MB

921好评

原神同人甘雨❌❌本子
美女❌❌❌免费视频毛片在线看

刚手爆乳被❌🔞🔞㊙️

83.28MB

561好评

㊙️纱仓真菜Av
欧美骚逼♀

被粗大的🐔巴捣出白浆男同

83.15MB

750好评

美女裸体视频🔞🔞🔞
Chinese❌❌❌

国产精品🈲久久久精品软件下载

63.89MB

0319好评

成人免费看片❌❌❌入口
男❌男屁服动漫视频网站

裸体男男♂Gay自慰网站播放

68.33MB

000好评

校花❌开腿让我爽了一晚
❤奇优电影

国产熟妇🈚码视频黑料

65.06MB

744好评

宁荣荣张开双腿被强❌视频
小🐤🐤伸入女人的🍑

3D美女大胸被爆❌动漫很漏

54.48MB

755好评

成人🔞视频下载
美女的隐私㊙️韩国大胸

元龙宋嫣裸体被❌羞羞网站

57.92MB

682好评

女学生喷浆❌❌❌祝屏
furry动漫♂️自慰网站

国产精密㊙️入口麻豆29

24.74MB

354好评

♥同人♥本子♥芙莉莲
雏田被扒开腿坐做❌3D

H➕捆绑➕玩弄➕跪趴➕嗯啊作文

13.43MB

314好评

芙宁娜自慰❌❌喷水好爽
XXXX78🍆🍆HDج

美女被❌到爽🔞高潮草莓网站

84.24MB

219好评

小🐤🐤伸入女人的🍑真人版
中国男青年互摸jiji㊙️

肌肉男同gv自慰🔞免费网站

45.38MB

733好评

涩里番㊙️18禁p站
成人免费看片❌❌❌&#39;

女性脱👙让我揉🐻

10.55MB

183好评

www成人🔞网站板本游戏
火影忍者雏田被强❌

扒开女人👙给男生摸🍑

44.99MB

362好评

美女的尿囗㊙️视频免费
美女➕光屁屁➕18禁

本子❤天堂免费入口

91.48MB

208好评

小🐤🐤戳进🍑茄子
美女扒开腿㊙️动漫

绫波丽本子18🈲

30.94MB

904好评

Naruto❌SakuroHD
XXNX16👙欧美

亚洲AV无码㊙️蜜桃枫花恋

30.48MB

549好评

15🈲成人A片
动漫美女被❌黄漫爆乳视频

多强被❌c到爽🔞动漫

29.40MB

123好评

偷拍女厕拉屎㊙️无遮挡
男人的🍌伸到🍑免费视频

深夜成人🔞🈲视频在线蘑菇

70.91MB

451好评

FUCKGAY❌❌❌❌🔞图片
打美女屁股㊙️视频调教网站 title="裸体女子㊙️私房" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

欧美男GayGays✅免费网站

🔞p站视频

详情
XXXXZD💋 title="亚洲精品http💃污深夜福利" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

动漫❌c🐻黄扒衣的情头

XXXX18🍑🍆فىلىم

详情
女同🔞被🌿出水玩具鞭打 title="男性手婬㊙️网站超高清" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

漫画被❌黄漫免费动漫

国产free❌❌❌

详情