本文作者刘圳是香港中文大学（深圳）数据科学学院的助理教授，肖镇中是德国马克思普朗克-智能系统研究所和图宾根大学的博士生，刘威杨是德国马克思普朗克-智能系统研究所的研究员，Yoshua Bengio 是蒙特利尔大学和加拿大 Mila 研究所的教授，张鼎怀是微软研究院的研究员。此论文已收录于 ICLR 2025。

在视觉生成领域，扩散模型（Diffusion Models）已经成为生成高质量图像、视频甚至文本的利器。然而，生成结果往往离我们所偏好的不一致：结果不美观，图文不符，等等。

虽然我们可以像大语言模型中的RLHF（基于人类反馈的强化学习）一样直接用传统强化学习来微调扩散模型，但收敛速度往往慢；而基于可微计算图直接最大化奖励函数的方法又往往陷入过拟合和多样性缺失的问题。

有没有一种方法，既能保留生成样本的多样性，又能快速完成微调？我们基于生成流网络（Generative Flow Network，GFlowNet）提出的 Nabla-GFlowNet 实现了这一速度和质量间的平衡。

论文标题：Efficient Diversity-Preserving Diffusion Alignment via Gradient-Informed GFlowNets

利用 Nabla-GFlowNet 在 Aesthetic Score 奖励函数（一个美学指标）上高效微调 Stable Diffusion 模型。

生成流网络 GFlowNet 示意图。初始节点中的「流」通过向下游的转移概率流经不同节点，最后汇聚到终端节点。每个终端节点所对应的流应匹配该终端节点对应的奖励。

在生成流网络（Generative Flow Network, GFlowNet）的框架下，扩散模型的生成过程可以视为一个「水流从源头流向终点」的动态系统：

在 GFlowNet 框架下，前后向水流需要满足一定的平衡条件。我们通过推导提出我们称为 Nabla-DB 的平衡条件：

其中第一项是基于内积的匹配度函数（残差扩散模型与奖励梯度估计之间的匹配），第二项是让微调模型趋近于预训练模型的正则化。

Aesthetic Score，一个在 Laion Aesthetic 数据集上训练的美学评估奖励函数；

定性实验结果表明，通过 Nabla-GFlowNet 微调，我们可以快速得到奖励更高但避免过拟合的生成图像。

ReFL 和 DRaFT 等直接奖励优化的方法虽然收敛速度快，但很快会陷入过拟合；而 DDPO 这一基于传统策略梯度的强化学习微调方法由于没有理由梯度信息，微调速度显著劣于其他方法。

同时，我们的定量实验表明，我们的 Nabla-GFlowNet 可以更好保持生成样本的多样性。

Aesthetic Score 奖励函数上的微调结果（微调 200 步，取图片质量不坍塌的最好模型）。Nabla-GFlowNet（对应 Residual Nabla-DB 损失函数）方法微调的网络可以生成平均奖励更高且不失自然的生成图片。

相较于 ReFL，DRaFT 等直接奖励优化的方法，Nabla-GFlowNet 更难陷入过拟合。

Aesthetic Score 奖励函数上的定量结果 Nabla-GFlowNet 在奖励收敛快的同时，保持更高的 DreamSim 多样性指标（越高代表多样性越好）和更低的 FID 分数（越低代表越符合预训练模型的先验）。

超市回应将馒头扔地上给大爷大妈抢

「活动」kumadaibiaotitest

7.66MB

版本V3.8.93

下载APK 高速下载

下载扒开纲手❌狂揉❌难受3d动画安装你想要的应用更方便更快捷发现更多

02%好评(71569人)

详细信息

软件大小: 01840.40899MB
最后更新: 2025/04/15 00:32:32
最新版本: V1.65901.4
文件格式: apk
应用分类:ios-Android 林心如穿三角内裤
使用语言: 中文
: 需要联网
系统要求: 1.60482以上

应用介绍

一，工本口子库入口免费密码在哪，孕中期高潮会影响胎儿吗
二，女同国产系列在线观看，祈里きすみ爆乳女教师
三，灵笼冉冰跟谁繁育了，小🐔🐔伸进🈲🔞🔞免费漫画
四，林尼女装，桑拿会所嫖妓丰满女技师
五，日韩女女同性AA女同，凪光AV无删减完整版高清观看
六，男模隐私㊙️部位无内裤,潘多拉app免费下载安卓手机，少女波子汽水
七，调教双乳吊起来捏奶头
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V4.1.53

XXXX18HD亚洲HD女特务

舔女人下面嘴唇染上病毒怎么办

男男Gay互吃呜巴吞精视频

16553.57MB

109好评

怀孕几周坐飞机最安全
丁禹兮荧幕初吻

跳舞一级舞蹈

26969.23MB

922219好评

美女视频网站永久免费观看
嘉德罗斯×你r18车文占有欲

小黄花app成人免费必看

13.44MB

311好评

男同动漫yaoiGayCartoon播动
卡戴珊一夜成名的视频

jeanne外国博主

53.19MB

279好评

特里休疯狂❌️自慰爽18禁
白丝符玄用玉足🈵足

艾玛·沃特森写真

71.88MB

704好评

女女女女女女女HD播放下载
陈宝莲三级无删减电影

王者大陆多女h文

83.46MB

332好评

乖含着睡别拔H
不知火舞写真18禁

百度计算器脱式计算器

23.36MB

102好评

艳照无删减大尺
校花让我❌了一夜漫画

中国人叼嘿的视频

50.66MB

927好评

尿糖3个加号是什么意思
美女被爆❌挤奶视频免费看

大乔裸乳被爆❌白浆的小说

83.98MB

562好评

新加坡美露饮料天天一杯好吗
欧美近親偷子亂伦ⅩⅩ

端庄人妻教师沦为胯下玩物

83.98MB

755好评

深田えいみ教师系列AV免费看
mm131顶级尤物美女图集

原神凝宵宫绳束手束脚图

34.94MB

3338好评

女洗澡㊙️露蛋无内裤
如何紧跟时代潮流

有一部喷出巨量精子的av番号

37.85MB

575好评

四影虎影ww4hu55.com
粗大的内捧猛烈进出白浆

想让你㖭我在线观看A片

65.25MB

746好评

美女奶头㊙️哺乳免费看
MIAA-076深田咏美在线魅魔

吃瓜往期内容回顾

54.85MB

753好评

被猛男狂cao的体育生小蓝GV
凯琳英语怎么读

www.thepurndude.com

57.33MB

683好评

谢俞反攻失败的下场
王者朵莉亚去衣服

丹麦性高清XXⅩXX

24.05MB

351好评

女生下面痒分泌物黄绿色怎么回事
小凑よつ叶STARS-796

陈芷琰光脚足控免费网站❌Xx

13.12MB

319好评

奇优影院🍏手机版
黄蓉黄药师挥汗如雨小说

布尔玛被悟空C出白浆

84.76MB

211好评

小舞变成恶魔了
老是想上小便但是又没有多少尿是怎么回事

忘忧草www日本污污黄

45.70MB

738好评

师徒双修宫交H打桩HH灌尿
正在播放内窥镜白浆内部

一键去衣p图软件

10.68MB

184好评

ss是啥网络用语
男子取精视频㊙️免费vk

精品无码国产一区二区三区51安

44.30MB

361好评

26UUU精品一区二区COm
欧美毛片大黄少妇❌❌❌紫霞视频

宝贝乖穿情趣内H

91.73MB

208好评

男人扒开美女❌狂揉❌免费网站
名模人体欣赏picsAsia

美女扒开👙给男生摸🍑印度

30.08MB

902好评

《好好疼爱里面》漫画未删减
圣女郎李丽莎世界杯

变性后穿女内衣的感觉

30.95MB

546好评

憨憨倩主页
99在线无码精品㊙️入口污鱼

日韩裸体裸乳被🍑无码

29.21MB

126好评

国产丨爱妻艺在线
女下部㊙️高清真人图片

嘉瑞r18车肉失禁

70.86MB

458好评

阿佛洛狄忒动漫
动漫十大胸❌动漫看 title="班长摘下奶罩🐻让我爽了的小说" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

Japan femdom farting

全彩羞羞18禁裸乳本子无遮挡

详情
国产91小仙女一区二区精品 title="女仆隐私内裤㊙️无遮挡网站" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

日本老太婆做爰视频

HD❌❌XX❌XXX12

详情
JRZE-148初撮り人妻ド title="M4A1少女前线" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

《甜蜜惩罚》动漫

coser是什么意思

详情