PALP：基于提示对齐的个性化文本到图像生成方法

1月17日 消息:PALP是一种用于文本到图像生成的个性化方法。该方法通过使用得分采样来保持模型与目标提示的对齐，从而提高文本对齐度，并能够生成复杂和精细的图像。与传统的文本到图像模型相比，PALP 能够实现更高程度的个性化，同时保持与提示的对齐度。这一方法的关键在于利用得分采样将模型的预测结果转向目标提示的方向，例如 "一只猫的草图"。通过这种方式，PALP 能够生成包含各种复杂和精细提示的图像。

项目地址:h[]ttps:/[]/top.a[]ibase.[]com/to[]ol/pal[]p

PALP 方法通过对预[]训练模型进行[]简单的重构损[]失微调来实现[]个性化。目前[]，已经有一些[]个性化方法，[]如 DreamB[]ooth-L[]oRA 和 Textua[]lInver[]sion，可[]以用于重构损[]失微调。但是[]，PALP 并不限制个性[]化方法的选择[]，其他个性化[]方法也可以使[]用。通过个性[]化微调，PA[]LP 能够根据用户[]的需求生成个[]性化的图像。[]

PALP 方法在处理复[]杂提示时表现[]出色，这些提[]示包括风格、[]氛围、地点等[]多个要素。对[]于每个主题，[]我们展示了训[]练集中的一个[]示例、条件文[]本以及与 Dreamb[]ooth 和 Textua[]l-Inve[]rsion、[]Custom[]-Diffu[]sion、N[]eTI、P + 基线的比较结[]果。这些比较[]结果定量和定[]性地展示了 PALP 方法的优势。[]

除了个性化生[]成，PALP[] 还支持基于艺[]术作品的灵感[]生成。通过确[]保与目标提示[]的对齐，PA[]LP 可以生成受单[]幅艺术图片启[]发的场景，例[]如 "[]一幅 [玩具 / 猫] 的油画&qu[]ot;。通过[]与目标提示的[]对齐，PAL[]P 能够生成与艺[]术作品相似的[]图像。

此外，PAL[]P 还能够从单个[]参考图像实现[]高保真度和与[]提示对齐。通[]过对八个随机[]噪声样本进行[]个性化生成，[]PALP 展示了在单个[]参考图像的情[]况下的优秀表[]现。

PALP 还支持多主题的个性化生成。我们展示了针对猫和玩具主题的样本结果，并提供了生成图像下方的条件提示。通过这种方式，PALP 可以根据不同的主题生成对应的图像。