查看原文
其他

Stable Diffusion如何叠加使用其他用户训练的模型?

穿行者2049 今说新语 2024-04-14
前面介绍了使用自己的图片训练Stable Diffusion生成新概念和风格,看到很多朋友都已经尝试过了。对于训练结果,有的觉得有趣,有的觉得不够理想,离自己想象的效果还有距离,离复制自己的设计风格也很遥远,这很正常。我倒是觉得这个起步很有趣,方向很好。从我自己的使用体验来看,训练Style比Object效果要更好,我建议大家可以尝试一下训练Style。
在我前面的文章中介绍过我训练的一个Style,这个新Style可以生成非常复杂和艳丽多彩的图形,下面几张我并没有进行详细的prompt语句调试,仅作示例,后续我会用这个Style绘制一些想要的内容。
那如果其他用户想使用这个风格,或者想使用我前面训练的徐悲鸿画的马这个对象,该怎么办呢?现在这个项目的官方公布了一个用户共享库,所有用户愿意公开的训练结果都进入这个共享库,其他用户可以随意挑选训练完的概念进行绘画。
共享库地址:https://huggingface.co/sd-concepts-library
并且还发布了一个Colab,可以非常简便的在各个Library中挑选并及时生成。
Colab的地址:https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion_textual_inversion_library_navigator.ipynb
运行Colab后,会打开一个图形界面,如下图:
左侧是全部用户共享的训练结果,使用时需要简单注意一下语法。object尽量放在prompt语句的最后,如 a red <toy>。style需要写成 in <yourstyle> style或者 by <yourstyle>
以我训练的徐悲鸿的马为例,首先按Ctrl+F搜索xbh,在左侧找到我的模型。这是一个object,在右侧的prompt处输入:a running <xbh> .大概35s左右就可以绘制完毕。
再搜索vkuoo1,可以搜索到前面我提到的我训练的一个style。
输入prompt语句:Very dense bushes with dense green leaves and bright flowers, in <style-vkuoo1> style, 3D, 3D ray, very intricate, high detailed
绘制结果如下:
更进一步,你还可以同时使用库中的<object>和<style>,语法为:a <object> in <style>。
我挑选了一个用户的object是一栋建筑,然后叠加我的style,语句如下:
a <ralph> in <style-vkuoo1> style
当然由于各个用户训练的object和style相关性较小,所以想要好的结果可以仔细挑选。不过这个功能使我想起一个用户的留言,当时他说这个方法一次只能训练一个object无法积累,但目前这个方法已经可以同时使用两个训练结果了,能否使用多个结果,大家可以试试。下面我挑选了两个object和一个style:
a <character-pingu> and  a <mafalda-quino> in <style-vkuoo1> style
两个object都有所体现。所以理论上是可以累加训练,叠加使用的,感兴趣的朋友可以多试试,结果很有趣。
上面这个是一个用户的模型和我的style混合成的抽象人。
下面再挑一个用户的模型和我的style混合:
a <party-girl> in <style-vkuoo1> style

很有趣的效果,原始对象是下面这个平面动漫角色,叠加我的style后成为3D效果。

可以展望一下,目前网友分享的大都是第一次熟悉程序训练的结果,更多是一些实验型的小玩具,现在仅仅有200多个训练结果。如果后期有更多的人加入,更多成熟的训练结果共享出来,再把这些结果混合起来,一定很有趣。
这篇就写到这里,欢迎朋友们也分享更多训练结果。
与其坐而论道,不如起而行之。不要管AI画的作品有没有灵魂了,不积跬步,无以至千里。与朋友们共勉!
感谢阅读,欢迎转发、分享、打赏支持。
继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存