查看原文
其他

Stable Diffusion版的Dreambooth发布,只需三张自拍照,AI就能记住你!

穿行者2049 今说新语 2024-04-14
在前面的文章《如何用你的图片训练Stable Diffusion学习新概念》中已经介绍过使用自己的图片训练AI,学习新概念的能力,其中提到由于AI程序能力有限,建议刚开始最好训练AI学习生成新的Style,而不是Object,更能体会到这个功能的妙处。但刚刚过去不到一个月,AI已经进化了,最新推出的基于Stable Diffusion的Dreambooth程序,已经可以生成以假乱真的真人对象了。
关于Dreambooth我在前面的文章《Stable Diffusion实现“以假乱真”!你的梦想他帮你完成!》介绍过,这是谷歌推出的一套文本到图像扩散模型,现在被开发者迁移到了Stable Diffusion上,同样提供了训练Colab和应用Colab,未来也将推出开发者共享的模型库。
训练步骤和上一篇文章几乎一模一样,图片仍旧只需3-5张自拍照即可,建议先用3-4张体验。从我的使用过程来看,目前这套程序比较吃GPU,免费的Colab用户最好先用3张照片尝试。Colab的付费会员可以根据分配到的显卡尝试4-6张,再多也容易出问题,如果运行到后面提示GPU超出,只能关闭当前Colab,重启一遍,减少图像数重新尝试。建议大家可以用自己的自拍照尝试,也可以用一个玩具先尝试。这套程序比原先的速度要快很多,上一次文章中介绍的程序训练一次需要花费大概3小时左右,而这次的AI只需花费20分钟左右。
我用小李子的照片体验了一下整个流程,提示整个训练过程需要24分钟左右。
训练完的模型既可以保存到公共模型库,供其他网友调用,也可以只保存到个人账号下。
与前面的那套程序不同,新训练完的模型使用起来具有强大的灵活性,可以使用任何prompts关键词修饰它,包括增加各种场景、动作、绘画风格,完全就是一个虚拟世界的演员,听从你的指挥。下面看一下用训练完的数据画的一些图。
这是农民工?

有些发福了

做个牛仔

赶紧用自己的照片试试吧。由于在线版Colab版性能有限,无法投喂更多照片,所以可能会觉得还有些不像,但如果投喂20张以上效果就恐怖了也可以买个Colab的高级会员试试投喂更多照片。
这篇就不写具体教程了,和前面那篇教程完全一样的步骤,还不太了解具体操作的可以去看看《如何用你的图片训练Stable Diffusion学习新概念》。
更多训练后绘制的图片可以看下面的视频:
会使用Colab的直接访问项目地址即可:
https://colab.research.google.com/github/ShivamShrirao/diffusers/blob/main/examples/dreambooth/DreamBooth_Stable_Diffusion.ipynb#scrollTo=BzM7j0ZSc_9c
继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存