目标！海拉鲁！使用ppdiffusers绘制塞尔达风格人物

使用的框架是ppdiffusers，风格为botw_style_offset.safetensors这个塞尔达风格的lora。底模使用的事anything-v3.0。

AI Studio

563人浏览 · 2023-05-23 20:32:41

AI Studio · 2023-05-23 20:32:41 发布

★★★ 本文源自AlStudio社区精品项目，【点击此处】查看更多精品内容 >>>
最近王国之泪发售了，又想到了好几年前熬夜在被窝里玩塞尔达玩到从床上滚下来的糗事…
（手残党，到现在都没打通，当然游戏的目的不在于打通，在这片自由的大陆上，当一个老流氓也挺好（自我安慰））
最近事情比较多，没有冲第一波玩，但还是可以带大家使用ppdiffusers画一画塞尔达风格的图哦~
运行下面的代码就能生成下面画风的图（塞尔达公主、白发公主，林克）哦~

1、安装一些环境

!pip install --upgrade paddlenlp
!pip install -r requirements.txt
!pip install --upgrade ppdiffusers --user

2、引入需要的包

import paddle
from ppdiffusers import StableDiffusionPipeline

3、加载模型（底模+lora）

项目主要依靠botw_style_offset.safetensors这个塞尔达风格的lora。
这个lora使用的底模是anyloraCheckpoint_bakedvaeFtmseFp16NOT，
但非常不幸的是，这个模型ppdiffusers暂时加载不了，所以退而求其次，
使用了画二次元更常用的anything系列的v3.0。为了方便使用，已经放到了data文件夹中。现在来解压一下模型。

!unzip -oq data/data217761/anything-v3.0.zip

加载一下底模+lora吧

pipe = StableDiffusionPipeline.from_pretrained("anything-v3.0", from_hf_hub=False, from_diffusers=True)
pipe.apply_lora("data/data217163/botw_style_offset.safetensors")

这个lora的主页是：https://civitai.com/models/54079/the-legend-of-zelda-breath-of-the-wild-style-lora
它的触发词是：botw style

夏天到了，我们让塞尔达公主吃一个冰淇淋吧~

paddle.seed(471778443)

prompt = "((masterpiece)) <lora:botw_style_offset:1>, botw style, princess zelda, 1girl, bangs, blonde hair,\
 black suit, hair ornament, bare shoulders, green eyes, jewelry, long hair, (town), outdoors, pointy ears, solo, eating ice_cream, upper body"

negative_prompt = "(painting by bad-artist-anime:0.9), (painting by bad-artist:0.9), watermark, text, error, blurry, \
jpeg artifacts, cropped, worst quality, low quality, normal quality, jpeg artifacts, (signature), watermark, username, artist name, (worst quality, low quality:1.4), bad anatomy"

image = pipe(prompt=prompt,negative_prompt=negative_prompt,num_inference_steps=28, guidance_scale=7.5, height=616, width=448).images[0]

image.save("zelda.png")
image.show()

  0%|          | 0/28 [00:00<?, ?it/s]

在这里插入图片描述

林克也来一个冰淇淋吧！都有都有~

prompt = "botw style, link, the legend of zelda, the legend of zelda: breath of the wild, 1boy, blonde hair, \
blue eyes, long hair, male focus, pointy ears, ponytail, solo, ((masterpiece)) <lora:botw_style_offset:1>, eating ice_cream"

negative_prompt = "(painting by bad-artist-anime:0.9), (painting by bad-artist:0.9), watermark, text, error, blurry, \
jpeg artifacts, cropped, worst quality, low quality, normal quality, jpeg artifacts, (signature), watermark, username, artist name, (worst quality, low quality:1.4), bad anatomy"

image = pipe(prompt=prompt,negative_prompt=negative_prompt,num_inference_steps=28, guidance_scale=7.5, height=616, width=448).images[0]

image.save("link.png")
image.show()

  0%|          | 0/28 [00:00<?, ?it/s]

在这里插入图片描述

bonus time

这里还提供了一个林克的lora，如果你想看看萌妹子版的林克…
哈哈哈哈哈，自己尝试吧，这里就不展开了~

pipe.apply_lora("data/data217163/Linkle_linkle_v1.safetensors")

总结：

稍微蹭一下热点，方便大家做塞尔达相关的二创。项目很简单，不过其中还是学到了很多，特别的坑爹的gradio，好用中透漏着一股难用，不好调试！预览功能基本宕机，咳咳~
其次是ppdiffusers的部分，目前还没办法完全的兼容所有的模型，但是可以尝试换一些底模之类，来尝试一下。希望ppdiffusers越来越好~