まだベータモデルですが、waifu-diffusionの最新モデルがきていたので紹介します
かなり良くなっている印象ですね
ただちょっと方向性が変わったような気がしないでもありませんが
導入
https://huggingface.co/waifu-diffusion/wd-1-5-beta2
色々ありますが、欲しい.safetensorsと同名の.yamlをDownloadするだけです
aestheticは「美的」ってことらしいですが、ちょっとリアルよりって感じでした
一応aestheticの方がオススメになっていますけど、割と好みなのかなって思います
fp36とfp16は比較した感じどちらでも良さそうかなーって感じです
下に両方載せておくので気になる人は確認してみてください
vaeはリンクからDownloadしてください
https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt
「kl-f8-anime2.ckpt」なので既に持っている人は多いかもしれません
後は「kl-f8-anime2.ckpt」→「wd-1-5-beta2-aesthetic-fp32.vae」にリネームして
モデルと同じフォルダに入れて下さい
wd-1-5-beta2-fp32
prompt
(anime, tone mapped:1.2),
1 girl,green tracksuit,gray Running Shorts,short hair,bob cut,black hair,yellow eyes,gray scale,bright skin,(tiny breasts),extremely_detailed_eyes_and_face
(symmetric), (exceptional, best aesthetic, new, newest, best quality, masterpiece, extremely detailed:1.2)Negative prompt: lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts)), deleted, old, oldest, ((censored)), ((bad aesthetic)), (mosaic censoring, bar censor, blur censor)Steps: 28, Sampler: DPM++ SDE Karras, CFG scale: 10,Face restoration: GFPGAN, Size: 704x512, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires upscale: 1.6, Hires upscaler: Latentあまり上手くいかなかったので公式のサンプルを少し変更して使用しました
上がaestheticになっています
まああまり良い画像が出来なかったってのもありますけど、個人的にはaestheticでは無い方が好みです
下の方がwdの正当進化って感じはします
後aestheticはnsfwの画像が出来やすい感じがしました
そこまで良い感じでもないのでネガティブにnsfwを入れた方が良いと思います
wd-1-5-beta2-fp16
今回作った画像ではfp16の方が良かったですけど、多分そこまで違いは無いです
なので要領が軽いfp16の方が良いと思います
注意点
１つ注意点があります
これはwd1.5beta2に限らないんですけど
sd2.1で学習したモデルは通常のcontrolnetが使えないらしいです
2.1用のcontrolnetモデルもあるようですが
僕の環境たと何故かcontrolnetが動作しないので確認出来ていません