I Made Stable Diffusion XL Smarter by Finetuning It on Bad AI-Generated Images
https://minimaxir.com/2023/08/stable-diffusion-xl-wrong/
#ycombinator #Stable_Diffusion #Image_Generation #Textual_Inversion #Ugly_Sonic #LoRA

과적합 너무 얼굴표정 하찮

#textual_inversion

아닌... 가...????

아니네 강해진 거 맞음. 말이 되는 방법이긴 하네. 지시도 안 했는데 플리츠 스커트가 나오는 빈도가 늘었다

#textual_inversion

1girl, amiya, masterpiece, ultradetail, looking at viewer, extremely cute, wink, happy, at her room
Negative prompt: (worst quality, bad quality, nsfw:1.4)
Steps: 28, Sampler: DPM++ 2S a Karras, CFG scale: 9, Seed: 3091551771, Size: 512x704, Model hash: f75b19923

#textual_inversion

아까 짠 프롬프트로 재귀적 재초기화하고 계속 훈련 = 새로 훈련하고 있는데 이렇게 마음에 안 드는 부분을 다시 먹이는 방식도 말이 되는듯?

1. 특정 캐릭터를 그리는 프롬프트를 짠다
2. 그 프롬프트로 TI 임베딩 초기화
3. TI 훈련

루프
1. 훈련된 TI를 사용해서 특정 캐릭터를 그리는 프롬프트를 짠다
2. 그 프롬프트로 TI 임베딩 재초기화
3. TI 훈련
(반복)

그리고 다양한 복장도 금기사항인 거 같음...

#textual_inversion

둘 다 하면 완벽하겠네... 팬아트가 캐릭터 훈련에 쓰인다는 게 미안하긴 하겠지만 스타일을 학습시키는 건 아니니까

#textual_inversion

#textual_inversion 초기화를 안 할거면 픽시브 같은데서 해당 캐릭 일러를 마구 긁어와야 할거고...

#textual_inversion

임베딩 초기화가 진짜 중요한듯. 해당 캐릭터를 만드는 묘사를 먼저 프롬프트로 만들고 그걸 임베딩 초기값으로 쓰는 방식으로 하는 게 맞지 않나...

#textual_inversion

인터넷에서 팁 찾다가 레딧이었나 AI챈이었나 봤는데, 괜히 태그들을 주르륵 달면 오히려 그 태그들이 의미를 먹어서 의도한 게 안 들어간다고 하더라...

가만 생각해보면 그렇죠

[키워드] 하나가 그 캐릭터의 특징을 묘사해주길 원하는건데 키워드들을 똑같이 넣으면 [무언가] 캐릭터묘사 가 되니까 보통은 문장에서 무언가가 캐릭터 이름을 지칭할거라고는 생각을 안 하지...

데이터중에 이런 포즈가 있나
얼굴만 클로즈업인 게 하나 있구나

이런 데이터는 빠졌어야 했군

#textual_inversion

과적합요, 이렇게 그림이 불타요. 아마 과적합 맞을듯?

#textual_inversion

9500 epoch

과적합되어서 튈까봐 여전히 불안불안... 근데 여전히 특징이 덜 잡혀서...

#textual_inversion

1e-6

6000 epoch

청안

#textual_inversion

파란눈언제
#textual_inversion amiya-3500

#textual_inversion amiya-3000

LR 떨구는 스케줄러를 쓰고싶은데 웹UI에는 없으니까 결국 구현해야하네... 할거면... 귀찮음

#textual_inversion

#textual_inversion

lr 0.00005 (5e-5)
embedding size 5
init: amiya_\(arknights\)
데이터: 명방 아미야 (공식 일러만, 풀사이즈 & 적당히 크롭 등의 처리)
accumulation: 2, batch: 1
템플릿: subject.txt

prompt:
1girl amiya, masterpiece, ultradetail, looking at viewer, extremely cute, wink, happy, at her room

negative:
(worst quality, bad quality:1.4)

#textual_inversion

이미지 중간 결과가 깨지는 건 learning rate가 너무 높다는 결론을 내리게 되었음

https://arxiv.org/abs/2302.04841

#textual_inversion

#textual_inversion