FLUX 사용후기

컴퓨터/IT작업기록

lu

luasenvy (luasenvy)

개요

약 반년간 Stable Diffusion_(SD)를 작업해보면서 느낀점은 생각보다 더 빈번하게 환각현상이 일어난다는 점이 가장 크다. 기괴한 해부학적 표현과 이세계 문자들이 출력되어 퀄리티를 현저하게 떨어뜨리는데 이러한 점은 여전히 생성형 AI가 랜덤박스이고 최종 결정권자가 검수하여 100%에 가깝도록 만들어야 한다는 점은 변치 않았음을 다시 확인하였다. 물론, LoRA와 같은 각종 컨트롤을 전문가 수준으로 활용한다면 모르겠지만 고작 반 년동안 취미 수준만으로는 그런 고급설정과 퀄리티를 뽑아내기에 비용과 능력에 한계가 있었다.

FLUX.1은 Black Forest Labs에서 출시한 이미지 생성 모델로 높은 수준의 출력 품질을 보여준다. 단점이 있다면 다른 모델에 비해 높은 시스템 사양을 요구한다는 점이다. 애시당초 12GB VRAM을 지원하는 고사양 VGA가 없다면 진입할 수조차 없는 장벽이 있었는데 시장에 유통되는 저가/보급형인 가정용 VGA로는 한계가 있을 수 밖에 없다.

집에서 사용중인 RTX 3070 8G VRAM 모델은 구매한지 벌써 5년 가까이 되어가는 오래된 라인업이라 기대는 하지 않았지만 SD계열의 인기있는 모델인 illustrous, Pony Diffusion 등을 사용하면 1920x1080 출력이 완료되기까지 한 장에 30초 ~ 1분 30초 내외로 취미수준에서 사용하기에 부족함은 없었다.

그밖에도 필요한 모델 파일만해도 30GB를 우습게 넘기기 때문에 거대한 용량을 준비시켜둘 넉넉한 메모리 공간도 필요하다. 불행중 다행인건 메모리 값은 요즘 아주 저렴해졌다. 다만, 이러한 점들이 모두 무색할 만큼 VGA 값이 폭등해버린것이 가장 문제이긴 하다. 중고가조차 말 그대로 앞뒤가 없는 지경_{(중고차가 더 싸다)}이라 첫 페이지만 보고 그냥 닫아버렸다.

그렇게 소식은 알고 있었지만 소유한 컴퓨터 자원의 한계로 외면하고 있던차에 마침 메모리 확장과 더불어 GGUF모델을 접하게 되면서 작업해보기로 했다.

FLUX.1 실행 준비

i5-9600K
48GB RAM ( 8GB * 2 2666Mhz , 16GB * 2 2666Mhz / 2 channel)
3070 RTX 8G VRAM
Linux Debian 12.11
UI - ComfyUI

FLUX는 성능에 따라서 16fp, 8fp와 같이 다양한 모델을 제공하는데 컴퓨터 사양이 충분치 못하다면 GGUF 포맷으로 구성된 Q8 모델을 활용하여 FLUX.1을 구동해 볼 수 있다. 나처럼 컴퓨터 사양이 애매한 경우라면 머리 아프게 이놈 저놈 재 볼 필요 없이 GGUF 8Q 모델을 기준으로 작업하면 된다. 이 모델은 'i7-10700F + 32GB RAM + 1660 SUPER 6G VRAM'에서 작동하는 것을 확인했기 때문에 비슷한 사양이라면 충분히 가능할 것이다.

고사양 모델을 기준으로 만들어진 놈이라 그런지 당연히도 이전에 사용했던 일러스트러스나 포니 디퓨전에 비해 많은 시간이 소요됐는데 장당 1분 ~ 5분 이상의 작업시간이 걸린다. 따라서 상업용으로의 활용을 기대한다면 이정도 수준의 컴퓨터 자원으로는 큰 장벽이 될 수 있다. 이를 보완하기 위한 방법으로 저해상도로 빠르게 출력하고 업스케일러로 해상도를 높이거나 마스크를 활용한 일부 재생성 등의 방법을 활용할 수 있는데 이 또한 랜덤박스이기 때문에 배보다 배꼽이 더 큰 수고를 들일 수 있다. 그래도 구동되는게 어디인가? 성능이 영 마음에 안든다면 잔고와 그래픽 카드 가격을 보고 다시 생각해보자. 감사히 잘 쓰자.

FLUX.1은 여러가지 라인업과 작업환경별 모델을 제공하는데 대부분 상용 라이센스로 판매되는 제품이라 잘 확인해야한다. 이 포스트는 오픈소스로 공개된 FLUX.1-dev 모델을 사용하며 이를 통해 생산된 출력물도 개인적으로 활용할 생각이기 때문에 자연스럽게 선택하게 되었다.

ComfyUI Custom Nodes

ComfyUI 실행전에 필요한 custom_nodes를 미리 설치해야 한다.

git clone https://github.com/rgthree/rgthree-comfy
cd rgthree-comfy
pip install -r requirements.txt

git clone https://github.com/city96/ComfyUI-GGUF
cd ComfyUI-GGUF
pip install -r requirements.txt

필요한 파일 목록

각각의 모델 파일들을 다운로드 받고 ComfyUI/models 내부의 올바른 디렉토리에 위치시킨다.

• /unet: Flux.1 Dev GGUF Q8
• /vae: ae.safetensors
• /clip: t5xxl_fp8_e4m3fn.safetensors
• /clip: clip_l.safetensors
• /upscale_models: 4x_foolhardy_Remacri
• Simple GGUF Flux Workflow – With optional Upscaling
  • 압축 해제 후 ComfyUI 내에서 워크플로우 불러오기

in-workflow

워크플로우 내부에보면 여러 설정들을 자신의 실행환경에 맞도록 다시 한 번 확인하는 작업을 진행해야한다. 위 사진처럼 이미 선택되어있는 로더 파일의 경우라도 다시 한 번 클릭하여 선택해주는 것이 좋다. 경로나 설정 값이 실행환경과 다를 수 있기 때문이다. 가이드 문서에서 제공하는 워크플로우에는 LoRA가 로드되고 있는데 우선 Skip하여 구동되는지 먼저 테스트해보는 것도 나쁘지 않다.

출력결과 확인

이 출력은 RTX 1660 SUPER 6G VRAM으로 얻은 결과이다. 중단없이 출력이 나오기는 하지만 '오일러 샘플링 / 일반 스케줄링 / 25 스텝' 설정으로 832x1216 해상도를 처리하는데 19분이 소요되었다. 켜놓고 신경쓰지 않을 수 있는 환경에서는 괜찮을 것 같지만 더 빠른 출력을 얻기 위해서는 하드웨어 업그레이드가 필수적이다. RTX 3070 8GB VRAM을 사용하면 약 5분 정도 소요된다. CPU 성능은 출력결과에 영향을 주진 않았다.

업 스케일은 5초 내로 완료되어서 소요 시간에 큰 영향을 주진 않았다. 최초 구동시 더 오래 걸릴 수 있다는 이야기도 있지만 이런 저사양에서는 확인할 이유가 없었다. 이 출력물을 얻기 위해 여러 번 돌렸으나 최초 구동시 18분 16초, 이후 22분 09초, 무작업 시 23분 등 다양한 양상을 보였다. 출력 작업을 걸어두고 다른 작업을 하다 보니 더 그런 것 같다.

어쨌든 출력은 바로 사용해도 문제가 없을 만큼 상당히 고품질이다. 여전히 기괴한 해부학적 표현들이 나오기는 하지만 타 모델에 비해서 빈도가 현저히 낮고 그림에 포함된 영어는 생각보다 더 정교하게 표현되는 것을 볼 수 있었다. 비영어권은 여전히 알아먹을 수 없는 이상한 글자들이 표시되는데 그럼에도 상당히 높은 퀄리티를 보여준다. 참고로 위 출력물은 Randommaxx Robotify LoRA를 적용하여 만들었다.