[Stable Diffusion] 딥러닝 텍스트 이미지 모델

 

 

Stable Diffusion Public Release — Stability.Ai

    

     최근에 친구를 통해서 Stable Diffusion 모델에 대해서 들었다.

     Stable Diffusion은 2022년 스타트업 StabilityAI에서 출시한 딥 러닝 텍스트-이미지 모델이다.

     주로 텍스트 설명에 따라 세부 이미지를 생성하는 데 사용되지만 인페인팅, 아웃페인팅 및 생성과 같은

     다른 작업에도 적용될 수 있다.

     쉽게 설명하면 내가 텍스트로 설명을 하면 이 모델이 그에 맞는 이미지를 만들어 내는 것이다.

     한번 해보고 싶어서 colab으로 모델을 간단하게 돌려봤다.

 

      https://huggingface.co/CompVis/stable-diffusion-v-1-4-original     

      위 사이트에 들어가서 우측 상단에 Sign-Up 을 눌러서 이메일로 가입을 한다.

      그럼 가입한 이메일 주소로 이메일이 오는데 그 메일을 클릭해서 confirm을 해주어야 회원가입이 끝난다.

      그 다음에 Access Token을 만들어 주어야 하는데 

   

     로그인을 하고 Setting/tokens 페이지로 찾아들어가서 'New token'을 눌러준다.

   

      이런 화면이 뜨면 Name은 아무거나 쓰고 Role은 write으로 설정하고 Generate a token 버튼을 눌러주었다.

      그럼 token이 생성되는데 나중에 colab에서 복사해서 사용할 것이다.

      그런 다음 colab으로 들어가서 코드를 돌려보았다.

 

     1. 먼저 GPU 런타임을 사용하여 이 노트북을 실행하고 있는지 확인한다.

         현재 연결된 GPU는 Tesla T4로 15109MiB 사용이 가능하다.

     

     2. 그 다음 diffusers==0.3.0과 sciphy, ftfy 및 transformer를 설치한다.

     

     3. 이 모델을 사용하려면 이 모델의 라이센스에 동의하여야 한다. 여기로 들어가서 라이선스를 읽고 동의하면 수락을 누른다. 

 

     4. colab이 외부 위젯을 비활성화했기 때문에, 활성화 시켜야 한다. 아래의 코드로 활성화 시킨후 로그인을 진행한다.

 

 

    5. notebook_login()을 실행하면 위와 같은 그림이 출력된다. 아까 우리가 받은 token을 입력하고 Login 버튼을 누른다.

      그럼 아래와 같은 결과가 출력된다.

 

 

     6. 다음으로 사전 훈련된 가중치(pre-trained weights) 를 로드한다.

 

 

     7. 다음으로, 더 빠른 추론을 위해 GPU로 파이프라인을 이동시킨다.

 

     8. 그럼 이제 출력해보자. prompt 창에 내가 표현하고 싶은 이미지에 대한 설명을 넣는다.

        먼저 예제로 나와있는것 부터 해보았다.

 

        "a photograph of an astronaunt riding a horse" :  우주 비행사가 말을 타고 있는 사진

 

 

     우주 비행사가 말을 타고 있는 사진이 출력되었다. 다시 돌리면 또 다른 그림이 출력된다.

 

 

     9. 이번에는 좀 더 디테일하게 설명을 하여 출력을 해보자. 

 

         "interior design, open plan, kitchen and living room, modular furniture with cotton textiles, wooden floor,

         high ceiling, large, steel windows viewing a city"

 

        "a cute magical flying dog, fantasy art drawn by disney concept artists, golden colour, high quality,

         highly detailed, elegant, sharp focus, concept art, character concepts, digital painting, mystery, adventure"

 

     너무 멋지지 않은가? 정말 많은 곳에 활용 될 수 있을거 같다.

 

 

 

     <Reference>

     https://huggingface.co/CompVis/stable-diffusion-v1-4

     https://www.analyticsvidhya.com/blog/2022/09/stable-diffusion-ai-has-taken-the-world-by-storm/

     https://bytexd.com/get-started-with-stable-diffusion-google-colab-for-ai-generated-art/                  

     https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts/