그래도 직진

     사랑하는 가족, 연인, 친구를 준비없이 한순간에 잃게 된다면 어떨까?

     돌아가신 어머니, 아버지의 목소리가 너무 듣고 싶어진다면?

     사랑하는 사람이 떠난 후 우리는 그들의 사진을 벽에 붙이고, 그들의 생일에 산소에 방문하고

     우리는 마치 그들이 그곳에 있는 것처럼 그들에게 말하지만 대화는 항상 일방적이었다.

     AI 플랫폼 HereAfter는 사망한 사람이 살아 있는 동안 녹음한 음성을 기반으로 사람들이 '대화'를 할 수 있도록 하는 

     소프트웨어를 설계하였다.

     죽은 사람들과 "대화"할 수 있게 해주는 이와 같은 기술은 수십 년 동안 SF의 주류였다.  

     그러나 이제는 AI와 음성 기술의 발전 덕분에 현실이 되었고 점점 더 쉽게 접근할 수 있게 되었다.

     애플의 Siri나 아마존의 Alexa 같은 챗봇 및 음성 비서는 지난 10년 동안 수백만 명의 사람들에게 새로운 첨단 기술에서

     일상 생활의 일부가 되었고 일기 예보에서 삶의 의미에 이르기까지 모든 것에 대해 우리의 장치로 이야기한다는 아이디어에

     매우 편안한 삶을 살게 되었다.

     또한 AI LLM(Large Language Models)은 인간이 기계와 통신할 수 있는 훨씬 더 강력한 방법을 제공하였다. 

     이 글을 쓴 에디터 Charlotte은 Hereafter 공동 설립자인 James Vlahos가 ''가상 존재"에 대한 온라인 회의에서

     연설 하는 것을 보았고 그를 설득하여 그녀의 살아계신 부모님을 대상으로 소프트웨어를 실험할 수 있게 되었다. 

     우선 첫번째 단계는 인터뷰였다. 실제 표현처럼 보일려면 많은 데이터가 필요하다. 

     2020년 12월, HereAfter의 Meredith라는 여성이 Charlotte의 부모님을 인터뷰를 하였다.  

     '그들이 아직 살아 있을 때' 라는 주제를 가지고 작업을 시작하는 Hereafter는 가장 어린 시절의 기억부터, 첫 데이트,

     죽은 후 일어날 것이라고 믿는 모든것에 대해 몇 시간 동안 질문을 던진다.

     Charlotte와 그녀의 언니는 주어진 질문 외에 좀 더 개인적인 질문을 추가 할 수 있었다.

     예를 들어 어떤 책을 좋아하셨나요? 1970년대 영국에서 압도적으로 남성이 많고 특원을 누리는 법조계

     엄마는 어떻게 진출하셨나요? 우리가 어렸을 때 함께 하던 게임을 발명하게 된 동기는 무엇입니까?

     와 같은 질문등을 추가하였다. 

     그 후 HereAfter는 질문에 대한 답변을 받아 음성 비서를 만들기 시작하였고 몇 달 후 Charlotte은 Vlahos로 부터

     가상의 부모님이 준비되었다는 연락을 받았다. 

     챗봇(가상의 부모님)은 전화나 Amazon Echo 장치의 Alexa 앱을 통해 통신할 수 있었다.

     실제로 대화가 가능했지만 제한적이거나 실수도 있었다.

     하지만 가상 버전과 대화할 때마다 실제 부모님과 대화할 수 있다는 생각이 들었다.

     하지만 이 챗봇도 많은 위험을 가지고 있다.

     이런 서비스는 데이터 이용에 대한 개인 정보 보호와 관련하여 몇 가지 복잡한 윤리적 문제를 가지고 있다.

     또한 슬픔의 극심한 단계에서는 비현실감이 강하고 자신이 사랑하던 사람이 사라졌다는 사실을 받아들일 수 없다는 느낌을

     받을 수 있고 이러한 종류의 격렬한 슬픔은 정신 질환을 유발 할 수 있다고 전문가들은 경고한다. 

     HearAfter의 챗봇은 완전히 새로운 대화를 나누는 것이 아니라 누군가의 삶의 이야기,

     그 누군가에 대한 기억을 보존하는 것을 목표로 한다.

     이 기술이 사람을 재창조하거나 보존한다고 생각하지 않도록 주의해야 한다.

     어떤 사람들에게는 사랑하는 사람들이 떠난 후 그들의 목소리를 듣는 것이 애도 과정에 도움이 된다고

     임상 심리학자인 Erin Thompson은 말한다.

     더 많은 대화를 나눌 수 있는 가상 아바타가 당신이 사랑하고 잃어버린 사람과 연결을 유지하는 가치 있고

     건강한 방법이 될 수 있다고 말한다.

     특정 사람의 데이터 (주고 받은 메세지, 일기 등)로 훈련시킨 이 챗봇은 특정 사람 쓰던 말투, 이모티콘등을 사용하여

     사랑하는 사람을 잃은 슬픈 사람에게 죽었지만 아직 함께 있다는 위로를 준다.  

     실제로 저널리스트 Jason Fagone은 GPT-3를 기반으로 제작된 Project December 소프트웨어로 죽은 약혼자의

     오래된 텍스트, 페이스북 메세지를 이용하여 여자친구 Jessica와 가상 시뮬레이션을 한 Joshua Barbeau 대한 관한 글을 썼다.

     사망한 자신의 여자친구를 오랫동안 잊지 못한 Joshua가 Project December 가상 시뮬레이션을 통해서

     Jessica와 대화를 하면서 들었던 생각과 느낌, 감정등을 사람들에게 공유하였다. 

     CodePen을 돌아다니다가 tim의 Image-Rasterizer 작품을 보고 안 따라 할 수가 없었다.

     정말 친절하시게 tutorial까지 올려 주셔서 쉽게 따라 해 볼 수 있었다.

     Processing은 컴퓨터 프로그래밍의 본질을 시각적 개념으로 프로그래머가 아닌 사람들에게 교육할 목적으로

     뉴 미디어 아트, 시각 디자인 공동체를 위해 개발된 오픈 소스 프로그래밍 언어이자 통합 개발 환경이다.

     여기 들어가서 Processing을 다운받았다. (현재는 Processing 4.0.1 버전까지 나옴)

     다운 받고 Processing - 3.5.4 (뒤에 3.5.4버전을 의미함) 폴더에 들어가면 processing.exe 파일이 보인다.

     processing.exe 누르면 바로 실행이 되면서 밑에 처럼 흰 창이 뜬다. 

     이 창에 원하는 코드를 넣어서 실행시키면 된다. 나는 Tim의 코드를 작성해서 넣었다.

     img에는 비너스 사진을 직접 다운받아서 'venus.jpg' 로 저장하여 사용하였다. (사진 경로 다 적어주어야 한다.)

int age = 34;
PImage img; 

void setup() {
  size(800,800);
  img = loadImage("venus.jpg"); 
  img.resize(800,800);

}

void draw() {
  background(255);
  
  fill(0);
  noStroke();

  
  float tiles = mouseX/10;
  float tileSize = width/tiles;
  
  translate(tileSize/2, tileSize/2);
  
  for (int x = 0; x < tiles; x++) {
    for (int y = 0; y < tiles; y++) {
      color c = img.get(int(x*tileSize),int(y*tileSize));
      float size = map(brightness(c),0,255,20,0);
      
      ellipse(x*tileSize, y*tileSize,size,size);

    }
  }
}

     좌측 상단에 있는 실행 버튼▶을 누르면 짜잔!!!

     마우스를 움직일때마다 그림이 바뀐다. 너무 멋지지 않은가!!

     <참조>

    https://www.youtube.com/watch?v=XO8u0Y75FRk 

    https://tester188.tistory.com/m/25

     몇일전 stable_diffusion 모델을 실제로 사용해보고 딥러닝 텍스트 이미지 모델에 관심이 생겼다.

     구글의 Imagen은 텍스트 입력을 기반으로 이미지를 생성하는 인공지능(AI) 이다.

     텍스트를 입력하면 인공지능이 텍스트에 가장 적합한 이미지를 찾아내 명령대로 이미지를 만들어낸다.

     구글의 Imagen은 텍스트를 이해하는 대형 변환기(transformer) 언어모델(T5)의 성능을 기반으로 정확도와 높은 이미지를

     생성하는 확산 모델을 결합한다.

     Imagen을 통해 텍스트 전용 말뭉치로 사전 훈련된 거대한 언어모델의 텍스트 임베딩이 모델 훈련에 이미지-텍스트 데이터만

     사용하는 것보다 텍스트-이미지 합성에 효과적이라는 것을 발견할 수 있었다.

     4월에 공개한 OpenAI의 DALL-E2 보다 훨씬 나은 성능 보여준다고 한다.

     위의 Imagen 웹사이트에 들어가면 지시 텍스트와 그에 따라 출력된 결과 이미지의 사례가 몇 가지 소개되어있다.

     Imagen은 무한한 창의성의 잠재력을 갖고 있지만 구글은 Imagen을 대중에게 제공하지 않기로 결정했다.

     Imagen은 인터넷에서 정보를 수집하고 학습해 이미지를 생성하기 때문에 고정관념과 편견이 넘쳐날수있고     

     그에 따라 Imagen이 생성하는 이미지에 반영될 우려가 있기 때문이다.

    <출처>

    http://www.popsci.co.kr/news/articleView.html?idxno=11984

    http://www.aitimes.com/news/articleView.html?idxno=144897 

     최근에 친구를 통해서 Stable Diffusion 모델에 대해서 들었다.

     Stable Diffusion은 2022년 스타트업 StabilityAI에서 출시한 딥 러닝 텍스트-이미지 모델이다.

     주로 텍스트 설명에 따라 세부 이미지를 생성하는 데 사용되지만 인페인팅, 아웃페인팅 및 생성과 같은

     다른 작업에도 적용될 수 있다.

     쉽게 설명하면 내가 텍스트로 설명을 하면 이 모델이 그에 맞는 이미지를 만들어 내는 것이다.

     한번 해보고 싶어서 colab으로 모델을 간단하게 돌려봤다.

      https://huggingface.co/CompVis/stable-diffusion-v-1-4-original     

      위 사이트에 들어가서 우측 상단에 Sign-Up 을 눌러서 이메일로 가입을 한다.

      그럼 가입한 이메일 주소로 이메일이 오는데 그 메일을 클릭해서 confirm을 해주어야 회원가입이 끝난다.

      그 다음에 Access Token을 만들어 주어야 하는데 

     로그인을 하고 Setting/tokens 페이지로 찾아들어가서 'New token'을 눌러준다.

      이런 화면이 뜨면 Name은 아무거나 쓰고 Role은 write으로 설정하고 Generate a token 버튼을 눌러주었다.

      그럼 token이 생성되는데 나중에 colab에서 복사해서 사용할 것이다.

      그런 다음 colab으로 들어가서 코드를 돌려보았다.

     1. 먼저 GPU 런타임을 사용하여 이 노트북을 실행하고 있는지 확인한다.

         현재 연결된 GPU는 Tesla T4로 15109MiB 사용이 가능하다.

     2. 그 다음 diffusers==0.3.0과 sciphy, ftfy 및 transformer를 설치한다.

     3. 이 모델을 사용하려면 이 모델의 라이센스에 동의하여야 한다. 여기로 들어가서 라이선스를 읽고 동의하면 수락을 누른다. 

     4. colab이 외부 위젯을 비활성화했기 때문에, 활성화 시켜야 한다. 아래의 코드로 활성화 시킨후 로그인을 진행한다.

    5. notebook_login()을 실행하면 위와 같은 그림이 출력된다. 아까 우리가 받은 token을 입력하고 Login 버튼을 누른다.

      그럼 아래와 같은 결과가 출력된다.

     6. 다음으로 사전 훈련된 가중치(pre-trained weights) 를 로드한다.

     7. 다음으로, 더 빠른 추론을 위해 GPU로 파이프라인을 이동시킨다.

     8. 그럼 이제 출력해보자. prompt 창에 내가 표현하고 싶은 이미지에 대한 설명을 넣는다.

        먼저 예제로 나와있는것 부터 해보았다.

        "a photograph of an astronaunt riding a horse" :  우주 비행사가 말을 타고 있는 사진

     우주 비행사가 말을 타고 있는 사진이 출력되었다. 다시 돌리면 또 다른 그림이 출력된다.

     9. 이번에는 좀 더 디테일하게 설명을 하여 출력을 해보자. 

         "interior design, open plan, kitchen and living room, modular furniture with cotton textiles, wooden floor,

         high ceiling, large, steel windows viewing a city"

        "a cute magical flying dog, fantasy art drawn by disney concept artists, golden colour, high quality,

         highly detailed, elegant, sharp focus, concept art, character concepts, digital painting, mystery, adventure"

     너무 멋지지 않은가? 정말 많은 곳에 활용 될 수 있을거 같다.

     <Reference>

     https://huggingface.co/CompVis/stable-diffusion-v1-4

     https://www.analyticsvidhya.com/blog/2022/09/stable-diffusion-ai-has-taken-the-world-by-storm/

     https://bytexd.com/get-started-with-stable-diffusion-google-colab-for-ai-generated-art/                  

     https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts/    

     데이터 분석 공부를 하다보면 자연스럽게 개인정보 문제에 대해 생각하게된다.

     최근들어 자연어 처리, 텍스트 분석, 언어 모델에 관심이 많아졌다.

     사람이 쓴 것 같은 텍스트를 생성하는 대형언어모델(large language model), 

     OpenAI의 GPT-3, Google의 람다(LaMDA), Meta의 OPT-175B 등, 은 어떻게 학습되는지 찾던 중

     이 글을 접하게 되었다.

     언어 모델이 발전함에 따라 더 능력 있고, 일반적이고 유용해져서 질문 답변, 번역 등과 같은 응용 프로그램 에서

     획기적인 향상을 가져왔지만 역시나 개인정보 문제는 피하지 못했다.

     대형언어모델은 방대한 텍스트 데이터를 기반으로 훈련하는 딥러닝 알고리즘인데 여기서 훈련시키는

     텍스트 데이터는 공개적으로 이용 가능한, 인터넷에 사람들이 작성한 텍스트를 기반으로 한다.

     내가 블로그에 쓴 글이나 사진, 또는 게시물에 단 댓글까지, 모든 텍스트 데이터를 수집하여 훈련시킨다.

     이 글을 쓴 멜리사 헤이킬레(Melissa Heikkilä)는 GPT-3 모델이 그녀에 대해 얼마나 아는지 대해 궁금하여

     GPT-3 모델에게 자신에 대해 물어보았다.

     그녀가 누구인지는 정확히 맞췄지만 그 외에 그녀에 대해서 알지 못했다.

     그 이유에 대해서 그녀는 자신은 태어나서 현재까지 유럽에서 살고 있고 유럽에서는 2018년부터 강력한

     개인정보 보호 방침인 '유럽연합 일반 개인정보 보호법(General Data Protection Regulation, GDPR)'

     이 시행 되고 있기 때문에 가능한 일일지도 모른다고 했다.

     그래서 그녀는 그녀의 상사인 MIT 테크놀로지 리뷰의 편집장 맷 호넌(Mat Honan)에 대해 얼마나 아는지

     GPT-3 모델에 그에 대해서 물어보았다. 맷 호넌은 그녀와 달리 미국 캘리포니아에 살고 있으며 캘리포니아

     데이터 보호법은 2020년이 되어서야 발효되었기에 그에 대해서는 더 많이 알 수 있을거라고 생각했다.

     역시나 였다. 그가 누구인지 부터해서 그가 어디 사는지, 그의 가족, 직장 주소, 전화번호, 신용카드 번호 등

     그에 대한 많은 정보를 알고있었다. 하지만 틀린 정보가 더 많았는데 난 이것이 정말 큰 문제라고 생각한다.

“GPT-3 predicts the next series of words based on a text input provided by the user. Occasionally, the model
 may generate information that is not objectively accurate because it is trying to produce plausible text based
 on statistical patterns in its training data and user-provided context; this is commonly known as ‘hallucination,’”
 says an OpenAI spokesperson.

     GPT-3 모델은 사용자가 제공한 텍스트 입력을 기반으로 다음 단어를 예측하는데 때때로 모델은 훈련 데이터        

     및 사용자 제공 텍스트의 통계적 패턴을 기반으로 그럴듯한 텍스트를 생성하려고 하기 때문에 객관적으로 

     정확하지 않은 정보를 생성할 수 있다. 이것은 일반적으로 '환각'이라고 알려져 있다 라고 OpenAI 대변인이

     말했다.

     모델이 더 커질수록(더 방대한 양의 데이터를 학습할수록) 사람들에게 가짜 정보나 누군가에게 해가 될 수

     있는 정보를 제공할 수 있고 그렇게 조작된 정보는 쉽게 사라지지 않을 가능성이 크고 삭제하기도 어려운

     일이다.

     또 다른 문제점으로는 대형언어모델의 데이터베이스에는 개발자들이 그들의 작업을 올리는 깃허브 (Github)의 

     소스 코드와 책과 같은 저작권이 있는 데이터도 포함되어 있을 가능성이 크다.

     그 데이터를 가지고 학습을   한다면 이러한 언어모델을 사용해서 다른 곳에서 복사한 것이 분명한 코드들을

     알아내고 그걸 이용자들이 사용 한다면 여기에는 어떤 법적 책임이 있을까?

     이런일이 실제로 일어나고 있다고 한다.

     언어 모델이 인종차별적, 성차별적, 폭력적 사고방식을 어떻게 학습하는지 보여주는 연구가 이미 존재한다.

     이 같은 언어 모델은 ‘의사’를 남성과, ‘간호사’를 여성과 연관 짓고, 좋은 의미의 단어는 백인과, 나쁜 의미의

     단어는 흑인과 연관 짓는다. 이 모델에 우파 성향 단어를 던지면 대량학살, 자해, 아동성폭력 등을 부추기는

     말을 하기 시작할 것이다. 이는 거짓 정보를 대량으로 유포하는 결과로 이어질 수 있다고 전문가들은 경고한다.

     팀닛 게브루(Timnit Gebru), 구글의 인공지능 윤리그룹 리더였던 그녀는 위에 내용을 지적하며 앵무새처럼   

     노출된 데이터를 기반으로 반복학습하는 람다(구글 챗봇 AI)와 같은 거대 언어모델의 위험성을 경고하다 2020년

     구글에서 해고됐다.

     그녀와 논문 공동 저자였던 마가렛 미첼(Marget Mitchell) 또한 2021년 구글에서 해고되었다. 

     이런 상황에서는 인공지능에 대한 윤리적인 문제는 끊임없이 제기 될 것이다.

     데이터 분석일을 하고 싶은 사람으로써 신중하게 고민해보아야 할 문제가 아닌가 싶다.

핵심 내용

  구글로 검색을 하다가 내가 찾는 정보가 있을거 같이 보이는 웹 페이지에 들어가보면  관련성이 없거나 

  클릭을 유도하기 위해 설계된 것처럼 보이는 낚시성 콘텐츠들이 많았다.

  구글은 실제로 검색 결과에 관련성 높은 정보가 나오도록 매년 많은 업데이트를 실시하는데

  요번에 있을 업데이트에서 이런 낚시성 콘텐츠를 제거하고 사람들이 유용한 콘텐츠를 더 쉽게 찾을 수 

  있도록 일련의 검색 개선 사항을 출시할 예정이라고 한다.

  구글 검색 담당자 대니 설리번(Danny Sullivan)에 따르면 테스트에서 특히 온라인 교육, 예술, 엔터테인먼트,

  쇼핑 및 기술과 관련된 검색에서 업데이트 후 유용한 개선 사항을 보았다고 밝혔다.

  또한 제품 리뷰가 구매 결정을 내리는 데 중요한 역할을 하는것을 알기에 작년에 구글은 검색 결과에 대한

  직접적인 전문 지식을 바탕으로 보다 유용한 리뷰를 보여주기 위해 일련의 업데이트를 시작하였고,

  이러한 시스템을 지속적으로 개선해 왔으며 몇 주 안에 고품질의 독창적인 리뷰를 더 쉽게 찾을 수 있도록

  또 다른 업데이트를 출시할 예정이라고 한다.