그래도 직진

 1. 품사 태깅(Part-of-Speech Tagging)이란?

         품사 태깅은 형태소(의미를 가진 가장 작은 말의 단위)에 대해 품사를 파악해 부착(tagging)하는 작업을 말한다.

   a)  형태소란?
         형태소는 '의미를 가진 가장 작은 말의 단위'를 의미한다.
         예를 들어 '책가방'이라는 단어는 '책'과 '가방'으로 나눌 수 있고 '가방'을 '가'와 '방'으로 나누면 본래의 뜻을 잃어버린다.
        그러므로 '책' 과 '가방'은 형태소로 볼 수 있으나, '가'와 '방'은 형태소라고 볼 수 없다.

   b) 품사란?
       품사는 명사, 대명사, 수사, 조사, 동사, 형용사, 관형사, 부사, 감탄사와 같이 공통된 성질을 지닌 낱말끼리 모아 놓은
       낱말의 갈래'를 말한다.

 2. 영어로 된 텍스트에 대한 품사 태깅 _ NLTK

     품사의 약어를 잘 모를 경우에는 nltk.help.upenn_tagset()을 사용해 품사 약어의 의미와 설명을 볼 수 있다.

 3. 한글로 된 텍스트에 대한 품사 태깅 _ KoNLPy

     그렇다면 NLTK로 한국어 문서에 대해서도 품사 태깅도 가능할까? 안된다.

     파이썬에서 쓸 수 있는 대표적인 한국어 형태소 분석 및 품사 태깅 라이브러리는 KoNLPy가 있다.

     KoNLPy는 Hannanum, Kkma, Komoran, Twitter(Okt), Mecab 이렇게 다섯 종의 형태소 분석기를 제공한다. 

     보통 Twitter(Okt) 속도가 빨라서 많이 사용하지만 KoNLPy 홈페이지에서 각 분석기 간의 성능을 비교해보고 용도에 맞는 

     분석기를 선택하여 사용한다. 참고로 Mecab은 윈도우를 지원하지 않는다.  

     REFERENCE

     파이썬 텍스트 마이닝 완벽 가이드(2022)

     1. 정규화(Nomalization)란?

        같은 의미를 가진 동일한 단어이면서 다른 형태로 쓰여진 단어들을 통일해 표준 단어로 만드는 작업을 말한다.

        예를 들어 '간다', '갔다', '가려고 한다.' 등은 '가다'라는 기본형이 변환된 것이고  am, are, is는 서로 다른 스펠링이지만 

        기본형인 be가 변환된 것이다. 

        이처럼 이렇게 동일한 단어이지만 다른 형태로 쓰여진 단어를 표준 단어로 만드는 작업을 정규화라고 한다.

        정규화 방법에는 표제어 추출(Lemmatization)과 어간 추출(Stemming)이 있다.

     2. 표제어 추출(Lemmatization)

       표제어(Lemma)는 '기본 사전형 단어' 정도의 의미를 갖으며 표제어 추출은 단어들로부터 사전에 정의된 기본형을

       찾아가는 과정이다.

       표제어 추출은 단어들이 다른 형태를 가지더라도, 그 뿌리 단어를 찾아가서 단어의 개수를 줄일 수 있는지 판단한다.

       위에 예와 같이 am, are, is를 뿌리 형태인 be로 통합하는 방법을 말한다. 

     3. 어간 추출(Stemming)

       어간 추출은 '어형이 변형된 단어로부터 접사 등을 제거하고 그 단언의 어간을 분리해 내는 작업'을 말한다.

      a) 어형 : 단어의 형태
      b) 어간(stem) : 단어의 의미를 담고 있는 단어의 핵심 부분
      c) 접사(affix) : 단어에 추가적인 의미를 주는 부분

      예를들어 '간다', '갔다'에서 바뀌지 않는 부분인 '가'를, '작다', '작으니'에서 바뀌지 않는 부분인 '작'을 어간이라고 한다. 

      동사와 형용사가 서술의 시제나 묘사 의도에 따라 다양하게 변화할 때 변화하지 않는 부분을 어간이라고 하고,

      어간 추출은 그러한 어간을 분리하는 작업이다.

      어간 추출 알고리즘에는 포터 스테머(Porter Stemmer), 랭카스터 스테머(Lancaster Stemmer)가 있다.

        위의 결과와 같이 포터 스테머와 랭카스터 스테머의 결과가 다르다.

        어떤 스테머를 선택할지는 둘 다 수행해서 최종 결과를 비교해 보면 결정할 수 있다.

        분석 목적이나 대상에 따라 더 좋은 성능을 보이는 스테머가 달라질 수 있기 때문이다. 

      REFERENCE

      https://wikidocs.net/22530

      파이썬 텍스트 마이닝 완벽 가이드(2022)

     1.  토큰화란? 

        주어진 텍스트에서 토큰(token)이라 불리는 단위로 나누는 작업을 토큰화(tokenization)이라고 한다.

        토큰의 단위가 상황에 따라 다르지만, 보통 의미있는 단위로 토큰을 정의한다. 

     2. 단어 토큰화(Word Tokenization)

        토큰의 기준을 단어(word)로 하는 경우를 말한다. 

        다만, 여기서 단어(word)는 단어 단위 외에도 단어구, 의미를 갖는 문자열로 간주되기도 한다.

        예를들어 구두점(punctuation) 같은 문자를 제외시키는 간단한 단어 토큰화 작업을 해보면

       *구두점 : 마침표(.), 컴마(,), 물음표(?), 세미콜론(;), 느낌표(!) 등과 같은 기호

       입력 : Time is an illusion. Lunchtime double so!

       출력 : 'Time', 'is', 'an', 'illusion', 'Lunchtime', 'double', 'so'

        출력 결과에서 보듯이 입력으로부터 구두점을 제외시킨 후 띄어쓰기를 기준으로 잘라 낸 결과를 확인 할 수 있다.

        토큰화 작업은 단순히 구두점이나 특수문자를 제거하는 정제(cleaning) 작업을 수행하는 것으로 해결 되지 않는다.

        토큰이 의미를 잃어버리는 경우가 발생하기 때문이다.

        또한 띄어쓰기 단위로 자르면 사실상 단어 토큰이 구분되는 영어와 달리, 한국어는 띄어쓰기만으로는 단어 토큰을

        구분하기 어렵다. 이점을 유의하여야 한다.

• word_tokenize와는 달리 WordPunctTokenizer는 is, ', s의 세 토큰으로 분리하는 것을 볼 수 있다.
  이는 두 토크나이저가 서로 다른 알고리즘에 기반하기 때문이다.     
• 케라스의 text_to_word_sequence는 기본적으로 모든 알파벳을 소문자로 바꾸면서 마침표나 컴마, 느낌표 등의 구두점을 제거한다.
  하지만 it's와 let's 같은 경우 아포스트로피는 보존하는 것을 볼 수 있다.

• 영어는 단어 토큰화를 단어 단위로 분리한다고 설명할 수 있으나, 한글을 기준으로 할 때에는 이 설명이 명확하지 않다.
• 한글을 대상으로 하는 토큰화는 엄밀하게 말하자면 의미를 가지는 최소단위, 즉 형태소로 텍스트를 분리하는 것을 의미한다. 
  그런 의미에서 '안녕하세요'의 경우 '안녕'과 '하세요'를 분리하는 것이 더 맞을 것이다.
• 영어는 보통 모든 단어를 공백으로 분리할 수 있어 어렵지 않게 단어 토큰화할 수 있지만, 한국어에서는 의미를 이루는 최소 단위가
  공백 없이 붙어 있는 경우가 많아서 공백을 이용한 분리만으로는 부족하게 느껴진다.
• 공백만으로 토큰화가 잘 되지 않는다면 새로운 방법으로 단어를 분리해야 하고 이와 같은 작업을 단어 분할(word segmentation)이라고 한다.
• 한국어 텍스트를 정확하게 토큰화하려면 다양한 단어 분할방법을 적용할 필요가 있다.

     3. 문장 토큰화(Sentence Tokenization)

        문장 토큰화는 여러 문장으로 이루어진 텍스트를 각 문장으로 나누는 것을 말한다. 

        즉, 토큰의 기준을 문장(sentence)로 하는 경우를 말한다.

• NLTK는 영어 학습 데이터에 대해 사전학습된 모델을 사용해 토큰화한다. 다른 언어에 대해 문장 토큰화를 하려면 사전 학습된 
  모델을 지정해 불어 올 수 있다.
• NLTK에는 한글에 대해 사전학습된 모델이 없다. 그러나 문장 토큰화는 각 문장의 끝에 있는 마침표 등을 기준으로 분리하도록 
  학습되어 있으므로, 영어로 학습된 모델도 한국어에 대해 어느 정도 잘 작동할 것으로 예측할 수 있다.

     REFERENCE

      https://wikidocs.net/21698

      파이썬 텍스트 마이닝 완벽 가이드(2022)

     주어진 텍스트에서 용도에 맞게 토큰을 분류하는 작업을 토큰화(tokenization)라고 하며, 토큰화 작업 전, 후에는

     텍스트 데이터를 용도에 맞게 정제(cleaning) 및 정규화(normalization)하는 일이 항상 함께한다.

     1. 정제(Cleaning)란?

         정제는 주어진 텍스트에서 노이즈 데이터를 제거하는 것을 말한다. 

         노이즈 데이터란 자연어가 아니면서 아무 의미도 갖지 않는 글자들(특수 문자 등)을 의미하기도 하지만,

         분석하고자 하는 목적에 맞지 않는 불필요 단어들을 말하기도 한다.

         불필요 단어들을 제거하는 방법으로는 불용어 제거와 등장 빈도가 적은 단어, 길이가 짧은 단어들을 제거하는 방법이 있다.

     2. 불용어(Stopword) 제거

         불용어는 의미 없는 특수문자 들과는 별도로, 실게 사용되는 단어이지만 분석에는 별 필요가 없는 단어들을 말한다. 

         예를 들어 I, my, me, over, 조사, 접미사 같은 단어들을 말하며, NLTK에서는 100여개 이상의 영어 단어들을

         불용어로 패키지 내에서 미리 정의하고 있다.

       또한, 사용자가 불용어 사전을 만들어서 사용할 수도 있다.

     나의 불용어 사전에는 'i', 'go', 'to' 를 넣었다. 그래서 NLTK 불용어 패키지를 사용했을때의 결과는

     'go'를 포함하고 있지만 나의 불용어 사전을 사용했을때의 결과에는 'go'를 포함하고 있지 않다.

     반대로 NLTK 불용어 사전에는 "couldn't"가 불용어로 되어있어서 결과에 나오지 않았는데

     나의 불용어 사전에는 "couldn't"가 불용어로 포함 되어있지 않기 때문에 결과에 "couldn't"가 포함됐다. 

     REFERENCE

      https://wikidocs.net/22530

      파이썬 텍스트 마이닝 완벽 가이드(2022)

     차경진 교수님 책을 보다가 Coca-Cola's Twist Bottle Campaign에 대해 접하게 되었다. 

     이 캠페인은 코카콜라가 대학교에 처음 입학한 신입생들을 상대로 진행한 마케팅이었는데,

     영상을 보면 알겠지만 뚜껑을 혼자서는 열지 못하게 되어있다.

     다른 친구와 서로의 코카콜라 뚜껑을 결합해 함께 돌려야만 열 수 있게 되어있다.

     학교에 갓 입학하면 사람들과 서먹하고 어색하지만 이 캠페인을 통해 사람들을 모이게 하고 연결시키는데

     코카콜라가 매개체의 역할을 해낸 것이다. 

     이 경험은 신입생들에게 잊지 못할 추억을 기억되지 않았을까?

     이렇게 코카콜라는 단순히 제품을 판매하는 것을 넘어서 고객에게 사람들끼리 서로 연결되고 다른 사람과 함께하는

     즐거운 순간들을 제공하고, 이야기하게 만드는 경험의 가치를 만들어 가고 있다.

     요즘 연일 이슈가 되고 있는 화물연대 파업이 궁금하여 알아보았다. 

     1. 화물연대란?

        개인 화물차 운전 기사들의 노동조합으로 2002년 10월 출범하였다.

     2. 화물연대가 파업을 하는 이유는?

        화물차 안전운임제의 법제화와 이에 대한 일몰제 폐지 요구, 그리고 적용 품목 확대 요구가 주요 이유이다.

     3. 화물차 안전운임제란?

         화물 운송 종사자의 근로 여건을 개선하기 위해 화물차주가 지급받는 최소한의 운임을 규정한 제도다.

         쉽게 설명하면 안전운임제가 시행되기 전에는 운송료가 턱없이 적었다.

         그렇게 되다보니 화물차 운전 기사들은 조금이라도 더 벌고자 즉, 더 일을 많이 하고자 도로위에서 빨리 달리고,

         화물차에 더 많은 짐을 싣게 되었고 이런 행동들이 도로를 달리는 일반 시민들에게는 큰 위험과 공포로 다가 왔다.

         또한 잠 자는 시간을 줄여가면서 일을 하다보니 졸음 운전을 하는 기사들이 많아져 더 위험한 상황이 만들어졌다.

         이런 문제들을 해결하고자 안전운임제가 2020년부터 시행되었다.

     4. 일몰제란?

         시간이 지나 해가 지면 하루가 마감되는 것과 같이, 어떠한 제도를 만들었을때 그 효력의 기간을 영구히 하지 않고

         그 시행 기간을 정하는 제도를 말한다.

         화물차 안전운임제는  2020년 1월 1일 - 2022년 12월 31일까지 3년동안 한시적으로 운영하고 이후 종료 시킬 수 있는

         일몰제를 적용 하였다.

          다시 문제로 돌아가면 화물연대는 화물차 안전운임제를 영구화(법제화) 하길 원하고 있다 (일몰제 폐지).

     5. 쟁점은?

         화물연대는 안전운임제 영구화와 화물차 안전운임제 품목 확대를 원하고 있다.

         현재 화물차 안전운임제는 수출입 컨테이너와 시멘트에 한해 시행되고 있는데 적용 품목에 철강재, 자동차, 위험물,

         사료/곡물, 택배 지/간선 등 5개 품목을 추가해 줄 것을 요구하고 있다.

         하지만 정부(국토교통부)는 화물 운송업에 종사하는 분들의 최저임금을 보장해주다보니 기업(화주)에서는

         이런 운송비용을 국민들에게 전가시켜 국민들 부담이 커지게 된다고 주장하면서 제도의 적용 범위를 확대하지 않고

         기존대로 수출입 컨테이너와 시멘트 운반 차량에 한해서만 2025년까지 3년 더 연장하는 방안을 제시하였다.

         화주란 수출입하는 무역상들을 말하는데 1인 무역사장도 화주, 기업(예 삼성물산)도 화주 즉, 배에 실은 물건의 주인,

         화물차에 물건을 실어 보내는 사람이나 기업을 말한다.

         그림과 같이 화주는 당연히 화물차의 운임비를 지금하여야 하는데, 안전운임제가 시행되면서 운임비가 높아졌다.

         기업 입장에서는 운송 비용이 높아지고 결국 국민들에게 전가 시키게 된다는게 정부의 주장이다.

         화주가 표준 운임보다 적게 지급하는 경우 화주에게 과태료 500만원을 부과하기 때문에 화주협의회에서는

         화물차 안전운임제 폐지를 주장하고 있다.

     6. 현재 상황

         화물연대가 파업을 시작하면서 국민들이 피해를 입기 시작했고 (주유소 기름이 품절..) 정부는 대대적인 무기한 파업에 나선

         화물 운송자를 상대로 '업무 개시 명령' 조치를 내렸다. 

     7. 업무 개시 명령이란?

         동맹 휴업, 파업등의 행위가 국민 생활이나 국가 경제에 심각한 위기를 초래할 것으로 판단될 떄는 강제로 영업에 복귀하도록

         내리는 명령을 말한다. 정당한 사유 없이 이를 어길시 우행 정지/자격 정지 같은 행정 처분뿐 아니라 3년 이하의 징역 또는

         3000만원 이하의 벌금형에 처할 수 있다.

         문제 해결을 위해서는 주장에 대한 설득력있는 근거, 예를들어 안전운임제 도입으로 인한 화주와 화물 운전자의 비용과

         수입이 어떻게 변화가 있었는지에 대한 데이터를 제시해야할 필요가 있다고 생각한다.

     Reference

     https://blog.naver.com/greenher/222942118371

     https://blog.naver.com/ggokyu/222942291108    

     https://blog.naver.com/gud669/222941370480

     https://blog.naver.com/ggbps/222942611322      

     데이터 분석에 관련된 영상을 찾아보다가 야놀자 Data Platform 유닛장으로 계시는 김영진님 영상을 본 적 있는데 

     읽어봤으면 하는 책으로 추천해주셔서 읽게 되었다.

     이 책의 필자 카시와기 요시키님은 민간 기업이나 지바자치단체 등을 고객으로 하여 데이터 활 용 기술과 문제 해결 능력,

     논리 사고력을 배양하는 일에 힘써 온 사람이다.

     데이터를 활용해서 문제를 해결하거나 상대에게 설득력 있는 제안과 프레젠테이션을 하고 싶어서 뭔가를 해보지만, 

     결국은 데이터를 가공한 표나 그래프를 쳐다보며 대체 여기서 어떤 것을 말할 수 있을까? 에 대해서 고민하는 사람에게

     본질적이고 가치 있는 데이터 활용 방식에 대해 소개하는 책이다.

     딱 나의 문제다. 데이터 경진대회 참가하면 주최 기업에서 데이터를 준다. 그럼 이 데이터로 뭘 할 수 있을지 고민만 하다

     시간이 다 가고 결국 기간내에 결과물을 만들어내지 못했던 적이 한두번이 아니었다.

     뭐가 문제 였을까? 이 책에 답이 있다.

     문제는 바로 눈앞에 있는 데이터를 보는 것에서부터 시작하기 때문이라고 말하고 있다.

     나열된 숫자를 보면 일단 그래프를 그려보고, 평균과 합계를 내보는 등의 행동을 취한다. 

     데이터가 직접적인 답을 주는 경우는 없다. 내가 무엇을 알고 싶은지, 이를 알게되면 무엇을 하고 싶은지,

     이를 위해서는 어떤 데이터가 필요한지를 생각하는 것이 중요하다.

     자신의 목적과 문제를 올바른 데이터로 적절히 활용해서 가치 있는 결과물을 낼 수 있도록 하는 사고방식과 기술을

     소개하는 책이다.

     데이터 활용에서 먼저 해야하는 작업은 '목적과 문제를 정의하는 일' 이다.

     '나는 무엇을 알고 싶은가?'

     '나는 무엇을 해결하고자 하는가?'

     이 두가지를 명확히 하는 것에서부터 활용 프로세스는 시작한다.

     예를 들어 '인구가 감소하고 있다'는 현상 그 자체이고 그렇다면 해결하는 문제가 무엇인지를

     현상을 통해서 찾아야 한다. (ex. 저출산 고령화 문제) 

     '문제가 무엇인가?'

     '그 문제를 일으키는 원인은 무엇인가?'

     '그 원인에 대한 해결 방안은 무엇인가?'

     이 3가지를 구분해 인식하는 것이 중요하다.

     데이터를 가지고 여러 지표를 통해 실적 추이나 결과를 그래프 등으로 알기 쉽게 보여주는 것은 단지 현상을 나타내줄 뿐이고

     데이터를 보다 전략적으로 의사 결정이나 문제 해결에 등에 활용한다고 할 때는 현상을 나타내주는 단계를 넘어서서,

     다음 단계로 진행해야 '데이터를 활용한다' 라는 사실을 실감할 수 있을 것이다.

     사실과 결과의 데이터를 그래프나 표, 지표 등으로 표시하는 것과 내용을 평가해서 구체적인 행동과 판단으로 연결하는 것,

     이 둘을 정확히 구분해야하고, 후자에 필요한 평가를 준비하는 것이 바로 데이터 활용의 중요한 단계이다. 

    데이터 분석 공부를 하면서 Seth Stephens-Davidowitz에 대해서 알게되었고 그때 처음 이 책을 접하였다.

     저자는 사람의 생각을 새로운 방식으로 접근하여 연구하였고 또한 자신이 궁금했던 것들을 어떻게 접근하여,

     어떤 방식으로 분석하였는지를 보여주었는데 

     너무 흥미롭게 읽어서 결국 책을 사두고 다시 읽어보고 다시 읽어보곤 했던 책이다.

     우리는 사람들이 어떤 생각을 가지고 있는지, 대선에서 누굴 뽑을지 등 사람들로부터 많은것을 얻기위해

     설문조사를 한다.

     그렇다면 사람들은 설문조사에서 솔직하게 대답하는가?

     사회적 바람직성 편향 (socia desirability bias) 이라는 것이 있다.

     사람들이 사회적으로 인정 받을 수 있는 방향으로 대답하는 경향을 말한다.

     예들들어 '지난 대통령 선거에 투표를 했나요?', '최근에 기부를 한 적이 있나요?' 라는 질문에

     설문조사에서는 '네' 라는 답변이 두 질문 모두 80%가 넘었지만 공식수치는 두 질문 다 60% 내외였다.

     즉, 설문조사에서 답하며 사람들은 당혹스러운 행동이나 생각을 축소해서 이야기 한다. 

     그럼 사람들은 언제 제일 솔직할까?

     사람들은 인터넷 검색창 앞에서 제일 솔직하다.

     저자는 구글에서 일하면서 검색어에 대해서 분석해왔고 그 결과를 책으로 보여주었다.

     많은 기업들이 마케팅 전략으로 A/B 테스트를 사용하고 있는데 A/B 테스트에 관한 다양한 예들과

     '실업률과 가장 긴밀한 연관어는 무엇일까?'

     '남성과 여성은 관심의 신호를 어떻게 보내고 파트너들은 그런 관심을 어떻게 얻어낼까?' 

     '폭력적인 영화가 개봉한 때에 범죄가 늘어났을까?' 등

      결과가 궁금하다면 꼭 한번 읽어보길 바란다.

     도서관에서는 다양한 행사들을 많이 한다.

      책을 빌리러 갈때마다 벽에 붙어있는 프로그램이나 행사 포스터를 꼼꼼히 보곤 하는데

      올 초에 더.읽.기 프로젝트 포스터를 보고 참여하였다.

      더.읽.기 프로젝트는 '더불어 읽고 기부하기' 라는 뜻으로 책을 읽고 독후감을 써서 기한내에 제출하면 되는데

      10권 이상 읽은 참가자는 문화상품권 1만원을 받고 1만원은 기부가 되고

      20권 이상 읽은 참가자는 문화상품권 1.5만원을 받고 1.5만원은 기부가 되는 프로젝트이다.

      책도 읽고 기부도 하고 좋은 취지의 프로젝트를 당연히 해야겠다고 생각하여 참여하였다.

      신청하면 노트를 주고 그 노트에 읽은 책에 대해 자유롭게 글을 쓰면 된다. (10줄 이상) 

      책은 많이 읽으려고 노력하지만 읽고 나면 나중에 기억이 나지 않을때가 많다.

      그래서 인상깊었던 책이나 글로 남겨 놓고 싶은 책들은 노트에 몇줄 적어놓곤 했는데

      어느 순간 귀찮아서 안하게 되었다.

      더.읽.기 프로젝트를 통해서 책을 읽고 난 후 나의 생각을 정리하는 시간을 가질 수 있었고,

      무엇보다 글쓰기는 내가 제일 어려워 하는것, 제일 잘 하고 싶은 것들 중에 하나인데

      20권 이상을 꾸준히 쓰는 연습을 하다보니 글 쓰기에도 자신감이 붙은거 같다.

      9월 중순에 제출하고 몇일전에 문화상품권과 독서기록장을 돌려받았다.

      뭔가 대단한걸 한것도 아닌데 왜 이렇게 뿌듯하던지.

      무엇보다 기부가 되었다는 사실에 기분이 더 좋았다.

      저번달에는 다 읽은 책을 강남도서관에 가져와서 기부하면 잡지나, 실로 만든 행주로 바꿔주는 행사도 있었는데

      이런 뜻깊은 프로젝트에 앞으로 많은 사람들이 참여했으면 좋겠다.

     사랑하는 가족, 연인, 친구를 준비없이 한순간에 잃게 된다면 어떨까?

     돌아가신 어머니, 아버지의 목소리가 너무 듣고 싶어진다면?

     사랑하는 사람이 떠난 후 우리는 그들의 사진을 벽에 붙이고, 그들의 생일에 산소에 방문하고

     우리는 마치 그들이 그곳에 있는 것처럼 그들에게 말하지만 대화는 항상 일방적이었다.

     AI 플랫폼 HereAfter는 사망한 사람이 살아 있는 동안 녹음한 음성을 기반으로 사람들이 '대화'를 할 수 있도록 하는 

     소프트웨어를 설계하였다.

     죽은 사람들과 "대화"할 수 있게 해주는 이와 같은 기술은 수십 년 동안 SF의 주류였다.  

     그러나 이제는 AI와 음성 기술의 발전 덕분에 현실이 되었고 점점 더 쉽게 접근할 수 있게 되었다.

     애플의 Siri나 아마존의 Alexa 같은 챗봇 및 음성 비서는 지난 10년 동안 수백만 명의 사람들에게 새로운 첨단 기술에서

     일상 생활의 일부가 되었고 일기 예보에서 삶의 의미에 이르기까지 모든 것에 대해 우리의 장치로 이야기한다는 아이디어에

     매우 편안한 삶을 살게 되었다.

     또한 AI LLM(Large Language Models)은 인간이 기계와 통신할 수 있는 훨씬 더 강력한 방법을 제공하였다. 

     이 글을 쓴 에디터 Charlotte은 Hereafter 공동 설립자인 James Vlahos가 ''가상 존재"에 대한 온라인 회의에서

     연설 하는 것을 보았고 그를 설득하여 그녀의 살아계신 부모님을 대상으로 소프트웨어를 실험할 수 있게 되었다. 

     우선 첫번째 단계는 인터뷰였다. 실제 표현처럼 보일려면 많은 데이터가 필요하다. 

     2020년 12월, HereAfter의 Meredith라는 여성이 Charlotte의 부모님을 인터뷰를 하였다.  

     '그들이 아직 살아 있을 때' 라는 주제를 가지고 작업을 시작하는 Hereafter는 가장 어린 시절의 기억부터, 첫 데이트,

     죽은 후 일어날 것이라고 믿는 모든것에 대해 몇 시간 동안 질문을 던진다.

     Charlotte와 그녀의 언니는 주어진 질문 외에 좀 더 개인적인 질문을 추가 할 수 있었다.

     예를 들어 어떤 책을 좋아하셨나요? 1970년대 영국에서 압도적으로 남성이 많고 특원을 누리는 법조계

     엄마는 어떻게 진출하셨나요? 우리가 어렸을 때 함께 하던 게임을 발명하게 된 동기는 무엇입니까?

     와 같은 질문등을 추가하였다. 

     그 후 HereAfter는 질문에 대한 답변을 받아 음성 비서를 만들기 시작하였고 몇 달 후 Charlotte은 Vlahos로 부터

     가상의 부모님이 준비되었다는 연락을 받았다. 

     챗봇(가상의 부모님)은 전화나 Amazon Echo 장치의 Alexa 앱을 통해 통신할 수 있었다.

     실제로 대화가 가능했지만 제한적이거나 실수도 있었다.

     하지만 가상 버전과 대화할 때마다 실제 부모님과 대화할 수 있다는 생각이 들었다.

     하지만 이 챗봇도 많은 위험을 가지고 있다.

     이런 서비스는 데이터 이용에 대한 개인 정보 보호와 관련하여 몇 가지 복잡한 윤리적 문제를 가지고 있다.

     또한 슬픔의 극심한 단계에서는 비현실감이 강하고 자신이 사랑하던 사람이 사라졌다는 사실을 받아들일 수 없다는 느낌을

     받을 수 있고 이러한 종류의 격렬한 슬픔은 정신 질환을 유발 할 수 있다고 전문가들은 경고한다. 

     HearAfter의 챗봇은 완전히 새로운 대화를 나누는 것이 아니라 누군가의 삶의 이야기,

     그 누군가에 대한 기억을 보존하는 것을 목표로 한다.

     이 기술이 사람을 재창조하거나 보존한다고 생각하지 않도록 주의해야 한다.

     어떤 사람들에게는 사랑하는 사람들이 떠난 후 그들의 목소리를 듣는 것이 애도 과정에 도움이 된다고

     임상 심리학자인 Erin Thompson은 말한다.

     더 많은 대화를 나눌 수 있는 가상 아바타가 당신이 사랑하고 잃어버린 사람과 연결을 유지하는 가치 있고

     건강한 방법이 될 수 있다고 말한다.

     특정 사람의 데이터 (주고 받은 메세지, 일기 등)로 훈련시킨 이 챗봇은 특정 사람 쓰던 말투, 이모티콘등을 사용하여

     사랑하는 사람을 잃은 슬픈 사람에게 죽었지만 아직 함께 있다는 위로를 준다.  

     실제로 저널리스트 Jason Fagone은 GPT-3를 기반으로 제작된 Project December 소프트웨어로 죽은 약혼자의

     오래된 텍스트, 페이스북 메세지를 이용하여 여자친구 Jessica와 가상 시뮬레이션을 한 Joshua Barbeau 대한 관한 글을 썼다.

     사망한 자신의 여자친구를 오랫동안 잊지 못한 Joshua가 Project December 가상 시뮬레이션을 통해서

     Jessica와 대화를 하면서 들었던 생각과 느낌, 감정등을 사람들에게 공유하였다.