말하는 AI 아바타에서 대화형 업무 도구로…9월 26일 체험이 보여준 조건

AI를 활용하여 생성한 이미지입니다.

AI · LLM · 해외 이슈

AI 아바타가 단순히 정해진 영상을 재생하는 단계를 넘어, 사람의 말을 듣고 대화하는 제품으로 이동하고 있어요. TechCrunch 기자는 2026년 9월 26일 Synthesia에서 자신의 얼굴과 목소리를 바탕으로 만든 대화형 디지털 아바타를 체험했다고 전했어요.[1] 회사는 이 시스템을 음성 인식, 언어 모델, 음성 합성, 영상 모델을 이어 붙인 형태로 설명하고 있어요.[1]

체험의 핵심은 얼굴을 닮은 영상이 아니라 상호작용이에요. 사용자가 말한 내용을 받아 답하고, 기업이 지정한 자료를 바탕으로 질문에 반응하는 구조죠. TechCrunch 기사에서는 기자가 촬영과 음성 녹음을 거쳐 자신의 아바타를 만들었고, 말만 하는 버전과 대화형 버전을 각각 경험했다고 설명해요.[1]

말하는 얼굴에서 대화 상대까지

Synthesia는 대화형 아바타를 세 단계로 나눠 설명해요. 1단계는 아바타가 말하지만 상대방의 음성이나 반응을 이해하지 못하는 형태예요. 2단계는 듣기까지 하면서 말 끊김, 맞장구, 표정 변화를 대화 흐름에 맞춰 처리하고, 3단계는 카메라 영상을 통해 자세·제스처·표정까지 참고하는 방식이에요.[2]

이 구분은 기능 목록보다 현실적인 차이를 보여줘요. 화면 속 얼굴이 자연스럽게 움직이는 것만으로는 대화가 되지 않아요. 사용자가 말을 끝냈는지, 질문을 되묻는지, 카메라를 켜고 있는지 알아야 반응이 어색하지 않습니다. Synthesia도 1단계 아바타는 상대방을 인식하지 못해 긴 대화에서 불편함을 만들 수 있다고 설명하고, 2단계의 듣기 기능을 중요한 전환점으로 보고 있어요.[2]

기업 교육에 먼저 쓰일 가능성

이런 아바타가 바로 개인의 분신처럼 쓰일지는 아직 알 수 없어요. 대신 기업 교육과 역할 연습은 비교적 분명한 사용처예요. 영업 직원이 고객 질문에 답하는 연습을 하거나, 신입 직원이 사내 절차를 질문하고, 교육 자료에 맞춰 반복적인 피드백을 받는 식입니다. 실제 사람의 일정을 매번 맞추지 않아도 된다는 점이 장점이지만, 아바타의 답이 사내 최신 정책과 일치하는지는 별도로 관리해야 해요.

개인정보 문제도 남아요. 얼굴과 목소리는 단순한 로그인 정보가 아니고, 대화 기록과 함께 개인을 식별할 수 있는 자료가 됩니다. TechCrunch의 체험에는 촬영과 음성 녹음, 아바타 제작 과정이 포함됐지만, 모든 서비스가 같은 동의 절차와 보관 기간을 제공한다고 볼 수는 없어요.[1] 도입 전에는 원본 영상·음성의 보관 위치, 학습 사용 여부, 삭제 절차, 관리자 접근권한을 확인해야 합니다.

국내 기업이 비슷한 서비스를 검토한다면 한국어 발음과 존댓말 처리만 볼 일이 아니에요. 아바타가 사내 문서의 권한 범위를 지키는지, 잘못된 질문에 모른다고 답하는지, 대화 내용을 누가 볼 수 있는지까지 테스트해야 해요. 말투가 자연스러워도 권한 설계가 허술하면 교육 도구가 정보 유출 경로가 될 수 있습니다.

또 하나의 변수는 아바타가 누구를 대신하느냐예요. 기자나 강사의 얼굴을 빌리는 경우에는 말투와 표정이 브랜드 자산처럼 보일 수 있지만, 실제 답변은 연결된 자료와 권한에 따라 달라집니다. 얼굴이 익숙하다는 이유로 답변까지 본인의 의견이라고 받아들이면 곤란해요.[1] 아바타 화면에는 생성된 영상이라는 표시를 두고, 중요한 안내에는 원문 문서와 담당 부서를 함께 보여 주는 편이 안전합니다.

서비스를 평가할 때는 ‘얼마나 사람처럼 보이나’보다 ‘틀렸을 때 어떻게 멈추나’를 먼저 봐야 해요. 질문 범위를 벗어났을 때 답변을 만들지 않고 문서를 찾거나 사람에게 넘기는지, 사용자가 카메라를 끄면 시각 입력을 즉시 중단하는지, 대화 기록을 삭제할 수 있는지처럼 확인 가능한 조건이 있어야 합니다. Synthesia도 카메라가 켜졌을 때만 시각 신호를 활용하고, 카메라가 꺼지면 듣기 중심 단계로 돌아가는 설계를 설명하고 있어요.[2]

핵심 내용

로컬 AI의 성능을 비교할 때도 결과만 보지 말고 실행 조건과 측정 기준을 남겨야 해요. 관련해서 vLLM 지연시간 측정 글을 함께 볼 수 있어요.

독자가 확인할 것

1. 아바타가 학습하거나 참조하는 문서의 최신 날짜와 담당자를 정하세요.
2. 얼굴·목소리 원본의 보관 기간과 삭제 요청 경로를 계약서에서 확인하세요.
3. 정책 질문을 일부러 틀리게 입력해 모른다고 답하거나 담당자에게 넘기는지 보세요.
4. 한국어 이름·숫자·전문용어를 넣어 발음과 자막이 실제 업무에 쓸 만한지 확인하세요.

출처

1. TechCrunch: I created an interactive digital avatar of myself
2. Synthesia: Talk, listen, see: the three levels of interactive video agents