동영상 한 편으로 새 작업을 배우는 로봇, Skild AI S1이 바꾸는 현장

AI를 활용하여 생성한 이미지입니다.

로봇에게 새 작업을 가르치려면 매번 데이터를 모으고 다시 학습해야 한다는 인식이 아직 강해요.[1][2] Skild AI가 공개한 S1은 이 과정을 짧은 동영상 시연 한 편으로 줄이려는 로봇 기반 모델입니다.[1][2] NVIDIA는 9월 10일 S1이 한 번의 영상 시연으로 익숙하지 않은 작업을 수행하도록 설계됐다고 소개했어요.[1]

동영상 한 편을 작업 지시로 쓰는 방식

S1은 문장으로 명령을 받기보다 작업 시연 영상을 입력으로 사용해요.[1] 영상에서 의도와 물체, 동작 순서를 읽고 로봇 앞의 작업으로 옮깁니다.[1][2] 이때 작업마다 가중치를 다시 학습하거나 별도 파인튜닝을 하지 않는다는 점이 핵심이에요.[1][2]

Skild AI가 말하는 인컨텍스트 러닝은 모델의 가중치를 바꾸지 않고 현재 입력에 맞춰 행동을 조정하는 방식이에요.[1] 사전 학습에 없던 동작도 시연의 맥락을 참고해 시도할 수 있다는 설명입니다.[2]

최대 10분짜리 작업을 이어 간다

S1은 화분에 흙을 담거나 팬케이크를 뒤집고, 드립 커피를 만들고, 부품을 조립하는 작업을 다뤘어요.[1] 이런 일은 단순한 한 동작이 아니라 수십 개의 조작을 이어 가야 하고, 전체 과정은 최대 10분까지 이어질 수 있습니다.[1][2]

NVIDIA가 소개한 테스트에서 새로운 다단계 작업의 각 단계 성공률은 S1이 약 66%, 비교한 다른 AI 시스템은 9%였어요.[1] 한 번의 짧은 시연이 약 380개의 직접 훈련 사례에 해당할 수 있다는 추정도 함께 제시됐습니다.[1] 다만 두 수치는 회사가 소개한 실험 조건의 결과라서, 모든 로봇과 공장에 그대로 적용되는 성능 보증으로 보기는 어려워요.

공장에 넣을 때 중요한 건 적응보다 검증

현장에서는 물체 위치가 바뀌거나 작업 중 오류가 생길 수 있어요.[1] S1은 물체가 움직인 상황에 맞추고, 실패한 동작을 회복하며, 학습 때 명시하지 않은 동작 조합을 시도할 수 있다고 소개됐습니다.[1] 이 기능은 생산 라인이 자주 바뀌는 조립·물류 환경에서 특히 관심을 받을 만해요.

그렇다고 시연 영상을 넣으면 곧바로 안전한 생산 로봇이 되는 것은 아닙니다.[1] 작업 공간에 사람이 들어오는 경우, 날카로운 부품을 다루는 경우, 실패했을 때 설비가 손상되는 경우에는 별도의 안전 센서와 정지 절차가 필요해요.[1][2] 영상에서 의도를 잘 읽는 것과 물리적인 위험을 판단하는 것은 같은 문제도 아니고요.

NVIDIA가 붙인 개발 도구의 역할

Skild AI는 NVIDIA의 Cosmos와 Isaac 계열 도구를 합성 데이터, 시뮬레이션, 학습, 실제 배포에 사용한다고 설명해요.[1][2] Omniverse와 Isaac Sim은 가상 환경과 물리 조건을 검증하는 데 쓰이고, Isaac Lab은 강화학습을 위한 로봇 학습 프레임워크로 소개됐습니다.[1]

이 구조는 로봇 모델 하나만 좋아진다는 이야기보다 데이터와 시뮬레이션, 추론 최적화를 한 흐름으로 묶는다는 의미가 커요.[1] 실제 도입을 검토한다면 모델의 성공률만 보지 말고 시뮬레이션과 현장 데이터의 차이, 작업 중단 시 복구 시간, 사람과 로봇이 같은 공간을 쓸 때의 안전 기준까지 확인해야 합니다.[1]

지금 확인할 기준

• 시연 영상에 나온 작업이 실제 생산 라인의 물체·도구와 얼마나 비슷한지 확인해요.
• 실패율과 사람의 개입 횟수를 성공률과 함께 기록해요.
• 새 작업을 배운 뒤 기존 작업 성능이 떨어지지 않는지 따로 시험해요.
• 작업 중단, 비상 정지, 데이터 보관 위치를 계약 전에 정해요.

S1의 방향은 로봇을 매번 다시 프로그래밍하는 대신, 사람이 보여 준 작업을 모델이 현장에서 해석하도록 바꾸는 데 있어요.[1][2] 다만 이 방식이 생산성으로 이어지려면 시연 이해도보다 안전한 실패와 재현 가능한 검증이 먼저 해결돼야 합니다.

Sources:

• NVIDIA Blog, Skild AI Taps NVIDIA Physical AI to Teach Robots New Tasks From a Single Video
• Skild AI, Introducing S1: In-Context Learning for Robotics

[1][2]