동영상 한 편으로 새 작업을 배우는 로봇, Skild AI S1이 바꾸는 현장
AI를 활용하여 생성한 이미지입니다.
로봇을 새 작업에 투입할 때마다 데이터를 모으고 모델을 다시 학습하는 대신, 사람이 작업하는 짧은 영상을 보여 주는 방식이 등장했습니다. Skild AI의 S1은 한 번의 영상 시연으로 익숙하지 않은 작업을 수행하도록 설계된 로봇 기반 모델로 소개됐고, NVIDIA는 9월 10일 관련 기술과 사례를 공개했습니다.[1][2] 다만 시연을 이해하는 능력과 생산 현장에서 안전하게 반복 수행하는 능력은 별도의 검증 과제입니다.
S1은 문장이 아니라 시연 영상을 입력으로 씁니다
S1은 작업 설명을 긴 문장으로 입력하는 대신, 사람이 실제로 물체를 잡고 옮기고 조작하는 영상을 참고합니다.[1] 영상에서 작업의 의도, 물체, 동작 순서를 읽은 뒤 로봇 앞의 상황에 맞는 행동을 생성하는 접근이에요. Skild AI가 설명하는 인컨텍스트 러닝은 이 과정에서 모델의 가중치를 작업마다 다시 학습시키지 않고 현재 입력의 맥락에 맞춰 행동을 조정하는 방식입니다.[1][2]
| 기존 자동화 방식 | S1이 제시하는 방식 | 현장에서 확인할 질문 |
|---|---|---|
| 작업별 데이터 수집과 재학습 | 시연 영상을 보고 작업 맥락을 해석 | 새 물체·도구에도 행동이 유지되는가 |
| 정해진 좌표와 순서 중심 | 물체 위치 변화와 동작 조합에 적응 | 오류를 감지하고 안전하게 멈추는가 |
| 한 동작 단위의 자동화 | 여러 단계 작업을 이어서 수행 | 단계가 길어져도 사람 개입이 관리되는가 |
중요한 점은 “영상 한 편이면 무엇이든 배운다”가 아닙니다. 영상에 나타난 작업의 조건을 로봇이 해석하고, 실제 공간의 물체·마찰·위치가 달라져도 안전한 행동으로 바꿀 수 있는지가 핵심이에요. 시연이 모호하거나 가려진 물체가 많으면 로봇이 잘못된 의도를 읽을 가능성도 남습니다.
어떤 작업을 보여 줬나요?
NVIDIA는 S1이 화분에 흙을 담고, 팬케이크를 뒤집고, 드립 커피를 만들고, 부품을 조립하는 사례를 다뤘다고 소개했습니다.[1] 이런 작업은 단일 동작이 아니라 잡기·이동·정렬·놓기 같은 여러 조작이 이어지는 과정입니다. 전체 과정은 최대 10분까지 이어질 수 있다고 설명됐어요.[1][2]
NVIDIA가 소개한 테스트에서는 새로운 다단계 작업의 각 단계 성공률이 S1 약 66%, 비교한 다른 AI 시스템 9%로 제시됐습니다.[1] 짧은 시연 하나가 약 380개의 직접 훈련 사례에 해당할 수 있다는 추정도 함께 나왔습니다.[1] 그러나 이 수치는 NVIDIA가 소개한 실험 조건의 결과입니다. 로봇 종류, 작업 공간, 비교 모델, 성공 판정 방식이 달라지면 같은 숫자를 기대할 수 없어요.
적응 능력보다 먼저 볼 안전 조건
Skild AI와 NVIDIA는 물체 위치가 바뀌거나 작업 중 오류가 발생했을 때 상황에 맞추고, 실패한 동작을 회복하며, 학습 때 명시되지 않은 동작 조합을 시도할 수 있다고 소개합니다.[1] 생산 라인이 자주 바뀌는 조립·물류 환경에서는 작업별 프로그래밍 부담을 줄일 가능성이 있어 관심을 받을 만해요.
하지만 사람과 로봇이 같은 공간에 있거나, 날카로운 부품·뜨거운 물체·무거운 장비를 다루는 경우에는 영상 이해만으로 충분하지 않습니다. 안전 센서, 속도와 힘 제한, 접근 금지 구역, 비상 정지, 수동 회수 절차가 별도로 있어야 해요. 작업을 잘 따라 하는 것과 위험한 동작을 하지 않는 것은 같은 성능 지표가 아닙니다.
- 먼저 작업을 저위험·저속 환경에서 시험하고 사람의 개입 지점을 기록합니다.
- 정상 물체뿐 아니라 위치가 조금 바뀐 물체, 비어 있는 위치, 가려진 물체를 포함합니다.
- 실패했을 때 계속 시도하는지, 안전하게 멈추고 사람에게 넘기는지 확인합니다.
- 새 작업을 추가한 뒤 기존 작업의 성공률과 오류 유형이 달라지는지 비교합니다.
- 비상 정지 후 재시작, 수동 조작, 데이터 삭제와 보관 범위를 계약에 적습니다.
Cosmos와 Isaac 계열 도구가 맡는 역할
Skild AI는 NVIDIA의 Cosmos와 Isaac 계열 도구를 합성 데이터, 시뮬레이션, 학습, 실제 배포에 사용한다고 설명합니다.[1][2] Omniverse와 Isaac Sim은 가상 환경과 물리 조건을 검증하는 데 활용되고, Isaac Lab은 로봇 강화학습 프레임워크로 소개됐습니다.[1] 이 구성은 S1 모델 하나의 성능보다 데이터 생성, 가상 시험, 추론 최적화, 현장 배포를 한 흐름으로 묶는 데 의미가 있어요.
그렇다고 시뮬레이션에서 성공한 동작이 현장에서도 그대로 반복된다고 볼 수는 없습니다. 실제 바닥의 마찰, 조명, 센서 오차, 물체의 미세한 변형, 사람의 움직임이 가상 환경과 다르기 때문입니다. 도입을 검토할 때는 시뮬레이션 성공률과 실제 작업 성공률을 같은 표에 놓고, 차이가 생긴 원인과 보정 비용을 따로 기록해야 합니다.
도입 판단을 위한 체크리스트
| 평가 영역 | 확인할 수치·기록 | 멈춰야 하는 신호 |
|---|---|---|
| 작업 품질 | 단계별 성공률, 재시도 횟수, 사람 개입 | 성공률은 높지만 개입이 계속 늘어남 |
| 안전 | 비상 정지, 충돌 근접, 위험 동작 빈도 | 실패 때 멈추지 않고 계속 행동함 |
| 운영 | 작업 교체 시간, 복구 시간, 로그 보존 | 원인을 추적할 기록이 없음 |
| 확장성 | 새 작업 추가 후 기존 작업 성능 | 새 학습 뒤 기존 작업이 악화됨 |
S1의 방향은 로봇을 매번 다시 프로그래밍하는 대신 사람이 보여 준 작업을 모델이 해석하게 만드는 데 있습니다.[1][2] 현장에서는 “영상 한 편”이라는 편리한 입력보다 안전한 실패, 재현 가능한 평가, 사람에게 넘기는 기준, 데이터의 보관 위치를 먼저 확인해야 해요. 그래야 시연 기술을 실제 운영 자산으로 판단할 수 있습니다.
자주 묻는 질문
영상 한 편이면 모델을 다시 학습하지 않아도 되나요?
S1은 작업마다 가중치를 다시 학습하거나 별도 파인튜닝을 하지 않고 시연의 맥락을 활용하는 방식으로 소개됐습니다.[1][2] 그렇다고 모든 작업과 환경에 추가 검증이 필요 없다는 뜻은 아닙니다.
공개된 66% 성공률을 공장 성능으로 봐도 되나요?
아니요. NVIDIA가 소개한 비교 실험의 조건과 판정 기준에 따른 수치입니다.[1] 실제 라인의 물체, 속도, 안전 조건으로 별도 시험해야 합니다.
어떤 현장에 먼저 맞을까요?
작업이 자주 바뀌고, 속도와 힘을 낮춘 상태에서 사람의 감독을 둘 수 있는 조립·물류 작업부터 검토하는 편이 안전합니다. 고위험 작업은 모델 적응성보다 안전 인증과 정지 절차가 먼저입니다.
시연 영상은 데이터의 시작점이지 안전 인증서가 아닙니다
영상은 사람의 의도와 동작 순서를 전달하기 좋지만, 로봇이 보지 못한 조건까지 설명해 주지는 않습니다. 손으로 가린 물체의 무게, 표면의 미끄러움, 컵 안의 액체 양, 조립 부품의 공차가 영상에 충분히 드러나지 않을 수 있어요. S1이 시연의 맥락을 활용한다는 설명은 이런 물리 조건을 항상 정확히 추정한다는 보장이 아닙니다.[1][2]
따라서 현장 도입에서는 시연 영상의 촬영 조건을 표준화하는 것이 중요합니다. 카메라 위치와 시야, 작업 속도, 도구의 종류, 시작·종료 상태를 기록하고, 실제 현장에서 달라질 수 있는 조건을 별도 목록으로 만드세요. 영상 한 편으로 새 작업을 지정하더라도 로봇이 확인할 수 없는 조건은 센서나 사람의 승인 절차로 보완해야 합니다.
성공률을 단계별로 나눠 기록하세요
10분짜리 작업의 전체 성공 여부만 세면 중간의 위험한 실패를 놓칠 수 있습니다. 예를 들어 흙을 담는 작업에서는 화분 인식, 삽 접근, 흙의 양 조절, 이동, 투입, 주변 정리의 단계로 나누어 각 결과를 기록할 수 있어요. 한 단계 성공률이 높아도 작은 오류가 누적되면 마지막 결과가 달라집니다.
| 시험 조건 | 기록할 값 | 왜 필요한가 |
|---|---|---|
| 정상 물체·정상 조명 | 단계별 성공률과 소요 시간 | 기본 재현성 확인 |
| 물체 위치 변경 | 재시도·사람 개입 횟수 | 환경 변화 적응 확인 |
| 물체 일부 가림 | 정지·오인식·위험 동작 | 불확실성 처리 확인 |
| 작업 중 중단 | 복구 시간과 데이터 기록 | 운영 회복 가능성 확인 |
NVIDIA가 제시한 약 66%와 9%의 비교도 특정 실험의 단계 성공률입니다.[1] 실제 사업자는 동일한 조건으로 반복하고, 평균뿐 아니라 최악의 실패와 사람이 개입한 횟수를 함께 봐야 해요. 사람의 개입이 많다면 재학습 비용이 줄어도 운영 비용이 줄지 않을 수 있습니다.
기존 작업을 보호하는 회귀 시험
새 작업을 추가한 뒤 기존 작업 성능이 떨어지지 않는지 확인하는 회귀 시험도 필요합니다. S1처럼 현재 시연의 맥락을 활용하는 시스템이라도, 작업을 여러 개 등록하거나 도구와 장소를 바꾸면 행동 선택이 달라질 수 있어요. 새 작업을 배운 직후 기존 작업을 같은 순서로 실행하고, 물체 손상·중단·재시도 기록을 비교하세요.
작업 교체 시간이 짧은지, 작업별 설정을 되돌릴 수 있는지, 모델이 사용한 영상과 결과 로그를 누가 볼 수 있는지도 계약 전에 정합니다. 영상에 작업자 얼굴이나 생산 정보가 포함될 수 있으므로 보관 기간과 접근 권한을 정하지 않으면 기술 도입이 개인정보·기밀 관리 문제로 이어질 수 있습니다.
현장 단계별 도입 순서
- 사람이 접근하지 않는 저위험 구역에서 반복 작업 하나를 선정합니다.
- 시뮬레이션에서 정상·변형·중단 시나리오를 만든 뒤 실제 환경과 차이를 기록합니다.
- 느린 속도와 제한된 힘으로 감독 운전을 하고, 비상 정지 기준을 확인합니다.
- 사람 개입이 필요한 모든 조건을 로그에 남기고 승인 절차를 정합니다.
- 품질·안전·복구 지표가 기준을 넘은 뒤에만 작업과 속도를 늘립니다.
Cosmos와 Isaac 계열 도구가 합성 데이터와 시뮬레이션, 학습, 배포를 연결한다는 점은 개발 흐름을 단순화할 가능성이 있습니다.[1][2] 그래도 시뮬레이션과 현장의 차이는 남아요. 모델의 적응성을 강조할수록 실제 공간에서 실패했을 때 안전하게 멈추고 사람이 회복할 수 있는 운영 설계가 더 중요합니다.
