웨이모가 자율주행의 끝으로 가는 방법 (웨이모 AI엔지니어 김태환)

01핵심 개요

02핵심 내용 구조

• 경력 경로: 버크넬대(리버럴아츠) 컴퓨터사이언스 → 버지니아텍 석박사(머신러닝, 페더레이티드 러닝) → 블룸버그 인턴 → 구글 광고팀 2년 → 제미나이팀 1년 → 2026년 2월 웨이모 이직.
• 제미나이 기여: 제미나이 2.5·3.5 코어 컨트리뷰터로 포스트트레이닝 인프라 담당. 모델 학습·추론 시 리소스를 최소화하는 효율화 연구.
• 웨이모 강점: 운전자 없는 완전 자율주행을 최초 시도, 알파벳 산하로 딥마인드와 긴밀 협업(월드 모델 개발 등). 현재 산호세~샌프란시스코 운행.
• 핵심 전환: 룰 베이스에서 파운데이션 모델로 확장, 강화학습 중심의 포스트트레이닝 도입.

03기술적 맥락

• 프리트레이닝 vs 포스트트레이닝: 프리트레이닝은 방대한 데이터로 트랜스포머 기반 학습. 포스트트레이닝은 상대적으로 작은 규모로 강화학습·지도 파인튜닝(SFT)을 적용해 모델을 정밀화.
• 자율주행 포스트트레이닝 = 강화학습: 오픈루프(고정 환경에서 학습 — 벽에 부딪히면 페널티, 신호 준수하면 리워드)와 클로즈루프 트레이닝 개념 존재. 오픈루프만으로는 다양한 시나리오 대비가 어려움.
• 월드 모델: 카메라·라이다 센서 데이터를 생성(generate)하는 모델. 현실에서 보기 힘든 시나리오(역주행 차량 등)까지 시뮬레이션해 에이전트를 수만~수억 회 학습.
• VLA(비전-언어-액션) 모델: "앞에 빨간 신호가 있으면 정지" 같은 추론(reasoning) 관점을 LLM이 자율주행에 제공.

04전략적 의미

• 피지컬 AI로의 무게 이동: LLM 애플리케이션을 가장 잘 적용할 곳으로 자율주행·로봇 같은 물리 세계를 지목. 제한된 환경에서만 잘하는 것은 진정한 AI가 아니라는 관점.
• 인재 이동 흐름: 대형 모델 학습·인프라 경험 엔지니어가 희소해, 웨이모가 제미나이 출신을 적극 채용. 파운데이션 모델 역량이 자율주행 경쟁력으로 직결.
• 미션 드리븐 문화: LLM 오작동이 실제 교통사고로 이어질 수 있어 "LLM으로 운전을 정복하자"는 사명감 기반 조직 문화.

05핵심 워크플로우/방법론

• 임팩트 큰 분야를 스스로 발굴: 신규 입사자에게 좋은 과제가 자동 배정되지 않음 → 어떤 분야가 뜰지 예측하고 자기 관심사와 결합해 일을 찾아가는 능동적 문화.
• 에이전트 활용의 양면성: 코딩 에이전트로 정보가 압축 전달돼 효율↑(하루 8~11시간 근무)이나 피로도↑. 할루시네이션(없는 함수 생성·기존 함수 삭제)으로 2~3일 날린 경험 다수 → 코드 직접 검증 필수.
• 사내 툴 사용: 웨이모는 구글 내부 코딩 툴, 외부엔 'Antigravity'(구글 제작) 사용. 딥마인드는 앤트로픽·오픈AI 모델도 좋다고 인정하며 코딩 역량 강화에 집중.

06활용 시나리오

• 자율주행 도시 확장: 월드 모델로 새 도시(예: 서울)를 매핑·시뮬레이션해 학습 속도를 높여 신규 지역 진출 가속.
• 휴머노이드·로봇: 시뮬레이션 환경 대량 학습으로 임의 환경에서도 작동하는 피지컬 AI 구현.
• AI 엔지니어 커리어 설계: 단순 API 호출형 엔지니어는 대체되기 쉬움 → 물리 법칙 이해·강화학습 리워드 설계 등 자기만의 전문성(엣지) 구축이 경쟁력.

07현황 및 전망

• 웨이모 자율주행 택시는 산호세~샌프란시스코 운행 중이며, LLM 도입 이후 R&D 리소스 투입 확대.
• 룰 베이스에서 파운데이션 모델·강화학습으로 전환이 진행 중이며, 월드 모델 기반 대규모 시뮬레이션 학습이 핵심 축.
• 향후 경쟁력은 물리 법칙을 아키텍처에 녹이고 강화학습 리워드를 정교하게 설계하는 세부 전문성을 가진 엔지니어에게 있을 전망.

08용어 사전