Stanford CS25: Sự phát triển của World Models trong AI

Seminar CS25 của Đại học Stanford ngày 9 tháng 4 năm 2026 | Nguồn: YouTube

1. JEPA và World Models: nền tảng khái niệm

World Model là một biểu diễn nội tại mà hệ thống AI xây dựng để mô phỏng cách thế giới vận hành, từ đó có thể dự đoán trạng thái tương lai mà không cần quan sát trực tiếp. Thay vì học từng bước phản xạ (stimulus-response), AI có world model có thể lập kế hoạch, tưởng tượng, và đánh giá hệ quả của hành động trước khi thực hiện.

JEPA (Joint Embedding Predictive Architecture) là kiến trúc do Yann LeCun đề xuất, hoạt động theo nguyên lý:

Mã hóa ngữ cảnh (context) và đích (target) vào không gian biểu diễn trừu tượng (embedding space).
Dự đoán embedding của đích từ embedding của ngữ cảnh, thay vì dự đoán pixel hoặc token thô.
Bỏ qua các chi tiết không thể dự đoán (nhiễu, biến thể ngẫu nhiên), tập trung vào cấu trúc mang thông tin.

Điểm khác biệt cốt lõi so với mô hình ngôn ngữ lớn (LLM): JEPA không học để sinh ra mọi chi tiết, mà học để nắm bắt cái gì là bất biến và quan trọng. Đây là bước dịch chuyển từ "dự đoán bề mặt" sang "hiểu cấu trúc".

2. Causal JEPA: từ tương quan đến nhân quả

Causal JEPA mở rộng kiến trúc JEPA bằng cách tích hợp suy luận nhân quả (causal reasoning) vào quá trình học biểu diễn.

Vấn đề với học biểu diễn thông thường: mô hình học các tương quan thống kê trong dữ liệu, nhưng tương quan không phải nhân quả. Một mô hình phân biệt ảnh chó-mèo có thể phụ thuộc vào nền ảnh, không phải hình dáng con vật.

Causal JEPA tiếp cận khác:

Mô hình hóa các biến can thiệp (intervention variables): đâu là các yếu tố mà nếu thay đổi sẽ thay đổi kết quả?
Học đồ thị nhân quả ngầm ẩn trong dữ liệu, phân biệt quan hệ cha-con (causal) với quan hệ đồng biến (correlational).
Dự đoán trong điều kiện can thiệp (do-calculus): "nếu tôi thay đổi X, Y sẽ như thế nào?" thay vì chỉ "khi X xảy ra, Y thường là gì?"

Ứng dụng thực tế: robot học thao tác vật thể không cần dữ liệu khổng lồ, vì nó hiểu lực nào tác động vào vật thể nào tạo ra kết quả gì, thay vì ghi nhớ từng cặp (hành động, kết quả).

3. LOWER: học biểu diễn thế giới phân cấp

LOWER (Learning Object-centric World Representations) giải quyết câu hỏi: thay vì học một world model duy nhất cho toàn bộ cảnh, tại sao không học riêng từng đối tượng và quan hệ giữa chúng?

Kiến trúc chính:

Phân tách đối tượng (object-centric decomposition): cảnh quan sát được tách thành các slot, mỗi slot đại diện cho một đối tượng với embedding riêng.
Quan hệ đối tượng (object relations): graph neural network mô hình hóa cách các đối tượng tương tác.
Dự đoán ở cấp đối tượng: thay vì dự đoán toàn bộ khung hình tiếp theo, dự đoán trạng thái từng đối tượng.

Lợi thế so sánh:

Đặc điểm	World model toàn cảnh	LOWER (object-centric)
Tổng quát hóa sang cảnh mới	Kém	Tốt hơn đáng kể
Lượng dữ liệu cần thiết	Nhiều	Ít hơn
Khả năng diễn giải	Thấp	Cao (biết cái gì quan trọng)
Chi phí tính toán	Thấp (pixel-level)	Cao hơn (slot attention)

Nhược điểm hiện tại: phân tách đối tượng tự động vẫn gặp khó với cảnh phức tạp, đặc biệt khi các đối tượng chồng lên nhau hoặc không có ranh giới rõ ràng.

4. Ứng dụng thực tiễn

4.1 Robot và điều khiển

World model cho phép robot:

Lập kế hoạch bằng cách mô phỏng (model-based planning): thử nhiều chuỗi hành động trong đầu, chọn chuỗi tối ưu trước khi thực hiện ngoài thực tế.
Thích nghi nhanh với môi trường mới mà không cần huấn luyện lại từ đầu.
Học từ ít tương tác vì model bù đắp thiếu hụt dữ liệu bằng cách tưởng tượng (imagination-based learning).

Ví dụ cụ thể: robot lắp ráp công nghiệp huấn luyện trên 100 mẫu thay vì 100.000 mẫu, do world model tổng quát hóa nguyên lý vật lý thay vì ghi nhớ từng cử chỉ.

4.2 Xe tự lái

Thay vì học ánh xạ trực tiếp từ cảm biến đến lệnh điều khiển, hệ thống có world model:

Xây dựng bản đồ 3D nội tại của môi trường.
Dự đoán hành vi các phương tiện và người đi bộ khác.
Lập kế hoạch quỹ đạo dựa trên dự đoán đó.

Kết quả: an toàn hơn trong tình huống chưa gặp bao giờ (corner cases), vì hệ thống hiểu vật lý và hành vi, không chỉ nhận dạng mẫu.

4.3 Khoa học và mô phỏng

World model được huấn luyện trên dữ liệu thực nghiệm có thể thay thế một phần mô phỏng số tốn kém:

Dự đoán đặc tính vật liệu mới.
Mô phỏng động lực học phân tử ở quy mô lớn.
Nén kiến thức vật lý từ hàng triệu mô phỏng vào mô hình nhỏ hơn, chạy thời gian thực.

5. Triển vọng và thách thức

Triển vọng gần (2-5 năm)

Kết hợp JEPA với kiến trúc transformer để xử lý đa phương thức (video, ngôn ngữ, cảm biến).
World model phân cấp: cấp pixel, cấp đối tượng, cấp sự kiện, cấp mục tiêu, mỗi cấp vận hành ở thang thời gian khác nhau.
Học tự giám sát quy mô lớn mà không cần nhãn nhân quả tường minh.

Thách thức cốt lõi chưa giải quyết

Vấn đề về nội dung so với dạng thức: làm thế nào để biểu diễn trừu tượng vẫn đủ cụ thể để lập kế hoạch chính xác?

Vấn đề về sự không chắc chắn: world model cần biết nó không biết gì, không chỉ dự đoán điểm mà phải dự đoán phân phối. Calibration kém dẫn đến quyết định sai với độ tự tin cao.

Vấn đề về thang thời gian dài: dự đoán 1 giây tới khả thi, dự đoán 10 phút tới với độ chính xác đủ dùng vẫn là bài toán mở.

Vấn đề về tích hợp với ngôn ngữ: LLM rất mạnh về ngôn ngữ nhưng không có world model thực sự. Kết hợp hai paradigm này mà không mất lợi thế của cả hai là câu hỏi kiến trúc lớn nhất của lĩnh vực hiện tại.

Ghi chú cá nhân

Seminar này đặt ra một khung tư duy quan trọng: AI hiện tại (LLM) rất giỏi nén và tái tạo mẫu ngôn ngữ, nhưng thiếu mô hình nhân quả của thực tế vật lý. World model theo hướng JEPA/Causal JEPA/LOWER đang lấp đầy khoảng trống đó, đặc biệt quan trọng cho các ứng dụng cần tương tác với thế giới vật lý (robot, xe tự lái, mô phỏng kỹ thuật).

Đối với lĩnh vực thủy lực-thủy văn: khả năng xây dựng world model cho hệ thống sông ngòi, mô phỏng tương tác giữa công trình thủy lợi và dòng chảy, có thể là hướng ứng dụng đáng theo dõi trong 3-5 năm tới.