Chào mừng bạn đến với chặng giữa của hành trình. Nếu AR là việc dán một tấm decal lên cửa kính, thì Thực tế Hỗn hợp (Mixed Reality - MR) giống như việc mở cửa ra và mời nhân vật trong tấm decal đó bước vào phòng khách, ngồi lên ghế sofa và uống trà cùng bạn.

Tại sao MR lại được coi là tương lai của điện toán không gian và khó thực hiện hơn AR gấp nhiều lần? Hãy cùng tìm hiểu.

1. MR là gì? Khi "Ảo" biết tôn trọng "Thực"

Trong AR (như các filter TikTok hay hệ thống lùi xe), các vật thể ảo thường "trôi nổi" trên màn hình. Chúng không thực sự quan tâm thế giới bên ngoài ra sao. Nếu bạn đưa bàn tay ra trước camera che một nhân vật hoạt hình AR, nhân vật đó vẫn hiện đè lên tay bạn một cách phi lý.

Mixed Reality (MR) giải quyết vấn đề đó bằng hai từ khóa: Nhận thức không gian (Spatial Awareness) và Vật cản (Occlusion).

Trong MR, thiết bị (thường là kính chuyên dụng như HoloLens hay Apple Vision Pro) liên tục quét và vẽ lại bản đồ 3D căn phòng của bạn. Nó biết đâu là sàn nhà, đâu là mặt bàn, đâu là bức tường.

• Nếu bạn thả một quả bóng ảo, nó sẽ nảy trên sàn nhà thật.
• Nếu quả bóng lăn ra sau chiếc ghế sofa thật, nó sẽ bị che khuất (occluded) và biến mất khỏi tầm nhìn, giống như một quả bóng thật vậy.

Sự tương tác vật lý và thị giác hai chiều này khiến não bộ bị đánh lừa rằng vật thể ảo thực sự đang hiện hữu trong không gian vật lý.

2. Hai chiều của thế giới Hỗn hợp (và khái niệm AV)

MR là một dải màu rộng lớn, nơi diễn ra sự hòa trộn từ hai phía. Để hiểu trọn vẹn MR, chúng ta cần nhìn thấy cả hai chiều này:

Chiều thứ nhất: Mang Ảo vào Thực (Giống AR nâng cao)

Đây là cách hiểu phổ biến nhất. Bạn đeo kính vào, nhìn thấy phòng khách của mình, nhưng có một màn hình TV ảo treo lơ lửng trên tường, hoặc một mô hình khủng long đang đi lại trên sàn nhà.

Chiều thứ hai: Mang Thực vào Ảo (Augmented Virtuality - AV)

Đây là một khái niệm thú vị ít người biết đến: Ảo hóa thực tại.

Hãy tưởng tượng bạn đang đắm chìm trong một trò chơi VR, xung quanh là không gian vũ trụ bao la (Môi trường ảo). Tuy nhiên, bạn cần gõ phím. Lúc này, camera trên kính sẽ quét và đưa hình ảnh đôi bàn tay thật và bàn phím thật của bạn vào trong không gian vũ trụ đó.

Lúc này, bạn đang ở thế giới ảo, nhưng các yếu tố quan trọng của thế giới thực (tay, bàn phím, ly nước) vẫn được mang theo để bạn tương tác. Đây chính là mảnh ghép còn lại tạo nên bức tranh toàn cảnh của Mixed Reality.

3. Những câu chuyện "Xuyên không" trong đời thực

MR không chỉ là trò chơi, nó đang âm thầm thay đổi những ngành nghề quan trọng nhất.

a. Y tế: Đôi mắt X-Quang của bác sĩ

Tại bệnh viện St. Mary (London), các phẫu thuật viên sử dụng kính MR (HoloLens) trong các ca mổ phức tạp. ^{1, 2, 3}

Trước khi dao mổ chạm vào da, bác sĩ đã nhìn thấy hình ảnh chụp CT mạch máu, xương và khối u của bệnh nhân nổi lên đúng vị trí trên cơ thể thật của họ. MR giúp bác sĩ nhìn "xuyên thấu" bệnh nhân theo đúng nghĩa đen, định vị chính xác khối u để đường mổ nhỏ nhất và an toàn nhất.

b. Sản xuất: Kỹ sư Tony Stark đời thực

Trong các nhà máy của Ford hay Toyota, kỹ sư không còn phải cầm bản vẽ giấy khổ lớn đi so sánh nữa. Họ đeo kính MR để nhìn thấy mô hình động cơ 3D kích thước thật nằm ngay trên khung xe rỗng. ^{4, 5}

Họ có thể dùng tay thật để "vặn" các ốc vít ảo, kiểm tra xem liệu thiết kế này có bị vướng víu khi lắp ráp thực tế hay không. Sai sót được phát hiện và sửa chữa ngay trong không gian hỗn hợp trước khi bất kỳ chi tiết kim loại nào được đúc ra.

4. Thách thức công nghệ

Để làm được những điều trên, thiết bị MR phải gánh một khối lượng công việc khổng lồ:

• Phải hiểu ánh sáng thực tế để tạo bóng đổ cho vật ảo.
• Phải theo dõi chuyển động của mắt và tay người dùng với độ trễ gần như bằng 0.
• Phải xử lý đồ họa 3D chất lượng cao.
• Phải có thiết kế phù hợp, thân thiện để hạn chế đau mỏi mắt, đầu khi đeo lâu.

Chính vì sự phức tạp này, MR hiện tại giá vẫn rất cao và chưa phổ biến đại trà như AR trên điện thoại. Nhưng khi ranh giới này bị xóa nhòa, chúng ta sẽ bước vào kỷ nguyên mà màn hình máy tính, TV, điện thoại đều sẽ biến mất, thay vào đó là các giao diện lơ lửng trong không trung.

Nhưng nếu bạn cảm thấy việc "pha trộn" này vẫn chưa đủ đô? Nếu bạn muốn thoát ly hoàn toàn khỏi thực tại để đến một nơi không tưởng? Hãy cầm lấy tấm vé một chiều đến trạm cuối cùng.

=> Đón đọc Bài 4: Thực tế Ảo (VR): Tấm vé một chiều rời khỏi thực tại để đến miền đất hứa.

Nguồn thông tin dẫn chứng trong bài này:

1. Kính thực tế ảo giúp "nhìn thấu" dây thần kinh trong phẫu thuật: https://vtv.vn/the-gioi/kinh-thuc-te-ao-giup-nhin-thau-day-than-kinh-trong-phau-thuat-20210301201617217.htm
2. London surgeons using Microsoft mixed reality tech for safer operations: https://www.digitalhealth.net/2018/02/london-surgeons-using-microsoft-hololens/
3. Life through a HoloLens: https://publishing.rcseng.ac.uk/doi/10.1308/rcsbull.2018.333
4. New mixed reality technology meets car design as Ford tests HoloLens: https://www.arabnews.com/node/1170786/amp
5. Case Study: Toyota Makes Mixed Reality Magic: https://arinsider.co/2020/09/23/case-study-toyota-makes-mixed-realty-magic/