Sử dụng công nghệ máy học để biến video thành truyện tranh

Đã có hàng loạt những trang truyện trở nên sống động hơn khi trở thành những bộ phim, ví dụ như loạt phim của hãng Marvel. Tuy nhiên các nhà nghiên cứu tại Đại học Công nghệ Warsaw đang nghiên cứu để làm điều ngược lại: dùng trí tuệ nhân tạo để biến một bộ phim thành những trang truyện.

Các nhà nghiên cứu thực hiện việc này bằng cách kết hợp chọn những khung hình tốt nhất trong các phân đoạn video kèm theo một bộ lọc thông minh giúp biến khung hình đó thành trang truyện. Tất cả đều được thực hiện nhờ công nghệ máy học (machine learning) dựa trên một hệ thống gọi là Generative Adversarial Networks (GANs).

Hệ thống này gồm hai phần giống như một vòng lặp. Một phần có nhiệm vụ phân tích từng khung ảnh, chọn khung tốt nhất, dùng bộ lọc để biến khung ảnh đó thành truyện. Và phần còn lại là ghép các tranh thành những trang truyện cũng như tự đánh giá xem trang truyện đó tốt chưa, nếu chưa thì sẽ loại và “request” một bức tranh khác.

Bởi vì truyện tranh chỉ có rất nhiều khung hình, nên hệ thống phải xác định những khoảnh khắc đẹp nhất, tiêu biểu nhất từ một video để tạo ra truyện tranh. Kết quả cuối cùng là một sự tái hiện khá tốt bất kỳ video nào dưới dạng một hay nhiều trang từ cuốn truyện tranh.