Hãng DreamWorks Animation lưu trữ 400 TB dữ liệu hàng năm như thế nào?

VietTimes -- DreamWorks Animation là cái tên quen thuộc của hàng triệu những người mộ điệu phim hoạt hình trên toàn thế giới, đặc biệt là trẻ em. Những bộ phim như Shrek,Kungfu Panda, Bí kíp luyện rồng...chính là sản phẩm của hãng. Để sản xuất ra các phim trên cần hàng ngàn hàng ngàn GB dữ liệu. Hãy cùng tìm hiểu, kho dữ  liệu khổng lồ ấy được lưu trữ như thế nào?
Hình hiệu của DreamWorks Animation
Hình hiệu của DreamWorks Animation

Tại hãng sản xuất phim hoạt hình DreamWorks Animation, dịch vụ quản lý tập tin và lưu trữ dữ liệu số là những công cụ quan trọng để mỗi năm tạo ra hơn 80 giờ sản phẩm TV và 2 bộ phim hoạt hình. Các hình động để làm ra một bộ phim hoạt hình được tạo ra bởi 10.000 máy tính lõi và 80 triệu giờ chạy CPU, đưa khối lượng dữ liệu cần lưu trữ lên tới 350 - 400 TB (1 terabyte bằng 1.000 tỷ byte. Kết quả là có thể tới 500 triệu tệp tin và 250 tỷ pixel.

Tác giả tác giả Tom Coughlin của tạp chí Forbes đã có cơ hội nói chuyện với Skottie Miller từ DreamWorks Animation, Patrick Osborne từ Hewlett Packard Enterprise (HPE) và Jay Wampold từ Qumulo về vai trò ngày càng cao của công việc lưu trữ dữ liệu số trong hoạt động của các phương tiện truyền thông hiện đại và ngành giải trí.

Hình ảnh trong phim ShrekHình ảnh trong phim Shrek

DreamWorks Animation hiện sử dụng định dạng tệp hình ảnh OpenEXR. OpenEXR là định dạng tệp hình ảnh động cao (HDR) ban đầu được phát triển bởi Industrial Light and Magic để sử dụng trong các ứng dụng hình ảnh trên máy tính. Xưởng phim không dùng nhiều đám mây công cộng mà chạy nhiều công đoạn của họ như một đám mây riêng. Các đám mây công cộng không đáp ứng khả năng biểu hiện mà họ cần. Họ sử dụng các vật thể lưu trữ để bảo quản nội dung với các công cụ quản lý dữ liệu riêng.

Xưởng phim đã làm việc với Hewlett Packard Enterprise (HPE) trong một thời gian dài. Họ sử dụng máy chủ HPE, hệ thống lưu trữ, BladeSystems và các dịch vụ khác cũng như máy tính để bàn và máy tính xách tay của HP. HPE cũng đã giúp họ bằng các màn hình LCD hiệu chuẩn màu sắc giá rẻ. Công ty Qumulo đã hợp tác với HPE để cung cấp 2 PB (petabyte bằng 1000 terabyte) bộ nhớ dữ liệu cho DreamWorks Animation trên 3 chùm Qumulo với HPE Apollo Servers. hãng DreamWorks Animation nói rằng, HPE là một đối tác tuyệt vời cung cấp phần cứng và dịch vụ tốt nhất, đáng tin cậy, dễ bảo trì và hiệu quả về chi phí.

DreamWorks Animation quyết định sử dụng Qumulo Core trên HPE Apollo Servers "bởi vì nó cung cấp một giải pháp lưu trữ quy mô lớn hiện đại, đem lại khả năng mở rộng và hiệu năng cao cho loại hình công việc dựa trên tập tin của họ. "Với rất nhiều tập tin được tạo ra trong quá trình dựng hình ảnh, cấu trúc hệ thống tập tin kế thừa hình cây sẽ tạo ra các nút thắt cổ chai trong khi tiến hành công việc. Qumulo cung cấp sự hiểu biết lớn hơn về dữ liệu trong hệ thống lưu trữ dữ liệu gắn với mạng (Network Attached Storage - NAS), loại bỏ sự cần thiết của hệ thống tập tin cấu trúc hình cây.

DreamWorks Animation cũng thích tính linh hoạt của giao diện ứng dụng hệ thống (API) của Qumulo và cách tiếp cận tích hợp các bộ phận Dev Ops của họ để giới thiệu tính năng. Thay vì thực hiện các bản cập nhật lớn thường xuyên có độ rủi ro cao hơn, Qumulo cho chạy tính năng mới hai tuần một lần. Các phiên bản mã hóa nhỏ dễ dàng được kiểm tra hơn trước khi đưa ra hiện trường.

DreamWorks Animation quan tâm đến việc sử dụng bộ nhớ không thay đổi để tăng tốc độ công việc. Điều đó cho phép các nghệ sĩ  truy cập vào nội dung một cách tức thì. Hiện tại, vẫn còn mất vài phút để bắt đầu một phiên làm việc, nhưng nếu tất cả dữ liệu đã lưu trong bộ nhớ, thời gian đó sẽ giảm đáng kể. Điều này sẽ dẫn tới một quy trình làm việc nhanh hơn và có tính tương tác cao hơn và như vậy cho phép sự lặp lại nhiều hơn trong cùng một khoảng thời gian.

Hình ảnh trong phim Kungfu PandaHình ảnh trong phim Kungfu Panda

Với một quy trình công việc truyền thông dựa trên các tập tin, DreamWorks Animation muốn có dữ liệu của mình ở nơi chúng cần phải có. Họ làm việc với các đối tác trên toàn cầu và điều họ cần là  nội dung của họ phải được kiểm soát và được cung cấp cho các đối tác đó. Chương trình Safe Data Sheet cung cấp tính linh hoạt mà họ cần phải lựa chọn phần cứng của riêng mình cũng như lựa chọn phương thức lưu trữ kho dữ liệu trên tại đám mây riêng hoặc tại đám mây công cộng.

Theo Forbes 
https://www.forbes.com/sites/tomcoughlin/2017/08/15/digital-storage-at-dreamworks-animation/#4a58e583304d