Người khổng lồ giấy của ngành dữ liệu esports: Khi cỗ máy phân tích trả về khoảng trắng

Người khổng lồ giấy của ngành dữ liệu esports: Khi cỗ máy phân tích trả về khoảng trắng

Có một khoảnh khắc mà bất kỳ ai làm nghề phân tích dữ liệu cũng phải trải qua ít nhất một lần trong đời: bấm nút chạy, chờ đợi, và nhận về một khoảng trắng. Không phải lỗi hệ thống. Không phải crash. Chỉ là không có gì cả. Một bảng kết quả với đầy đủ khung sườn, đầy đủ tiêu đề, đầy đủ các ô được thiết kế gọn gàng, nhưng mọi ô đều ghi "không đủ thông tin". Chín chiều phân tích. Không một chiều nào có nội dung thật.

Trong tuần này, tôi đọc được một báo cáo như vậy. Nó tự gọi mình là Phân tích chuyên sâu cấp độ hai, lĩnh vực esports. Nó có phân tích meta, phân tích thể thức giải đấu, phân tích đội tuyển và tuyển thủ, phân tích khu vực, phân tích tài chính câu lạc bộ, phân tích luật và quản trị, phân tích rủi ro, phân tích tự sự, phân tích truyền dẫn ngành. Mỗi phần có bảng, có ma trận, có kết luận. Tất cả những gì còn thiếu là nội dung.

Điều đáng sợ không nằm ở việc hệ thống trả về số không. Điều đáng sợ nằm ở chỗ nó được thiết kế để có thể chạy, trả về số không, và vẫn được xuất bản.

Bối cảnh: Một ngành công nghiệp vận hành trên những giả định chưa kiểm chứng

Để hiểu vì sao một báo cáo rỗng lại đáng lo hơn một báo cáo sai, cần hiểu ngành phân tích dữ liệu esports vận hành như thế nào. Trong mười năm trở lại đây, dữ liệu esports đã trở thành một phần cơ sở hạ tầng của ngành công nghiệp này. Mỗi trận đấu ở League of Legends, Dota 2, Counter-Strike 2, Valorant, Honor of Kings, Peace Elite hay StarCraft II đều sản sinh hàng nghìn điểm dữ liệu mỗi phút: mạng hạ gục, mạng chết, chỉ số vàng trên sát thương, thời gian lên đồ, tỷ lệ chọn và cấm tướng, tỷ lệ thắng, chỉ số áp lực đường, vị trí đặt mắt, thời gian kiểm soát mục tiêu lớn. Những điểm dữ liệu này chảy vào ba dòng chính: phân tích chuyên môn cho đội tuyển, nội dung cho khán giả, và thị trường cá cược.

Dòng thứ ba là dòng chảy lớn nhất và ít được nhắc đến nhất. Các công ty cá cược esports không chỉ mua dữ liệu tĩnh. Họ mua dữ liệu trực tiếp, cập nhật từng giây, để điều chỉnh tỷ lệ cược theo thời gian thực. Một công ty cá cược lớn có thể nhận hàng chục nghìn điểm dữ liệu mỗi phút từ một giải đấu cấp khu vực. Và khi dữ liệu đó bị lỗi, không ai dừng trận đấu lại. Không ai tạm hoãn công bố kết quả. Hệ thống chỉ đơn giản là tiếp tục chạy, với một khoảng trắng ở giữa.

Cấu trúc hai giai đoạn của báo cáo mà tôi đọc tuần này phản ánh chính xác cách ngành này vận hành. Giai đoạn một trích xuất thông tin từ nguồn: tiêu đề bài viết, nguồn bài viết, loại bài viết, nhãn lĩnh vực, quan điểm cốt lõi, các điểm thông tin, các thực thể liên quan, độ nhạy thời gian, chất lượng nguồn. Giai đoạn hai nhận những thông tin đó và chạy phân tích chuyên sâu theo chín chiều. Đây là một mô hình hợp lý. Vấn đề là nó không có cơ chế kiểm tra tính đầy đủ ở giữa hai giai đoạn.

Khi giai đoạn một trả về một mảng thông tin rỗng, giai đoạn hai vẫn chạy. Đây là điểm mấu chốt. Theo quy tắc xử lý giá trị rỗng của khung phân tích, một chiều không thể đánh giá sẽ được ghi là "không đủ thông tin, không thể đánh giá", chứ không phải cố gắng bịa ra một kết luận nghe có vẻ hợp lý. Đây là một nguyên tắc đúng về mặt đạo đức nghề nghiệp. Nhưng nó tạo ra một nghịch lý: càng trung thực về mặt dữ liệu, hệ thống càng trả về một sản phẩm trông giống như một phân tích nhưng thực chất là một chẩn đoán lỗi đường ống.

Điểm cốt lõi: Khung phân tích không hỏng, khâu cấp dữ liệu mới hỏng

Chín chiều phân tích của báo cáo này cho thấy một điều quan trọng: khung phân tích hoàn toàn không hỏng. Ma trận rủi ro vẫn ở đó. Bảng so sánh sức mạnh khu vực vẫn ở đó. Bảng cấu trúc tài chính vẫn ở đó. Checklist tuân thủ vẫn ở đó. Sơ đồ truyền dẫn ngành vẫn ở đó. Tất cả đều hoàn chỉnh về mặt cấu trúc, chỉ thiếu dữ liệu đầu vào. Nói cách khác, lỗi không nằm ở hệ thống phân tích. Lỗi nằm ở khâu cấp dữ liệu.

Với tư cách một người đã dành gần hai thập kỷ theo dõi dữ liệu thể thao, tôi thấy đây là một trong những vấn đề nghiêm trọng nhất của ngành esports. Chúng ta xây dựng những cỗ máy phân tích ngày càng tinh vi, nhưng chúng ta gần như không xây dựng cơ chế kiểm tra xem dữ liệu đầu vào có thực sự tồn tại hay không. Một khung phân tích chín chiều có thể chạy trên một mảng dữ liệu rỗng và cho ra một tài liệu đủ dài để được xuất bản. Không có một phép khẳng định nào bắt buộc trường thông tin phải không rỗng. Không có một cảnh báo nào khi nhãn trò chơi bị thiếu.

Và đây là điều kết nối ngành phân tích esports với thị trường cá cược. Nhãn trò chơi là điều kiện tiên quyết đầu tiên của bất kỳ phân tích esports nào. Cấu trúc giải đấu của League of Legends khác hoàn toàn Dota 2. Chu kỳ patch của Counter-Strike 2 khác hoàn toàn Valorant. Số liệu thống kê của Honor of Kings không thể áp dụng cho StarCraft II. Khi một hệ thống trả về nhãn lĩnh vực là "esports" nhưng không xác định được trò chơi cụ thể, nó không chỉ đơn giản là thiếu thông tin. Nó đang nói với chúng ta rằng khâu trích xuất dữ liệu đã thất bại ở tầng sâu nhất.

Nếu khâu trích xuất dữ liệu thất bại ở tầng sâu nhất trong một hệ thống phân tích, thì câu hỏi tiếp theo là: điều gì xảy ra với hàng nghìn điểm dữ liệu đang chảy vào thị trường cá cược mỗi phút? Ai kiểm tra tính đầy đủ của chúng? Khi một nhà cái nhận được luồng dữ liệu từ một giải đấu, có phép khẳng định nào đảm bảo rằng mảng dữ liệu không rỗng không? Hay hệ thống cũng chỉ đơn giản là tiếp tục chạy, điều chỉnh tỷ lệ cược dựa trên một khoảng trắng?

Trước khi nói về chiến thuật, hãy nói về nỗi sợ. Nỗi sợ ở đây không phải là nỗi sợ thua cược. Nỗi sợ ở đây là nỗi sợ rằng toàn bộ hạ tầng dữ liệu của ngành esports đang vận hành trên những giả định chưa được kiểm chứng. Chúng ta giả định rằng dữ liệu luôn tồn tại. Chúng ta giả định rằng dữ liệu luôn đầy đủ. Chúng ta giả định rằng dữ liệu luôn chính xác. Và khi ba giả định đó đồng thời sai, chúng ta không có cơ chế nào để phát hiện.

Dữ liệu biết đếm, nhưng không biết sợ. Một mảng rỗng không tự báo động. Một trường nhãn trò chơi bị thiếu không tự gửi email cảnh báo. Một báo cáo chín chiều với mọi ô đều ghi "không đủ thông tin" vẫn có thể được xuất bản, được chia sẻ, được trích dẫn, và được dùng làm cơ sở cho các quyết định tiếp theo. Con người mới là bên phải sợ. Nhưng con người lại là bên dễ bỏ qua nhất.

Sự khác biệt giữa chưa được đánh giá và đã được xóa

Có một sự khác biệt quan trọng mà báo cáo này nhấn mạnh, và nó xứng đáng được khắc vào tường của mọi phòng phân tích dữ liệu thể thao: sự khác biệt giữa "chưa được đánh giá" và "đã được xóa". Trong báo cáo, chiều phân tích tài chính câu lạc bộ được ghi là "không đủ thông tin", không phải "không có rủi ro tài chính". Chiều phân tích luật và quản trị được ghi là "không đủ thông tin", không phải "không có vi phạm". Đây là một phân biệt tinh tế nhưng có hậu quả khổng lồ. Nếu một bảng điều khiển hiển thị cả hai trạng thái giống nhau, thì việc thiếu tín hiệu sẽ bị đọc nhầm thành thiếu rủi ro. Và trong một ngành mà rủi ro tài chính và rủi ro tuân thủ có thể quyết định sự tồn vong của cả một giải đấu, đọc nhầm thiếu tín hiệu thành thiếu rủi ro là một sai lầm không thể sửa chữa.

Tôi đã chứng kiến điều này xảy ra theo một cách khác. Nhiều năm trước, khi phân tích các trận đấu ở một giải quốc nội, tôi phát hiện ra rằng một số trường dữ liệu quan trọng bị thiếu trong các trận đấu phát trực tiếp nhưng có đầy đủ trong các trận đấu ghi hình. Không ai trong ban tổ chức để ý. Các nhà phân tích vẫn viết bài. Các nhà cái vẫn đặt tỷ lệ. Không ai hỏi vì sao dữ liệu trực tiếp lại mỏng hơn dữ liệu ghi hình. Sự im lặng xung quanh một lỗ hổng dữ liệu thường nguy hiểm hơn chính lỗ hổng đó.

Ba viễn cảnh và một lựa chọn

Đây là lúc tôi phác ra ba viễn cảnh. Viễn cảnh thứ nhất: đây là một lỗi cá biệt, hệ thống được sửa trong vòng vài ngày, không có hậu quả. Viễn cảnh thứ hai: đây là một lỗi hệ thống đã tồn tại từ lâu, và báo cáo mà tôi đọc chỉ là trường hợp đầu tiên bị phát hiện. Viễn cảnh thứ ba: đây là cách hệ thống luôn vận hành, và việc bị phát hiện mới là điều bất thường.

Trong ba viễn cảnh này, tôi chọn viễn cảnh thứ hai, vì hai lý do. Thứ nhất, các hệ thống dữ liệu hiếm khi hỏng đột ngột; chúng hỏng dần dần, âm thầm, và chỉ lộ ra khi có người kiểm tra. Thứ hai, sự tồn tại của quy tắc xử lý giá trị rỗng trong chính khung phân tích cho thấy rằng các tác giả của khung này đã dự đoán trước trường hợp dữ liệu đầu vào không tồn tại. Họ đã lường trước khả năng này. Họ chỉ không lường trước việc nó sẽ xảy ra trên toàn bộ chín chiều cùng một lúc.

Mọi đế chế đều khởi đầu bằng một cú sút xa và kết thúc bằng một bản báo cáo tài chính. Ngành esports cũng không nằm ngoài quy luật này. Chúng ta đã chứng kiến các giải đấu khởi đầu bằng những khoảnh khắc hoành tráng trên sân khấu, và kết thúc bằng những bảng cân đối kế toán không thể che đậy. Nhưng có một tầng sâu hơn mà ít người nhìn thấy: trước khi bảng cân đối kế toán sụp đổ, hạ tầng dữ liệu đã sụp đổ từ lâu. Một giải đấu không chết vì hết tiền tài trợ. Nó chết vì không còn ai tin vào những con số mà nó công bố.

Góc phản biện: Tôi có thể sai ở đâu

Tôi có thể sai ở đâu? Trước hết, có một khả năng rằng việc hệ thống trả về một báo cáo rỗng lại là một tính năng bảo vệ, không phải một lỗi. Trong một thị trường mà nội dung giả và dữ liệu bịa đặt tràn lan, một hệ thống từ chối bịa ra kết luận từ dữ liệu rỗng là một hệ thống có đạo đức. Nếu mọi khung phân tích trong ngành esports đều làm điều này, từ chối kết luận khi không có dữ liệu, thì chúng ta sẽ có ít bài phân tích hơn nhưng chất lượng cao hơn. Khả năng này không thể loại bỏ.

Thứ hai, tôi có thể đang phóng đại mức độ nghiêm trọng của một lỗi đường ống đơn lẻ. Bất kỳ hệ thống dữ liệu nào cũng có lỗi. Bất kỳ đường ống nào cũng có điểm nghẽn. Một lần trả về rỗng không chứng minh rằng toàn bộ ngành đang vận hành trên giả định sai lầm. Có thể đây chỉ là một sự cố cá biệt, và hệ thống đã được sửa trước khi bất kỳ ai bị ảnh hưởng. Không có bằng chứng về một cuộc khủng hoảng hệ thống.

Thứ ba, và đây là điểm tôi phải tự thú nhận: tôi viết bài này từ Thượng Hải, theo dõi một ngành có trung tâm vận hành đặt tại Trung Quốc, nhưng lại đọc một báo cáo về một nguồn không xác định. Bối cảnh địa lý của tôi có thể đã khiến tôi nhìn thấy một vấn đề hệ thống ở nơi thực tế chỉ là một vấn đề cục bộ. Ngành esports Trung Quốc và ngành esports phương Tây vận hành với những mức độ minh bạch dữ liệu rất khác nhau. Một lỗi ở thị trường này có thể là chuyện thường ngày ở thị trường kia, và ngược lại.

Nhưng ngay cả khi thừa nhận cả ba khả năng trên, có một điều vẫn đúng: một hệ thống phân tích được thiết kế để chạy trên dữ liệu rỗng và vẫn xuất bản kết quả là một hệ thống không có phép khẳng định tính đầy đủ. Và một ngành công nghiệp không có phép khẳng định tính đầy đủ ở tầng phân tích sẽ rất khó có phép khẳng định tính đầy đủ ở tầng cá cược. Mối liên hệ này không phụ thuộc vào việc lỗi cụ thể kia có nghiêm trọng hay không. Nó phụ thuộc vào cấu trúc.

Người khổng lồ bằng giấy thì không bao giờ chảy máu. Nhưng họ cũng không bao giờ tự báo động. Một hệ thống phân tích không bao giờ chảy máu khi dữ liệu của nó bị mất. Nó chỉ đơn giản là tiếp tục chạy, tạo ra những tài liệu trông có vẻ chuyên nghiệp, và chờ đợi ai đó đọc kỹ đến mức nhận ra rằng mọi ô đều trống rỗng.

Điểm chốt: Ai sẽ lột chiếc mặt nạ của esports?

Câu hỏi mà báo cáo rỗng này để lại không phải là làm thế nào để sửa lỗi đường ống. Câu hỏi là: trong bao nhiêu sản phẩm phân tích esports mà chúng ta tiêu thụ mỗi ngày, có bao nhiêu thực chất là những bảng rỗng được trình bày đẹp? Và nếu chúng ta không thể phân biệt được một phân tích thật với một chẩn đoán lỗi được định dạng như một phân tích, thì điều gì khiến chúng ta tin rằng thị trường cá cược, nơi dữ liệu biến thành tiền thật, đang vận hành trên nền tảng vững chắc hơn?

Esports không giết bóng đá. Nó chỉ lột chiếc mặt nạ của bóng đá. Nhưng có một câu hỏi tiếp theo mà ít ai đặt ra: ai sẽ lột chiếc mặt nạ của chính esports? Nếu câu trả lời là một hệ thống phân tích chín chiều có khả năng tự chẩn đoán lỗi của mình, thì đó là một tín hiệu tốt. Nếu câu trả lời là không ai cả, thì chúng ta đang sống trong một ngành mà người khổng lồ giấy không chỉ không chảy máu, mà còn không biết mình đang rỗng.