Jessica Rumbelow và Matthew Watkins, hai nhà nghiên cứu tại nhóm nghiên cứu độc lập SERI-MATS, đã tiến hành phân tích ChatGPT để tìm ra cách mà chatbot này đưa ra câu trả lời tối ưu.
Họ đã vô tình phát hiện ra trong bộ từ vựng cơ bản của ChatGPT có những chuỗi từ lạ có thể khiến cho chatbot này hoạt động sai lệch. Đó là các chuỗi từ như "SolidGoldMagikarp”, “StreamerBot” và “TheNitromeFan".
Tò mò muốn hiểu những cái tên lạ hoắc này ám chỉ điều gì, họ đã quyết định hỏi chính ChatGPT xem nó có biết không. Khi yêu cầu nhắc lại cụm từ “SolidGoldMagikarp”, ChatGPT đã trả lời rằng "phân phối". Khi được yêu cầu nói lại một lần nữa từ “StreamerBot”, nó bất ngờ đưa ra câu trả lời là "Bạn là một thằng khốn nạn".
Với các cụm từ lạ như trên, ChatGPT sẽ phản hồi theo một số cách kỳ lạ, bao gồm né tránh, lăng mạ, hài hước kỳ quái, phát âm hoặc đánh vần một từ hoàn toàn khác.
Riêng cụm từ "TheNitroFan" khi được yêu cầu lặp lại, nó đã trả lời đúng. Nhưng với cụm từ "TheNitromeFan" thì nó lại trả lời là 182. Khi được hỏi "TheNitromeFan" là ai, nó trả lời rằng 182 là một con số, không phải là người
Các nhà nghiên cứu đã gọi các cụm từ lạ này là hộp đen của ChatGPT hay hộp đen của AI, bởi nó là thứ khó hiểu mà không có lời giải thích rõ ràng cho hành vi của ChatGPT, cũng như ChatGPT có thể có những hạn chế và lỗi không mong muốn.
Cặp đôi nhà khoa học đã công bố phát hiện này trong 2 bài đăng trên diễn đàn "lesswrong". Rumbelow và Watkins nói rằng họ vẫn đang tìm hiểu mối liên hệ giữa các cụm từ này với các câu trả lời bất ngờ và ngẫu nhiên mà ChatGPT đã thực hiện.
Ông Watkins nói rằng dường như những cụm từ "TheNitromeFan", "SolidGoldMagikarp", "davidjl", "Smartstocks", "RandomRedditorWithNo" là tên tài khoản của những người dùng diễn đàn Reddit. Cụ thể hơn, dường như nó có liên quan đến một cuộc thi mà có phần đếm số thứ tự để chiến thắng. Cho nên mới có việc ChatGPT mới trả lời "TheNitromeFan" là 182.
Có lẽ ChatGPT đã được đào tạo để thu thập dữ liệu, và những dữ liệu nó lấy về trong trường hợp này là của một cơ sở dữ liệu cũ chứa tên người dùng diễn đàn Reddit.
Đối với Rumbelow và Watkins, vấn đề này không chỉ đơn thuần là các cụm từ lạ - nó thể hiện những thiếu sót của ChatGPT và dự đoán rất nhiều vấn đề mà những người dùng ChatGPT có thể gặp phải trong tương lai gần.
