ChatGPT trả lời sai, nhiều người vẫn tin là thật

Đáng lo ngại là sự tự tin và phong cách trả lời lịch sự của ChatGPT đã khiến nhiều người tin rằng chatbot trả lời đúng.

Theo TechSpot, việc xảy ra sai xót khi cung cấp thông tin của các chatbot AI là chuyện rất bình thường, đó cũng là lý do vì sao có nhiều khuyến cáo về việc không nên lạm dụng các công cụ này để viết mã lập trình.

Trong một số thử nghiệm nhằm kiểm tra kiến thức và khả năng chung của ChatGPT về việc viết mã, hệ thống này đã trả lời sai hơn một nửa lượng câu hỏi được đặt ra. Mặc dù vậy, chatbot vẫn đánh lừa được khá nhiều người dùng.

Không nên quá tin tưởng chatbot trong việc viết mã lập trình.

Cụ thể, trong một nghiên cứu của Đại học Purdue (Mỹ), chatbot AI hàng đầu hiện nay là ChatGPT đã nhận được những câu hỏi về 517 Stack Overflow trong lĩnh vực lập trình. Thử nghiệm cũng quy tụ được sự tham gia của một số người tình nguyện để hỗ trợ đánh giá câu trả lời.

Theo The Register, sức thuyết phục của các câu trả lời được đánh giá không chỉ dựa trên việc chúng có đúng hay không, mà còn nằm ở tính nhất quán, đầy đủ và ngắn gọn. Nhóm nghiên cứu cũng phân tích cả văn phong và cảm xúc của các câu trả lời.

Kết quả cho thấy, ChatGPT đã có một màn trình diễn tốt không mấy tốt đẹp. Công cụ của OpenAI chỉ trả lời đúng 48% câu hỏi, trong khi 77% được mô tả là "dài dòng". Điều đặc biệt thú vị là cách trình bày dài dòng này của ChatGPT vẫn được 40% những người tham gia ưa thích, mặc dù chúng không phải câu trả lời đúng. Nếu gặp phải những người có chuyên môn còn yếu có lẽ họ sẽ tin rằng câu trả lời của ChatGPT là chính xác.

Các công ty phát triển AI luôn đưa ra những lời cảnh báo về việc sản phẩm của họ có khả năng cung cấp thông tin sai lệch.

Ngay cả Google cũng đã cảnh báo nhân viên của họ về sự nguy hiểm của chatbot, trong đó có cả Bard của chính công ty, nên hãy tránh lạm dụng những đoạn mã do chúng tạo ra. Trong khi đó, Apple, Amazon và Samsung đã cấm hoàn toàn ChatGPT.