Trong những năm gần đây, ngành lập trình máy tính đã chứng kiến một sự dịch chuyển đáng kể với sự xuất hiện của các chatbot như ChatGPT của OpenAI, được sử dụng để hỗ trợ lập trình. Sự thay đổi này đã ảnh hưởng không nhỏ đến các nền tảng truyền thống như Stack Overflow, nơi đã phải sa thải gần 30 phần trăm nhân sự của mình trong năm qua do giảm bớt lượng truy cập và tương tác.
Tuy nhiên, một vấn đề lớn đã được phát hiện bởi một nhóm nghiên cứu từ Đại học Purdue. Theo nghiên cứu được trình bày tại hội nghị Tương tác Người-Máy tính, 52 phần trăm câu trả lời lập trình do ChatGPT cung cấp là không chính xác. Đây là một tỷ lệ lỗi cao, đặc biệt là khi người dùng mong đợi sự chính xác và độ tin cậy từ công cụ này. Sự không chính xác này còn được thể hiện qua việc ChatGPT thường xuyên tạo ra các câu trả lời không chính xác hoặc không liên quan.
Trong nghiên cứu, các nhà nghiên cứu đã xem xét 517 câu hỏi từ Stack Overflow và phân tích lời giải của ChatGPT. Kết quả cho thấy không chỉ có tỷ lệ thông tin sai lệch cao, mà các câu trả lời của ChatGPT còn dài dòng hơn và thiếu nhất quán so với câu trả lời của con người. Bên cạnh đó, khi phân tích ngôn ngữ của 2,000 câu trả lời từ ChatGPT, các nhà nghiên cứu nhận thấy chúng có xu hướng sử dụng ngôn ngữ trang trọng, phân tích và thể hiện ít cảm xúc tiêu cực hơn, điển hình cho phong cách nhẹ nhàng và lạc quan mà AI thường mang lại.
Điều đặc biệt lo ngại là nhiều lập trình viên con người lại có xu hướng thích các câu trả lời từ ChatGPT hơn. Một cuộc khảo sát nhỏ với 12 lập trình viên cho thấy 35 phần trăm trong số họ ưa thích các câu trả lời từ ChatGPT và 39 phần trăm không nhận ra các lỗi do AI tạo ra. Các cuộc phỏng vấn sau đó đã tiết lộ rằng ngôn ngữ lịch sự, câu trả lời được trình bày mạch lạc và phong cách giống như sách giáo khoa cùng với độ đầy đủ thông tin là những yếu tố khiến các câu trả lời của ChatGPT trở nên thuyết phục hơn. Điều này đã khiến các tham gia viên không chú ý đến một số thông tin sai lệch.
Kết quả của nghiên cứu này cho thấy rằng, mặc dù ChatGPT có nhiều ưu điểm nhưng vẫn còn tồn tại những hạn chế nghiêm trọng. Điều này không chỉ gây ảnh hưởng đến những người bị sa thải từ Stack Overflow mà còn đối với các lập trình viên phải đối mặt với nhiệm vụ khắc phục các lỗi do AI tạo ra trong mã của họ. Đây là một thách thức lớn trong việc áp dụng công nghệ AI trong lập trình, đòi hỏi sự cẩn trọng và kiểm soát chặt chẽ từ phía người dùng khi sử dụng các công cụ này trong công việc phát triển phần mềm.