محققان دانشگاه استنفورد و دانشگاه کالیفرنیا در برکلی دریافتند که عملکرد نرم‌افزار ChatGPT در طول زمان به شدت کاهش یافته و دقت آن کمتر شده است.

تیم محققان نسخه‌های مختلف ChatGPT را از مارس ۲۰۲۳ و ژوئن ۲۰۲۳ برای نسخه‌های ChatGPT ۳.۵ و ChatGPT ۴ در چهار وظیفه اصلی تجزیه و تحلیل کردند و معیار‌هایی را برای ارزیابی کارایی این مدل در حل مسائل ریاضی، پاسخ به سؤالات حساس و تولید کد ایجاد کردند.

آزمایش‌ها نشان داد که عملکرد نسخه‌ها در طول زمان به شکل قابل توجهری کاهش می‌یابد. در ماه مارس، ChatGPT۴ توانست اعداد اول را با دقت ۹۷.۶ درصد شناسایی کند، اما در ژوئن، ChatGPT تنها توانست به ۱۲ سؤال به درستی پاسخ دهد.

وقتی نوبت به ایجاد چند خط کد رسید، عملکرد ChatGPT دوباره ضعیف بود و این مطالعه همچنین نشان داد که آخرین نسخه این برنامه از پاسخ دادن به برخی سؤالات حساس خودداری می‌کند.

محققان کاهش عملکرد ChatGBT را به توسعه دهندگانی نسبت دادند که از چندین مدل کوچکتر و تخصصی‌تر از ربات با هزینه کمتر استفاده می‌کنند.

در چند ماه گذشته، بسیاری از کاربران به رسانه‌ها و انجمن‌های اجتماعی شکایت کرده‌اند که عملکرد GPT Chat رو به نزول رفته است.

منبع: 24ae