چرا نباید به پاسخ‌های ChatGPT صددرصد اعتماد کنید؟ این آزمایش ساده همه چیز را ثابت می‌کند

چرا نباید به ChatGPT اعتماد کامل داشت؟ یک آزمایش ساده با خطای دید، محدودیت‌های ChatGPT را آشکار می‌کند و نشان می‌دهد چرا پاسخ‌های آن همیشه قابل اتکا نیستند.

این آزمایش ساده با یک خطای دید معروف، ضعف بنیادین ChatGPT را افشا می‌کند؛ ضعفی که نشان می‌دهد چرا نباید به پاسخ‌های هوش مصنوعی صددرصد اعتماد کرد.

اگر به تبلیغات OpenAI یا نقل‌قول‌های سم آلتمن، مدیرعامل این شرکت، توجه کنید، تصور خواهید کرد که چت جی‌پی‌تی قدرتمندترین و بی‌نقص‌ترین فناوری است که تا به حال دیده‌ایم. البته نباید انکار کرد که ChatGPT و چت‌بات‌های مشابه مانند Gemini و Perplexity بسیار تحسین‌برانگیز هستند، اما با کمی بررسی عمیق‌تر، متوجه می‌شوید که آن‌ها آن‌قدرها هم که سازندگانشان ادعا می‌کنند، توانایی حل تمام مشکلات را ندارند.

هرچه بیشتر از چت جی‌پی‌تی استفاده می‌کنیم، بیشتر به این نتیجه می‌رسیم که این ابزار محدودیت‌های جدی دارد. در واقع این آزمایش ساده نشان می‌دهد که گاهی می‌تواند کاملا بی‌فایده باشد و یکی از بزرگ‌ترین محدودیت‌های ChatGPT را به نمایش می‌گذارد.

افشای محدودیت‌های ChatGPT با یک آزمون ساده

اخیرا در شبکه اجتماعی ردیت کاربری با انتشار یک تصویر، سؤال ساده‌ای از این چت بات پرسید. اما چت‌بات متوجه نشد که هدف اصلی سؤال، به تله انداختن آن بود. تصویر منتشرشده، نسخه‌ای از یک خطای دید معروف به نام خطای دید ابینگهاوس (Ebbinghaus Illusion) بود. در این خطای دید، دو دایره هم‌اندازه به دلیل حلقه‌های اطرافشان، در ابعاد متفاوتی به نظر می‌رسند.

یک انسان با کمی دقت متوجه می‌شود که هر دو دایره نارنجی در تصویر اصلی هم‌اندازه‌اند. اما مشکل اینجا بود که کاربر تصویر را دست‌کاری کرده بود تا هوش مصنوعی را به چالش بکشد.

در تصویری که کاربر به اشتراک گذاشته بود، یکی از دایره‌ها به وضوح کوچک‌تر از دیگری بود. مشکل اینجاست که چت جی‌پی‌تی برای پاسخ دادن به جای تحلیل خود تصویر، به جستجوی معکوس تصویر در اینترنت روی می‌آورد و برای خودش فکر نمی‌کند.

چت بات ChatGPT پس از بررسی تصاویر مشابه در اینترنت، به این نتیجه رسید که تصویر ارائه‌شده با نسخه‌های اصلی خطای دید ابینگهاوس مطابقت دارد. به همین دلیل با اطمینان کامل پاسخ داد: «هیچ‌کدام از دایره‌های نارنجی بزرگ‌تر نیست؛ آن‌ها دقیقاً هم‌اندازه‌اند.» حتی زمانی که به او فرصت داده شد تا پاسخ خود را اصلاح کند، چت‌بات همچنان بر درستی جواب اشتباه خود پافشاری می‌کرد.

• آیا اوپن‌ای‌آی عمدا نسخه رایگان ChatGPT را کند و بی‌دقت کرده است؟
• سم آلتمن: تصمیم‌های مهم زندگی خود را به Chat GPT نسپارید
• آیا استفاده از ChatGPT واقعا ما را احمق و تنبل می‌کند؟

مشکلی بزرگ‌تر از یک خطای دید ساده

شاید به نظر برسد که به تله انداختن هوش مصنوعی با یک تصویر دست‌کاری‌شده اهمیت چندانی ندارد، اما این مثال تنها نوک کوه یخ مشکلات ChatGPT و مدل‌های مشابه است. مسئله اصلی اینجاست که اگر نمی‌توان به پاسخ‌های یک ابزار هوش مصنوعی صددرصد اعتماد کرد، آیا واقعا می‌توان آن را یک ابزار مفید دانست؟

وقتی مجبور باشید برای اطمینان از صحت اطلاعات، پاسخ‌های هوش مصنوعی را راستی‌آزمایی کنید، آیا واقعاً در زمان خود صرفه‌جویی کرده‌اید؟ اگر یک ابزار هوش مصنوعی حتی ۹۹٪ مواقع درست عمل کند (که در واقعیت این‌طور نیست)، آن ۱٪ خطا کافی است تا آن را برای اهداف جدی و حساس، غیرقابل اعتماد کند. اگر ابزارهای تحقیقاتی مبتنی بر هوش مصنوعی هنوز نیازمند بررسی برای یافتن خطا هستند، بهتر است خودتان از ابتدا تحقیق را انجام دهید.

تا زمانی که هوش مصنوعی نتواند ۱۰۰٪ مواقع، کاملا دقیق باشد، صرفا یک ابزار سرگرم‌کننده باقی می‌ماند که برخی کارها را خوب و برخی دیگر را ضعیف انجام می‌دهد. برای تبدیل شدن به آن فناوری انقلابی که آلتمن و همکارانش وعده می‌دهند، این ابزارها باید خطاها را به طور کامل حذف کنند؛ واقعیتی که صراحتاً هنوز با آن فاصله زیادی داریم.