هوش مصنوعی، سوگیری تأییدی و تفاوت پرسیدن برای فهمیدن با پرسیدن برای تأیید
توی دو بخش قبلی، دو حالت متفاوت از «سؤال نداشتن» رو بررسی کردم.
بخش اول، مسئله این بود که سؤال اصلاً توی ذهن شکل نمیگیره. شکاف رو نمیبینیم، فکر میکنیم پاسخ رو میدونیم، تناقض رو نادیده میگیریم، یا اونقدر سریع از مشاهده به نتیجه میرسیم که فرصتی برای پرسش باقی نمیمونه.
بخش دوم، فرض رو عوض کردم. سؤال شکل گرفته بود، اما فرد بیانش نمیکرد؛ چون پرسیدن هزینه داشت، محیط امن نبود، قدرت اجازه نمیداد، یا فرد بعد از چند تجربه به این نتیجه رسیده بود که «پرسیدن چیزی رو عوض نمیکنه».
اما یه حالت سوم هم هست که به نظرم این روزها، با گسترش هوش مصنوعی، حتی مهمتر شده:
سؤال داریم. میپرسیمش؛ زیاد هم میپرسیم. ولی واقعاً دنبال فهمیدن نیستیم!
پاسخ رو کموبیش از قبل انتخاب کردهایم و حالا دنبال سؤال، شاهد، متخصص، مقاله، آمار یا مدل هوش مصنوعیای میگردیم که اون پاسخ رو تأیید کنه. ظاهر رفتار کاملاً پرسشگرانهست. طرف تحقیق میکنه، مقاله میخونه، از چند نفر سؤال میپرسه، با ChatGPT یا Claude یا هر مدل دیگهای ساعتها حرف میزنه؛ حتی ممکنه یک صفحه استدلال و منبع هم جمع کنه؛ اما یک سؤال ساده میتونه مشخص کنه این جستوجو چقدر واقعی بوده: چه پاسخی میتونه باعث بشه نظرت رو عوض کنی؟
اگه جواب این باشه که «هیچچیز»، احتمالاً تحقیق نمیکنیم. داریم برای حکمی که قبلاً صادر کردیم، وکیل پیدا میکنیم. این حالت، محدود به استفاده از هوشمصنوعی نیست، بلکه از قدیم هم پرسشهای با پاسخ از پیشمشخص، دستمایهی خیلیها بوده که احتمالا شما هم تجربه کردید یا شاهدش بودید.
وقتی سؤال، پوششی برای یک پاسخ آماده است
فرض کنیم من از قبل به این نتیجه رسیدم که فُلان معماری یا تکنولوژی برای پروژه جدیدمون مناسبه. بعد از یک مدل هوش مصنوعی میپرسم: چرا فُلان برای یک پلتفرم بَهمان انتخاب مناسبیه؟ مدل هم احتمالاً میتونه برام یک جواب مرتب و ساختارمند با فهرستی از دلایل تولید کنه؛ و ممکنه هیچکدوم از این دلایل هم ذاتاً غلط نباشن. ولی سؤال من از اول، مسئله رو مصادره کرده. من نپرسیدم: «برای این مسئله چه گزینههای معماریای داریم؟» حتی نپرسیدم: «چه ویژگیهایی از دامنه، تیم، مقیاس و بار عملیاتی باید انتخاب معماری رو تعیین کنن؟» و نپرسیدم: «تحت چه شرایطی فُلان برای این پروژه انتخاب بدیه؟» من پرسیدم: «چرا انتخابی که کردم خوبه؟» و بعد پاسخ مدل رو میتونم به جلسه ببرم و بگم: «ببینید، حتی AI هم همین رو میگه!»
توی این شرایط، مدل هوش مصنوعی ابزار تحقیق من نبوده. بلکه ابزار تولید استدلال برای تصمیم از قبل اتخاذ شدهی من بوده.
همین رفتار رو میشه در سیاست، اقتصاد، روابط عاطفی، انتخاب شغل، مهاجرت، سرمایهگذاری و تقریباً هر حوزه دیگهای دید. مثلاً: «چرا مهاجرت به کشور X تصمیم اشتباهیه؟» یا: «چرا موندن در ایران منطقیتره؟» یا برعکس: «چرا آیندهای در ایران وجود نداره؟». هر سه میتونن پاسخهای طولانی، منطقی و حتی همراه با داده دریافت کنن. ولی اینکه پاسخ تولید شده، چیزی درباره کیفیت سؤال نمیگه.
مغز ما برای دادگاه بیطرف ساخته نشده
این رفتار جدیدی نیست که با هوش مصنوعی به وجود اومده باشه. روانشناسها چند دهه است که درباره Confirmation Bias و Motivated Reasoning صحبت میکنن.
سوگیری تأییدی (Confirmation Bias) یعنی تمایل داریم اطلاعاتی رو بیشتر جستوجو، جدیتر ارزیابی و راحتتر به خاطر بسپاریم که با باورهای قبلی ما سازگار باشن.
مطالعات جدیدتر هم نشون میدن این تمایل فقط در یک مرحله اتفاق نمیافته؛ میتونه روی جستوجوی اطلاعات، ارزیابی شواهد و حتی یادآوری اطلاعات اثر بذاره.
ولی استدلال انگیزهدار (motivated reasoning) یه قدم فراتر میره. Ziva Kunda توی مقاله کلاسیک خودش در سال ۱۹۹۰ تفاوت مهمی رو توضیح میده: گاهی انگیزه ما رسیدن به پاسخِ دقیقتره، ولی گاهی انگیزهمون رسیدن به یک نتیجه خاصه. در حالت دوم، فرایند استدلال هم بهشکلی انتخاب میشه که احتمال رسیدن به نتیجه مطلوب رو بیشتر کنه.
به زبون ساده، مغز ما همیشه نقش قاضی بیطرف رو بازی نمیکنه. خیلی وقتها بیشتر شبیه وکیل مدافع عمل میکنه. قاضی میپرسه: «شواهد چی میگن؟» وکیل میپرسه: «چه شواهدی به نفع موکل من وجود داره؟». فرق این دو، شاید کل موضوع این بخش باشه.
یک شاهد برای من، ده شاهد برای تو
سوگیری تأییدی فقط روی چیزی که جستوجو میکنیم اثر نمیذاره. روی استاندارد ما برای پذیرفتن شواهد هم اثر میذاره. فرض کنین من از یک فناوری، گرایش سیاسی یا هرچی خوشم میاد. یه ارزیابی از یه جا پیدا میکنم که عملکرد خیلی خوبی نشون میده: «دیدی؟ مشخص بود بهترین انتخابه.» شما ارزیابی دیگهای میآرید که نتیجه متفاوتی داره: «این تست شرایط واقعی رو شبیهسازی نکرده.» یه جا نتیجه خوب گرفتن ازش: «ببین چه موفقیتهای کسب کرده!!» یهجای دیگه خراب کرده: «نیازهاشون متفاوت بوده.» یعنی شواهد موافق، مستقیماً وارد مدل ذهنی میشن. و شواهد مخالف باید اول از چندین آزمون عبور کنن.
این رفتار رو توی بخش اول، با مثال دورکاری هم توضیح دادم. اگه باور داشته باشیم دورکاری بهرهوری رو پایین میآره، شکست یک تیم دورکار شاهد بزرگی علیه دورکاری میشه، ولی موفقیت ده تیم دورکار ممکنه «استثنا» تلقی بشه. مشکل اصلی این نیست که انسان سوگیری داره. تقریباً همهمون داریم. مشکل زمانی شروع میشه که تصور کنیم فقط آدمهای «طرف مقابل» گرفتار سوگیریاند.
«من فقط دارم تحقیق میکنم»
یکی از خطرناکترین شکلهای سوگیری تأییدی زمانی اتفاق میافته که خودش رو به شکل تحقیق نشون میده.
فرد میگه: «من که تعصبی ندارم، کلی هم تحقیق کردم!» اما سؤال اینه: «چجوری تحقیق کردی؟» مثلاً درباره انتخاب یک فناوری: «آیا فقط سرچ کردی: مزایای فلان فنآوری؟» یا این رو هم جستوجو کردی: «دلایل انتخاب فلان فنآوری؟» یا «پیچیدگیهای انتخاب و به کار بردن فلان فنآوری؟» یا «کِی و کجا فلان فنآوری؟» یا حتی «موارد شکست استفاده از فلان فنآوری؟» تحقیق، فقط زیادکردن حجم اطلاعات نیست.
نوع سؤالهایی که برای جمعآوری اطلاعات میسازیم، محدوده پاسخهایی رو تعیین میکنه که ممکنه ببینیم.
اگه همه سؤالها در جهت اثبات یک فرض باشن، صد تا مقاله هم بخونیم، ممکنه فقط اطمینان قبلی رو مسلحتر کرده باشیم. و این رو هم به خاطر داشته باشیم که توی این زمانه، شما به اندازهای که بخوای خودت رو قانع کنی برای احمقانهترین و خطرناک ترین تصمیمات هم داده و اطلاعات وجود داره، چه برسه به مواردی که بسته به شرایط یه تصمیم میتونه کاملا صحیح، نسبتا صحیح یا غلط باشه.
اینترنت این مشکل رو ایجاد نکرد؛ مقیاسش رو زیاد کرد
قبل از اینترنت، برای پیدا کردن اطلاعات تأییدکننده باید زحمت بیشتری میکشیدیم. حالا موتور جستوجو، شبکه اجتماعی و الگوریتمهای پیشنهاددهنده این هزینه رو پایین آوردن. من اگه به یک نظریه باور داشته باشم، احتمالاً خیلی راحت میتونم:
- مقالهای در حمایتش پیدا کنم
- ویدیویی دربارهاش ببینم
- گروهی از آدمهای همنظر پیدا کنم
- متخصصی پیدا کنم که ازش دفاع کنه
- آمارهایی در تأییدش جمع کنم
- و هر روز محتوای بیشتری شبیه همون دریافت کنم
ولی با وجود همه اینها، هنوز یک محدودیت وجود داشت: من باید دنبال اطلاعات میرفتم. هوش مصنوعی این مرحله رو هم تغییر داده.
AI یک موتور جستوجوی بهتر نیست
خیلیها هنوز با مدلهای زبانی مثل موتور جستوجو رفتار میکنن. یه سؤال میپرسن و انتظار دارن «پاسخ درست» دریافت کنن. اما مدل زبانی فقط اطلاعات پیدا نمیکنه. با ما وارد تعامل میشه. زمینهای که میدیم رو میخونه. لحن ما رو میبینه. پیشفرضهای سؤال رو دریافت میکنه. گفتوگوهای قبلی رو در متن جاری در نظر میگیره. و پاسخی تولید میکنه که سعی میکنه متناسب با خواسته و زمینه ما باشه.
این ویژگی فوقالعاده قدرتمنده. ولی دقیقاً به همین دلیل میتونه برای پرسشگری خطرناک هم باشه. فرض کنین من بگم:
مدیرم آدم کنترلگریه. امروز دوباره ازم خواست قبل از انجام فلان کار، حتمن بهش اطلاع بدم. تحلیل کن چرا این رفتارش سمی است و نشونه میکرو منیجمنت (Micromanagement) هست.
من فقط اطلاعات به مدل ندادم. تفسیرم رو هم بهعنوان واقعیت وارد کردم:
- مدیر کنترلگره
- رفتار toxic بوده
- اتفاق micromanagement بوده
حالا مدل باید داخل همین قاب جواب بده. ولی اگه بگم:
امروز مدیرم خواست قبل از فلان کار، حتمن بهش اطلاع بدم. چه دلایل مختلفی ممکنه پشت این درخواست باشه و برای اینکه بفهمم micromanagement هست یا نه چه اطلاعات دیگهای لازمه؟
همون اتفاق رو به شکل کاملاً متفاوتی تبدیل کردم. اینجا AI فقط جواب متفاوت نمیده. من فضای متفاوتی برای فکرکردن ساختهام.
خطر تازهای به اسم Sycophancy
یه مسئله دیگه هم وجود داره: Sycophancy. تقریباً یعنی مدل بهجای اینکه با کاربر وارد بررسی انتقادی بشه، بیشازحد با باور، ترجیح یا برداشتهاش همراه بشه. این صرفاً یک نگرانی نظری هم نیست. در آوریل ۲۰۲۵، OpenAI یک بهروزرسانی GPT-4o رو بهدلیل رفتار بیشازحد موافق و چاپلوسانه برگردوند به حالت قبل؛ و صراحتاً گفت مدل در بعضی تعاملها بیش از اندازه با کاربر همراه شده بود.
این مسئله فقط مختص یک مدل یا یک شرکت هم نیست. در ارزیابی مشترک منتشرشده توسط Anthropic و OpenAI در سال ۲۰۲۵، تقریباً همه مدلهای بررسیشده بهجز یکی، تا حدی با مسئله sycophancy مشکل داشتن.
تحقیق جدیدتری در سال ۲۰۲۶ هم نتیجه جالبی داشته: هرچی کاربر نظر خودش رو با قطعیت بیشتری توی prompt بیان میکرد، احتمال همراهشدن مدل با اون نظر بالاتر میرفت. حتی تبدیل یک ادعای قطعی به یک سؤال واقعی، میتونست این رفتار رو کاهش بده. یعنی تفاوت این دو فقط در نحوهی گویش نیست:
«فُلان قطعاً برای این پروژه اشتباهه. توضیح بده چرا.» و «برای این پروژه چه شواهدی به نفع و علیه فُلان وجود داره؟». قالب سؤال، روی فضای استدلال اثر میذاره.
مشکل وقتی جدیتر میشه که AI خیلی خوب بنویسه
فرض کنیم یه دوستی به من بگه: «فُلان برای این پروژه انتخاب خوبیه.» و ممکنه من مخالف باشم، ولی احتمالاً ازش میپرسم چرا. اما اگه یک مدل هوش مصنوعی همون نظر رو با این شکل تحویل بده:
- تحلیل ساختاریافته
- جدول مقایسه
- ده دلیل
- اصطلاحات تخصصی
- چند مثال
- لحن مطمئن
- و چند ارجاع
احتمالاً پاسخ، دانشمندانهتر به نظر میرسه. ولی ظاهر مرتب یک پاسخ، کیفیت معرفتی اون رو تضمین نمیکنه. مدلهای زبانی در تولید متن منسجم و قانعکننده، خیلی خوبن. و این خودش یک ریسک جدیده: ممکنه ضعف سؤال پشت کیفیت پاسخ پنهان بشه. ما قبلاً جواب بد رو راحتتر تشخیص میدادیم، چون اغلب بد نوشته شده بود. ولی حالا میتونیم برای یک فرض اشتباه، یک جواب بسیار حرفهای داشته باشیم.
AI ممکنه فقط سوگیری ما رو منعکس نکنه؛ تشدیدش هم بکنه
یک تحقیق در Nature Human Behaviour با +۱۴۰۰ شرکتکننده، تعامل انسان و AI رو در قضاوتهای ادراکی، احساسی و اجتماعی بررسی کرده. نتیجه جالب ولی کمی نگرانکننده بود: در بعضی شرایط، سوگیری AI وارد قضاوت انسان میشد و بعد از طریق تعامل دوباره تقویت میشد. یعنی یک حلقه بازخوردی شکل میگرفت که در اون سوگیری انسان و AI میتونستن همدیگه رو تشدید کنن!
این اتفاق رو میشه خیلی ساده تصور کرد:
- من با یک پیشفرض وارد گفتگو میشم.
- مدل تا حدی اون پیشفرض رو منعکس میکنه.
- من پاسخ مدل رو شاهدی مستقل برای باور خودم میبینم.
- حالا با اطمینان بیشتری سؤال بعدی رو مطرح میکنم.
- مدل زمینه قویتری در جهت همون باور دریافت میکنه.
- و چند دور بعد، چیزی که در ابتدا فقط یک حدس بوده، توی ذهن من تبدیل میشه به: «من در موردش تحقیق کردم.»
درحالیکه بخش بزرگی از این تحقیق، ممکنه همون حلقهی بازخورد بین خودم و مدلی بوده باشه که اطلاعات اولیهش رو از خود من گرفته. این خطر خصوصاً زمانی زیاده که از AI درباره موقعیتی سؤال میکنیم که تنها منبع اطلاعاتش خودمون هستیم.
مثلاً:
- دعوا با دوست
- اختلاف با مدیر
- ارزیابی عملکرد یک کارمند
- قضاوت درباره رفتار یک دوست
- تحلیل یک اختلاف کاری
- برداشت سیاسی یا اجتماعی
اگه من فقط روایت خودم رو به مدل بدم، مدل به شهادت طرف مقابل، زمینه پنهان و اطلاعاتی که خودم ندیدم دسترسی نداره. حتی بهترین استدلال هم نمیتونه اطلاعاتی رو که وارد گفتگو نشده، جادویی تولید کنه.
AI بیطرفی مصنوعی تولید میکنه
به نظرم یکی از دامهای مهم همینجاست. من یه باور دارم. سؤال جهتداری میپرسم. مدل دلایل خوبی در دفاع ازش تولید میکنه. و بعد میگم: «این فقط نظر من نیست؛ AI هم همین رو گفت.»
- ولی AI شاهد مستقلی نبوده.
- من صورت مسئله رو ساختم.
- من اطلاعات رو انتخاب کردم.
- من چیزهایی رو حذف کردم.
- من سؤال رو قاببندی کردم.
- و مدل بر اساس همین مواد اولیه پاسخ داده.
در چنین حالتی، استفاده از پاسخ AI بهعنوان «نظر سوم بیطرف»، تقریباً مثل اینه که استدلال خودمون رو با صدای فرد دیگهای بخونیم و بعد بگیم: «ببین، اونم با من موافقه.»
حتی مدل هم فرق «باور» و «دانش» رو همیشه خوب تشخیص نمیده
این بحث فقط مربوط به موافقت با کاربر نیست. یکی از مطالعات منتشرشده در Nature Machine Intelligence سال ۲۰۲۵، ۲۴ مدل زبانی رو روی مجموعهای از وظایف مرتبط با تفاوت belief، دانش، باور و حقایق بررسی کرد. مدلها توی بعضی سناریوها، مخصوصاً زمانی که باور نادرست از دید اولشخص بیان میشد، افت قابلتوجهی داشتن. این نکته برای استفاده روزمره از AI مهمه. وقتی میگیم: «من میدونم که فلان تصمیم به دلیل X گرفته شده…» شاید چیزی که واقعاً داریم یک برداشت باشه، نه دانش.
ولی با ساختار جمله، برداشت خودمون رو به شکل fact وارد context کردهایم. بعد از چند پیام، مدل ممکنه همون گزاره رو بهعنوان بخشی از واقعیت گفتگو استفاده کنه. پس همون تمایزی که در بخش اول درباره خودمون گفتم، اینجا هم مهم میشه:
- میدونم
- فکر میکنم
- حدس میزنم
- شنیدهام
- احتمال میدم
- مطمئن نیستم
اینها فقط ظرافت زبانی نیستن. دارن کیفیت اطلاعاتی رو که وارد فرایند استدلال میکنیم مشخص میکنن.
شاید مهمترین Prompt این باشه: با من موافق نباش
بعد از همه اینها، ممکنه راهحل ساده به نظر برسه: به AI بگیم با من موافق نباش. بد نیست. ولی کافی هم نیست.
حتی پژوهشهای جدید درباره sycophancy هم نشون میدن که فقط گفتن «sycophantic نباش» لزوماً بهترین راهحل نیست و شکل خود سؤال اهمیت زیادی داره. بهجای اینکه فقط بگیم: «با من مخالفت کن.» بهتره ساختار گفتگو رو طوری طراحی کنیم که مدل مجبور بشه فضای مسئله رو باز کنه.
مثلاً: «برداشت فعلی من X است. اول فرضهای پنهان این برداشت را استخراج کن.» بعد: «قویترین شواهدی که میتونه این برداشت را رد کنه چیه؟» بعد: «سه توضیح رقیب ارائه بده که با همین مشاهدات سازگار باشن.» بعد: «چه اطلاعاتی نداریم که بدون اونها نباید نتیجهگیری کنیم؟» بعد: «اگر متخصصی با من مخالف بود، قویترین استدلالش چه بود؟» و در پایان: «با اطلاعات فعلی، سطح اطمینان مناسب چقدره و چه چیزی میتونه اون رو تغییر بده؟»
فرق این روش با «بگو چرا حق با منه» خیلی زیاده. در روش اول، AI کارخونه تولید استدلاله. ولی توی روش دوم، AI ابزاری برای تولید اصطکاک فکری میشه.
AI رو از پیشگو به حریف تمرینی تبدیل کنیم!
به نظرم یکی از اشتباههای اصلی اینه که با مدل هوش مصنوعی مثل یه پیشگو رفتار کنیم: «سؤال میکنم، پس جواب بده.» شاید مدل مفیدتر این باشه: «یه فرض دارم؛ کمک کن خرابش کنم.» یعنی AI رو نه فقط جوابدهنده، بلکه حریف تمرینی فکری ببینیم.
توی برنامهنویسی هم همین اتفاق میافته.
بهجای: «این طراحی خوبه؟» میشه گفت: «این طراحی رو مرور کن. دنبال مشکلاتی از نوع الف و ب و ج و… ایی بگرد که احتمالاً خودم ندیدم.» یا بهجای: «چرا استفاده از فُلان درسته؟» بگیم: «فرض کن تصمیم استفاده از فُلان اشتباهه. قویترین دلایلش چی میتونه باشه؟» و بعد برعکس: «حالا فرض کن تصمیم درسته. قویترین دفاع رو بساز.» و بعد: «چه دادهای بین این دو دیدگاه تعیینکننده است؟» (این مرحله آخر مهمه.)
چون هدف صرفاً تولید دو لیست موافق و مخالف نیست. هدف پیدا کردن اطلاعاتی است که تصمیم رو واقعاً تغییر میده.
سؤال خوب لزوماً سؤال باز نیست
خیلی جاها در مورد سؤالپرسیدن میگیم: «سؤال باز بهتره.» این توصیه توی خیلی موقعیتها مفیده، ولی کافی نیست. یه سؤال میتونه کاملاً باز باشه و همچنان جهتدار باشه، مثل: «درباره تمام مشکلات معماری فُلان توضیح بده.» این، خیلی دیگه بازه! و فرضش هم مشخصه: اینکه فُلان، مسئله است. یا: «چرا نسل جدید مسئولیتپذیری کمتری داره؟» باز هم میشه صدها جواب متفاوت داد، ولی سؤال از ابتدا فرض کرده نسل جدید مسئولیتپذیری کمتری داره. پس سؤال خوب رو نمیشه فقط با ساختار دستوری تشخیص داد.
به نظرم سؤال خوب چند ویژگی عمیقتر داره:
سؤال خوب امکان اشتباهبودن پرسشگر رو باز میذاره
شاید اولین معیار این باشه: آیا این سؤال اجازه میده در پایانش بفهمم فرض اولیه خودم اشتباه بوده؟
مثلاً: «چرا این معماری مقیاسپذیر نیست؟» در مقابل: «این معماری تحت چه بار و شرایطی دچار محدودیت میشه و شواهد ما برای اون چیه؟» دومی الزاماً فرض نمیکنه معماری بد یا خوبه.
سؤال خوب، فرضها رو آشکار میکنه
قبل از پاسخ، میشه پرسید: «چه چیزهایی رو توی خود سؤال بدیهی فرض کردم؟» مثلاً: «چرا کارمندام انگیزه ندارن؟»
فرض کرده:
- واقعاً انگیزه ندارن
- مشکل در خود کارمندهاست
- «انگیزه» تعریف مشترکی داره
- کاهش عملکرد از انگیزه ناشی شده
شاید سؤال دقیقتر این باشه: «چه تغییری در رفتار یا خروجی تیم دیدم که اون رو به کاهش انگیزه نسبت دادهام، و چه توضیحهای دیگهای ممکنه وجود داشته باشه؟»
سؤال خوب بین داده و تفسیر فرق میذاره
مثلاً: «مدیرم به من اعتماد نداره.» داده نیست. بلکه تفسیره. داده ممکنه این باشه: در سه درخواست اخیر، خواسته قبل از تحویل کار، تأییدش رو بگیرم.» حالا میشه پرسید: «چه دلایل مختلفی ممکنه برای این رفتار وجود داشته باشه و برای تشخیصش چه اطلاعات بیشتری لازمه؟» این نوع سؤال به جای تحکیم داستان ذهنی، مسئله رو باز میکنه.
سؤال خوب دنبال چیزی میگرده که نظر ما رو تغییر بده
این شاید از همه مهمتر باشه که قبل از تحقیق از خودمون بپرسیم: «چه شواهدی باعث میشه قبول کنم اشتباه میکنم؟» اگه هیچ پاسخ ممکنی برای این سؤال نداریم، احتمالاً باور ما قابل جعل نیست. در این صورت، تحقیق هرچقدر هم طولانی باشه، ممکنه فقط ختم به تأیید یک عقیده باشه.
از AI بخوایم سؤال تولید کنه، نه فقط جواب
یکی از استفادههای خیلی خوب AI که به نظرم کمتر از ظرفیتش استفاده میکنیم، تولید سؤاله. ما معمولاً مسئله رو میدیم و جواب میخوایم. ولی گاهی ارزشمندتره بگیم: «هنوز جواب نده. اول ۱۰ سؤالی که برای فهم درست مسئله باید پاسخ داده بشن، مطرح کن.» یا: «چه اطلاعاتی توی شرح من نیست که بدون اونها نتیجهگیری پرریسکه؟» یا: «چه فرضهایی دارم که شاید خودم متوجهشون نیستم؟» یا: «اگر شرح من درگیر سوگیری شده باشه، کجاها محتملتره؟» یا: «چه سؤالهایی از طرف مقابل این ماجرا میپرسیدی؟»
اینجا AI بهجای پرکردن سریع شکاف، کمک میکنه خود شکافها رو بهتر ببینیم. و این دقیقاً ما رو به نقطه شروع بخش اول برمیگردونه: «سؤال از ندونستن شروع نمیشه؛ از دیدن ندونستن شروع میشه.»
Prompt خوب، جای تفکر خوب رو نمیگیره
با رشد AI، Prompt Engineering برای یه مدتی تقریباً شبیه یک مهارت جادویی مطرح شد که اگه سؤال رو درست بپرسی، جواب خوب میگیری. این تا حدی درسته؛ ولی سؤال مهمتر اینه:
از کجا میدونیم چه چیزی رو باید بپرسیم؟
اگه مدل ذهنی غلط باشه، prompt بسیار حرفهای فقط میتونه پاسخ غلط رو حرفهایتر کنه. اگه مسئله رو اشتباه تعریف کرده باشیم، تمام مفاهیم و ابزارها مرتبط با AI ممکنه فقط مسئله اشتباه رو عمیقتر بررسی کنن.
اگه دنبال تأیید باشیم، context window بزرگتر یعنی فضای بیشتری برای واردکردن شواهد تأییدکننده. اگه حاضر نباشیم نظر خودمون رو تغییر بدیم، دسترسی به بهترین مدل جهان هم پرسشگرمون نمیکنه.
Prompt Engineering بدون Question Engineering ممکنه فقط تولید پاسخ رو بهتر کنه، نه کیفیت فکر رو. و مهم اینه که بدونیم آیا ما ماشین تحویل پاسخ قراره باشیم یا «انسان متفکر».
خطر «پاسخهای بینهایت»
برای هزاران سال، یکی از محدودیتهای یادگیری کمبود پاسخ بود. برای فهمیدن یک موضوع باید:
- استاد پیدا میکردیم
- کتاب پیدا میکردیم
- کتابخونه میرفتیم
- مقاله پیدا میکردیم
- از متخصص وقت میگرفتیم
- یا مدتها آزمایش میکردیم
حالا برای بخش بزرگی از سؤالها، پاسخ اولیه در چند ثانیه در دسترسه. این تحول فوقالعادهست؛ ولی وقتی کالایی فراوان میشه، ارزش «داشتن اون کالا» به مهارت انتخاب و استفاده از اون منتقل میشه. و وقتی پاسخ کمیاب بود، آدمِ دانا کسی بود که جواب بیشتری داشت. وقتی پاسخ تقریباً بینهایت در دسترسه، شاید آدمِ دانا کسی باشه که:
- بدونه چه چیزی رو باید بپرسه
- بفهمه کجا پاسخ کافی نیست
- سؤال خودش رو زیر سؤال ببره
- کیفیت شواهد رو ارزیابی کنه
- تناقض رو پیدا کنه
- بتونه «نمیدونم» رو حفظ کنه
- و تشخیص بده چه زمانی پاسخ زیبا فقط توهم فهم ایجاد کرده
شاید AI ارزش «جواب داشتن» رو کم کنه و ارزش «سؤال داشتن» رو بیشتر.
یکی از خطرهای AI اینه که حسِ فهمیدن رو ارزون کرده
فرض کنین درباره موضوعی هیچچیز نمیدونم. پنج دقیقه با یک مدل صحبت میکنم. و مدل:
- موضوع رو خلاصه میکنه
- اصطلاحات کلیدی رو توضیح میده
- مثال میزنه
- جدول مقایسه میسازه
- مخالفها و موافقها رو میگه
- و آخرش هم یه جمعبندی مرتب تحویل میده
بعد از ده دقیقه واقعاً بیشتر میدونم. این عالیه. اما ممکنه احساس افزایش دانش من، از خود افزایش دانش سریعتر باشه. یعنی خیلی زود به مرحله: «آها، گرفتم.» برسم؛ درحالیکه هنوز:
- تجربهای ندارم
- منابع اصلی رو نخوندم
- پیچیدگیها رو ندیدم
- استثناها رو نمیشناسم
- محدودیت مدل رو نمیدونم
- و حتی نمیدونم چه سؤالهایی هنوز نپرسیدهام
AI میتونه فاصله صفر تا یک رو فوقالعاده سریع طی کنه؛ ولی خطر اینه که بعد از رسیدن به یک، تصور کنیم به ده رسیدهایم؛ و این یعنی «توهم دانایی» که بارها در موردش نوشتهام.در بخش اول گفتم که کنجکاوی معمولاً جایی زندهست که احساس کنیم «یه چیزهایی میدونم، ولی تصویر کامل نیست»؛ و اگه AI خیلی زود حس کاملبودن تصویر رو ایجاد کنه، ممکنه دوباره همون شکاف کنجکاوی بسته بشه.
چطور با AI پرسشگرتر بشیم؟
بعد از این همه نقد، نتیجه من اصلاً این نیست که AI کنجکاوی رو خراب میکنه یا نباید ازش برای فکرکردن استفاده کرد، بلکه برعکس؛ فکر میکنم AI یکی از قدرتمندترین ابزارهاییه که تا حالا برای پرسشگری در اختیار انسان قرار گرفته. برای اولین بار تقریباً هرکسی میتونه با هزینه بسیار کم بگه:
- باهام مخالف باش.
- این فرض رو نقد کن.
- سادهتر توضیح بده.
- یه مثال نقض پیدا کن.
- زاویهای که ندیدم رو نشون بده.
- نقش طرف مقابل رو بازی کن.
- از اول صورت مسئله رو بازسازی کن.
- قبل از جواب دادن، ازم سؤال بپرس.
- استدلال من رو تقویت کن و بعد نقدش کن.
- بگو کجای این نتیجهگیری ممکنه من همبستگی رو با علیت اشتباه گرفته باشم.
- چه دادهای ندارم؟
- سطح اطمینان مناسب چقدره؟
- کدوم بخش پاسخ تو استنباطه و کدوم واقعیت؟
این ظرفیت قبلاً فقط با دسترسی به چند متخصص، یک تیم خوب یا مطالعه طولانی فراهم میشد، ولیحالا تقریباً همیشه در دسترسه؛ ولی یک شرط داره: واقعاً بخوایم چیزی بفهمیم، نه اینکه فقط برنده بحث بشیم یا پاسخ پیدا کنیم.
چند تمرین پیشنهادی و مفید
برای اینکه AI کمتر تبدیل به دستگاه تأیید باورهای قبلیمون بشه، میشه چند عادت ساده ساخت.
اول برداشت خودمون رو با برچسب وارد کنیم
بهجای: «علت شکست پروژه مدیریت ضعیف بود.» بگیم: «فرض فعلی من اینه که مدیریت یکی از عوامل اصلی بوده، ولی مطمئن نیستم.» هم برای خودمون یادآوریه، هم مدل کمتر اون گزاره رو بهعنوان fact دریافت میکنه.
قبل از جواب، از مدل بخوایم ابهامها رو پیدا کنه
هنوز نتیجهگیری نکن. بگو چه اطلاعاتی برای تحلیل کم داری.
حداقل یک فرض رقیب بخوایم
سه توضیح دیگه برای همین اتفاق ارائه بده.
دنبال شواهد مخالف بگردیم
چه دادهای میتونه فرض من رو تضعیف یا رد کنه؟
نقش مخالف رو واقعاً جدی کنیم
نه: «یه ایراد کوچیک هم بگیر.» بلکه: فرض کن یه متخصص باتجربه کاملاً با من مخالفه. قویترین استدلال ممکن اون رو بساز.
بعد از تحلیل اولیه، سؤال رو دوباره بسازیم
با توجه به چیزهایی که الان فهمیدیم، آیا سؤال اولیه من سؤال درستی بود؟ اگر نه، سؤال بهتر چیه؟
گاهی بهترین خروجی یک گفتوگو با AI، پاسخ بهتر نیست، بلکه سؤال بهتره.
شاید سواد AI آینده، بیشتر از Prompt نوشتن باشه
وقتی درباره AI Literacy صحبت میکنیم، معمولاً درباره اینها حرف میزنیم:
- مدل چطور کار میکنه
- hallucination چیه
- prompt خوب چطور نوشته میشه
- داده محرمانه واردش نکنیم
- output رو verify کنیم
همه مهمن. ولی به نظرم یک بخش بنیادیتر هم باید بهش اضافه کنیم: سواد معرفتی در تعامل با AI.
یعنی بدونیم:
- چه چیزی رو به عنوان واقعیت وارد context کردیم که شاید فقط استنباط بوده باشه
- سؤال ما چه پیشفرضهایی داشته
- مدل چقدر اطلاعات مستقل در اختیار داشته
- پاسخ چقدر از حرف خودمون برگشته
- آیا فقط یک روایت رو دیده
- آیا دنبال شواهد ردکننده هم رفتیم
- آیا عدمقطعیت رو حفظ کردیم
- آیا آمادهایم نظر خودمون رو تغییر بدیم
تحقیقات اولیه جدید هم نشون میدن آموزش کاربرها میتونه بعضی اثرات همراهی بیشازحد مدل رو کاهش بده، هرچند بهتنهایی همه مشکلات رو حل نمیکنه. مثلاً همین اخیر، یک آزمایش روی تعامل انسان و AI نشون داده که خطاهای اولیه کاربر میتونن وارد توصیه مدل بشن و کیفیت تصمیم نهایی رو پایین بیارن؛ آموزش متمرکز روی sycophancy اثر رو کاهش داد، ولی کاملاً حذف نکرد.
پس مسئله فقط ساختن «AI بهتر» نیست. کاربر پرسشگرتر هم لازم داریم.
مرور این ۳ لایه
حالا میشه سه بخش این مجموعه رو کنار هم گذاشت.
لایه اول: سؤال شکل نمیگیره
- فرد شکاف رو نمیبینه.
- فکر میکنه پاسخ رو میدونه.
- عدمقطعیت رو تحمل نمیکنه.
- تناقضها رو توجیه میکنه.
پس: سؤال ندارم.
لایه دوم: سؤال شکل گرفته، ولی بیان نمیشه
- فرد سؤال رو میبینه.
- اما محیط ناامنه.
- قدرت، فرهنگ، قضاوت یا تجربه قبلی هزینه پرسیدن رو بالا برده.
- یا فرد باور کرده سؤالش اثری نداره.
پس: سؤال دارم، ولی نمیپرسم.
لایه سوم: سؤال میپرسم، ولی مقصد از قبل مشخصه
- اینجا نه سکوت داریم، نه لزوماً کمبود کنجکاوی ظاهری.
- فرد ممکنه خیلی هم تحقیق کنه.
- ولی سؤالها طوری انتخاب میشن که پاسخ قبلی حفظ بشه.
پس: سؤال میپرسم، ولی حاضر نیستم پاسخ من رو تغییر بده.
به نظرم این سه حالت رو نباید با هم اشتباه گرفت؛ چون درمانشون هم متفاوته. اولی نیاز به دیدن شکاف داره. دومی نیاز به امنیت و اثرگذاری. سومی نیاز به چیزی شاید سختتر: فروتنی معرفتی و آمادگی برای اشتباهبودن.
سؤال خوب چیه؟
بعد از سه پست طولانی، شاید بالاخره بشه برگردیم به این سؤال. به نظرم سؤال خوب، الزاماً طولانی، پیچیده، روشنفکرانه یا حتی از نظر نگارشی بینقص نیست.سؤال خوب سؤالیه که فضایی برای کشف ایجاد کنه.
سؤالی که:
- فرضها رو پنهان نکنه
- بین مشاهده و تفسیر فرق بذاره
- امکان چند پاسخ رو باز بذاره
- به شواهد وصل بشه
- دنبال چیزی باشه که نظر ما رو تغییر بده
- ندانستن رو تحمل کنه
- و نتیجه رو پیش از شروع جستوجو تعیین نکرده باشه
شاید بشه همه اینها رو توی یک معیار جمع کرد: سؤال خوب سؤالیه که پرسشگر واقعاً اجازه بده پاسخش غافلگیرش کنه.
اگه فقط پاسخ مورد انتظارمون رو میپذیریم، سؤال هرچقدر هم دقیق باشه، پرسشگری اتفاق نیفتاده.
و حالا AI…
هوش مصنوعی میتونه ما رو به دو جهت کاملاً متفاوت ببره. میتونه تبدیل بشه به قدرتمندترین ماشین تاریخ برای تولید پاسخهایی که از قبل دوست داریم بشنویم. و برای هر باورمون استدلال بسازه و برای هر تصمیممون توجیه پیدا کنه؛ و با لحن علمی و حرفهای حرفمون رو بازنویسی کنه، طرف مقابل رو نقد کنه؛ و هر بار که پاسخ مطلوب نبود، با prompt جدید دوباره امتحان کنیم تا بالاخره چیزی که میخوایم دریافت کنیم.
اما همون ابزار میتونه دقیقاً کار برعکس رو هم انجام بده.یعنی میتونه:
- فرضهامون رو بیرون بکشه
- سؤالهای ندیده رو بسازه
- استدلال مخالف رو قوی کنه
- تناقض پیدا کنه
- مثال نقض بسازه
- جای خالی دادهها رو نشون بده
- بین واقعیت و استنباط فاصله بندازه
- و قبل از اینکه پاسخ بده، کمکمون کنه سؤال بهتری بسازیم
فناوری در هر دو حالت یکیه. تفاوت اصلی شاید هنوز همون چیزیه که از اول این مجموعه دربارهاش حرف میزدم:
- آیا واقعاً کنجکاویم؟
- آیا میخوایم بفهمیم؟
- یا فقط دنبال پاسخیم؟