«توهم (Hallucination)» یعنی مدلِ زبانی پاسخی میدهد که نادرست است اما با اطمینانِ کامل و ظاهری قانعکننده بیان میشود. این پدیده، بزرگترین مانعِ اعتماد و استفادهٔ سازمانی از هوش مصنوعی است؛ بهویژه در حوزههای واقعیتمحور مثل حقوقی، مالی، سلامت و پشتیبانی.
چرا مدلها توهم میزنند؟
مدلِ زبانی یک «موتورِ احتمالِ کلمهٔ بعدی» است، نه یک پایگاه داده از حقایق. هدفِ آن تولیدِ متنِ روان و محتمل است، نه لزوماً درست. وقتی دانشِ کافی ندارد یا پرسش مبهم است، بهجای گفتنِ «نمیدانم»، محتملترین متن را میسازد که ممکن است غلط باشد. نبودِ منبع و دمای بالای مدل، این را تشدید میکند.
راهکار اصلی: Grounding با RAG
مؤثرترین راه، مقیدکردنِ مدل به منابعِ واقعی است. با RAG ابتدا اطلاعاتِ مرتبط از اسنادِ شما بازیابی و به مدل داده میشود و مدل موظف است فقط بر پایهٔ همان زمینه پاسخ دهد. این «grounding» احتمالِ ساختنِ پاسخِ بیپایه را بهشدت کاهش میدهد.
الزام به استناد
از مدل بخواهید هر ادعای واقعیتمحور را با ارجاع به منبع همراه کند. وقتی پاسخ باید «قابلردیابی» باشد، هم کیفیت بالا میرود و هم کاربر میتواند صحت را بررسی کند. اگر مدل نمیتواند برای ادعایی منبع بیاورد، بهتر است آن را نگوید.
تکنیکهای تکمیلی
- دمای پایین: برای کارهای دقیق، تصادفیبودنِ مدل را کم کنید.
- گزینهٔ «نمیدانم»: صریحاً به مدل اجازه دهید در نبودِ منبع، از پاسخدادن خودداری کند.
- خودبازبینی: یک مرحلهٔ دومِ بررسیِ پاسخ در برابر منابع، خطاها را میگیرد.
- محدودکردنِ دامنه: هرچه وظیفه محدودتر و تعریفشدهتر باشد، توهم کمتر است.
ارزیابی و پایشِ مستمر
توهم را نمیتوان صفر کرد، اما میتوان اندازه گرفت و کنترل کرد. با یک مجموعهآزمونِ اختصاصی و ارزیابیِ خودکار (و بازبینیِ انسانیِ نمونهای)، نرخِ خطا را پایش و روندِ بهبود را دنبال کنید. در تولید، بازخوردِ کاربران بهترین سیگنالِ کیفیت است.
جمعبندی
اعتماد به هوش مصنوعی، حاصلِ طراحیِ درست است نه شانس. ترکیبِ grounding، استناد، تنظیمِ درستِ مدل و لایههای بازبینی، LLM را از یک «سخنگوی مطمئنِ گاهاشتباه» به یک دستیارِ قابلاتکا تبدیل میکند.
نکات کلیدی و بهترینروشها
- پاسخ را به منبعِ بازیابیشده مقید کنید (grounding)
- ادعاهای واقعیتمحور را با استناد همراه کنید
- دمای مدل را برای کارهای دقیق پایین بیاورید
- پاسخها را با یک مرحلهٔ بازبینی/تأیید بسنجید
پرسشهای متداول
توهم در مدل زبانی چیست؟
تولید پاسخِ نادرست ولی با ظاهرِ مطمئن؛ در کارهای واقعیتمحور پرخطر است.
چطور توهم را کم کنیم؟
با RAG و grounding، الزام استناد، دمای پایین، و افزودن گزینهٔ «نمیدانم».
منابع معتبر و مطالعهٔ بیشتر
نقش دیباچین
در دیباچین این راهکارها را از ارزیابی و طراحی تا پیادهسازی و پشتیبانی برای سازمان شما اجرا میکنیم؛ از انتخاب معماری و مدل مناسب تا استقرار امن و پایش مستمر. برای مشاورهٔ اولیهٔ رایگان با ما تماس بگیرید یا پروفایل و خدمات دیباچین را ببینید.
