در سال ۲۰۲۳ پژوهشگران دانشکدهٔ بازرگانی هاروارد و BCG آزمایشی انجام دادند که هنوز یکی از بهترین شواهد دربارهٔ اثر هوش مصنوعی بر کار دانشی است. ۷۵۸ مشاور (حدود ۷٪ مشاوران آن شرکت) کارهای واقعی مشاوره‌ای را یا با GPT-4 انجام دادند یا بدون آن.
نتیجهٔ درخشان
برای کارهایی که در توانایی مدل بود، تفاوت چشمگیر بود:
- حدود ۱۲٪ کار بیشتر انجام شد.
- کار حدود ۲۵٪ سریع‌تر تمام شد.
- کیفیت خروجی بیش از ۴۰٪ بالاتر ارزیابی شد.
- بیشترین سود به ضعیف‌ترین عملکردها رسید.
(ارقام دقیق در گزارش‌ها کمی متفاوت‌اند؛ برای عدد دقیق به متن اصلی مراجعه کنید.)
نتیجهٔ نگران‌کننده
پژوهشگران یک کار را عمداً طوری طراحی کرده بودند که بیرون از توانایی مدل باشد؛ کاری که ظاهراً شبیه بقیه بود ولی پاسخ درستش را مدل نمی‌توانست بدهد. در آن کار، کسانی که از مدل کمک گرفتند بیشتر دچار خطا شدند تا کسانی که بدون هوش مصنوعی کار کردند. چون به خروجی روان و مطمئنِ مدل اعتماد کردند.
پژوهشگران برای این پدیده تعبیر «مرز دندانه‌دار» (jagged frontier) را ساختند: توانایی هوش مصنوعی صاف و قابل‌پیش‌بینی نیست. در بعضی کارها شگفت‌انگیز است و در کاری که در ظاهر ساده‌تر است، شکست می‌خورد.
این برای سازمان شما چه معنایی دارد؟
مهارت اصلی «پرامپت‌نویسی» نیست. مهارت اصلی تشخیص مرز است:
- این کار در محدودهٔ مدل است یا نه؟
- خروجی را چطور باید راستی‌آزمایی کرد؟
- چه چیزی را نباید به مدل سپرد؟
این مهارت از مثال‌های عمومی آموخته نمی‌شود. مرز برای هر سازمان متفاوت است، چون کارها و داده‌ها متفاوت‌اند. یک مدیر مالی باید بداند در گزارش‌های خودش مدل کجا قابل‌اعتماد است و کجا نه.
به همین دلیل در برنامهٔ آموزشی ما، کارنامهٔ دانشی بُعد جداگانه‌ای به «ارزیابی و راستی‌آزمایی خروجی» می‌دهد و آموزش‌ها روی کارهای واقعی خود سازمان ساخته می‌شود، نه مثال‌های عمومی.
جمع‌بندی
هوش مصنوعی وقتی در جای درست باشد، کار را سریع‌تر و بهتر می‌کند. وقتی در جای نادرست باشد، با اطمینان خطا می‌سازد. فاصلهٔ این دو را آموزش و تجربه پر می‌کند، نه ابزار بهتر.