فصل سوم
طراحی سوال‌هایی که داده قابل‌استفاده تولید کند
سوال، شاهد را تعیین می‌کند
اگر از این گزارش فقط یک عدد در ذهن بماند، به نظر ما این اعداد هستند:
همان شواهدی که در فصل قبل توضیح دادیم، بر اساس نوع سوالی که آن‌ها را بیرون کشیده بود دسته‌بندی کردیم. سه دسته اصلی شکل گرفت: سوال‌هایی که یک مثال یا موقعیت واقعی می‌خواهند («یه موقعیتی رو تعریف کن که…»، «آخرین باری که…»)، سوال‌هایی که روش کلی می‌پرسند («چطور با … برخورد می‌کنی؟»)، و سوال‌هایی که تعریف یا دانش می‌خواهند («… چیه؟»، «تفاوت … و … رو توضیح بده»).
| نوع سوال | سهم شواهد سطح ۳ و ۴ |
|---|---|
| مثال یا موقعیت واقعی | ۶۱٪ |
| روش کلی («چطور…») | ۲۹٪ |
| تعریف و دانش («… چیه؟») | ۱۲٪ |
سوالی که مثال واقعی می‌خواهد، بیش از دو برابر سوال «چطور» و پنج برابر سوال «چیه» شواهد قابل‌استفاده تولید می‌کند. این تفاوت با هیچ پرامپت، هیچ مدل بهتر و هیچ گزارش زیباتری جبران نمی‌شود. اگر سوال از کاندید تعریف بخواهد، بهترین جوابی که می‌گیرید یک تعریف است.
جالب اینجاست که پرتکرارترین نوع سوال در مصاحبه‌های ما، همان سوال «چطور» بود؛ سوالی که طبیعی‌ترین شکل پرسیدن برای مصاحبه‌گرها است و کمترین بازده را دارد.
سه نوع سوال، سه نوع شاهد
با این تجربه، طراحی سوال در هایلایت به این شکل درآمد که برای هر شایستگی اول تصمیم بگیریم کدام قالب مناسب است:
سوال رفتاری (گذشته‌نگر). وقتی انتظار می‌رود کاندید واقعاً چنین موقعیتی را تجربه کرده باشد. از او یک نمونه مشخص و واقعی می‌خواهیم: «یه مورد مشخص که اخیراً پیش اومده» همیشه بهتر از «معمولاً چطور برخورد می‌کنی» است. این نوع سوال، بیشترین شاهد سطح ۳ و ۴ را می‌دهد.
سوال موقعیتی (سناریو). وقتی کاندید ممکن است تجربه مستقیم نداشته باشد، یا وقتی می‌خواهیم قضاوت او را در موقعیتی خاص همین شغل بسنجیم. اما یک شرط مهم دارد: سناریو باید نسخه‌ای از یک موقعیت واقعی همین نقش باشد، نه موقعیت عمومی و قابل حدس. هر چه سوال به واقعیت این شغل نزدیک‌تر باشد، جواب حفظی و آماده کمتر کار می‌کند.
سوال دانشی یا تجربه‌ای. برای شایستگی‌هایی از نوع دانش یا سابقه کاری. اینجا به جای تعریف حفظی، از کاندید می‌خواهیم یک تصمیم یا کار واقعی خودش را توضیح دهد و بگوید چرا آن‌طور انجام داده. تفاوت «کش (Cache) چیه؟» با «آخرین جایی که کش گذاشتی، چرا اونجا گذاشتی و چی رو خراب کرد؟» دقیقاً تفاوت ۱۲٪ و ۶۱٪ جدول بالا است.
و برای شرایط احراز، یک سوال مستقیم. «امکان کار در شیفت شب رو داری؟» کافی است. اینجا داستان موفقیت و سناریو نمی‌خواهیم؛ شرط احراز مقیاس رفتاری ندارد. تنها نکته این است که اگر جواب مبهم یا مشروط بود، مصاحبه‌گر بداند کدام جزئیات را روشن کند.
از شایستگی شروع کنید، نه از سوال
بیشتر تیم‌ها وقتی می‌خواهند مصاحبه طراحی کنند، از سوال شروع می‌کنند: «چه سوال‌هایی بپرسیم؟» تجربه ما می‌گوید این ترتیب اشتباه است. سوال خوب از شایستگی خوب بیرون می‌آید، نه برعکس.
در طراحی هایلایت، هر مصاحبه اول فهرست شایستگی‌ها را دارد: چیزهایی که در این مصاحبه سنجیده می‌شوند و گزارش نهایی روی همان‌ها نمره می‌گیرد. شایستگی‌ها سه نوع دارند: مهارت (کاری که کاندید می‌تواند انجام دهد)، دانش یا تجربه کاری (چیزی که می‌داند یا قبلاً انجام داده)، و شرط احراز (یک شرط بله/خیر). هر سوال به یک یا چند شایستگی وصل می‌شود. این اتصال دو کار می‌کند: به ارزیاب می‌گوید پاسخ این سوال شاهدِ کدام شایستگی است، و در گزارش، پاسخ کاندید زیر همان شایستگی نمایش داده می‌شود.
قاعده‌ای که از این ساختار بیرون آمد ساده است: سوالی که به هیچ شایستگی وصل نیست، پرسیده می‌شود ولی نمره‌ای را جابه‌جا نمی‌کند. شایستگی‌ای که هیچ سوالی ندارد، در گزارش شاهدی نخواهد داشت. هر دو حالت، وقت کاندید و اعتبار گزارش را هدر می‌دهند.
در عمل، مصاحبه‌های ما به‌طور میانه ۶ شایستگی و ۶ سوال داشتند؛ یک‌چهارم مصاحبه‌ها زیر ۵ سوال و یک‌چهارم بالای ۹ سوال. این بازه معقولی است. مصاحبه‌ای که ۱۵ شایستگی دارد، در واقع هنوز تصمیم نگرفته چه چیزی برایش مهم است.
«اگر همه چیز بسیار مهم باشد، هیچ چیز مهم نیست»
هر شایستگی یک وزن دارد: پایین، متوسط، زیاد، بسیار زیاد. این وزن در نمره کلی اثر می‌گذارد و به مدیر استخدام اجازه می‌دهد بگوید چه چیزی برای این نقش حیاتی است و چه چیزی خوب است اگر باشد.
وقتی به داده نگاه کردیم، در ۷۱٪ مصاحبه‌هایی که سه شایستگی یا بیشتر داشتند، همه شایستگی‌ها یک وزن گرفته بودند. یعنی در بیشتر موارد، عملاً هیچ اولویتی به ارزیاب داده نشده بود. نتیجه‌اش این است که کاندیدی که در شایستگی حیاتی ضعیف است اما در سه شایستگی فرعی قوی، نمره کلی خوبی می‌گیرد و مدیر استخدام تازه در مصاحبه حضوری متوجه مشکل می‌شود.
درس ما: وزن‌دهی یک تصمیم است که باید با مدیر استخدام گرفته شود، نه یک فیلد که با مقدار پیش‌فرض رها شود. یکی دو شایستگی «بسیار زیاد»، بقیه پایین‌تر. اگر هر شش شایستگی «بسیار زیاد» هستند، هنوز گفت‌وگو با مدیر استخدام تمام نشده است.
مقیاس رفتاری: قبل از مصاحبه بنویسید سطح ۱، ۳ و ۵ چه شکلی است
مهم‌ترین تغییری که در کیفیت ارزیابی دیدیم، از جایی آمد که انتظارش را نداشتیم: نه از مدل بهتر و نه از پرامپت طولانی‌تر، بلکه از نوشتن مقیاس نمره‌دهی برای هر شایستگی.
منظور از مقیاس رفتاری (که در ادبیات سنجش به آن BARS یا Behaviorally Anchored Rating Scale می‌گویند) توصیف این است که پاسخ سطح ۱، سطح ۳ و سطح ۵ برای این شایستگی دقیقاً چه شکلی است. نه با صفت («ارتباط‌گیرنده خوب»)، بلکه با رفتار قابل مشاهده («توضیح می‌دهد چه گزینه‌ای را کنار گذاشته و چرا»). یک مثال از خروجی سیستم:
- عنوان:
- مدیریت اولویت‌های متناقض
- تعریف:
- توانایی پیش بردن کار وقتی دو ذی‌نفع هم‌زمان چیزهای متفاوتی می‌خواهند. در این نقش معمولاً بین درخواست‌های محصول و بدهی فنی اتفاق می‌افتد.
- سطح ۱:
- یکی از دو درخواست را انتخاب می‌کند و بدون اطلاع دادن، آن یکی را کنار می‌گذارد.
- سطح ۳:
- از هر دو طرف می‌پرسد ضرب‌الاجلشان به چه چیزی وابسته است و بر همان اساس ترتیب کار را مشخص می‌کند.
- سطح ۵:
- با هر دو ذی‌نفع می‌نشیند و دامنه کار را دوباره مشخص می‌کند، توافق را مکتوب می‌کند و پیش از رسیدن ضرب‌الاجل هشدار می‌دهد.
سه سطح روی یک پیوستار هستند: همان رفتار که هر چه بالاتر می‌رود بهتر انجام می‌شود، نه سه رفتار متفاوت. سطح ۳ همان استانداردی است که از یک استخدام شایسته انتظار می‌رود. سطح‌های مجاور باید کاملاً از هم قابل تفکیک باشند.
اثر این کار در داده‌ها قابل مشاهده بود. در گزارش‌هایی که شایستگی‌هایشان مقیاس رفتاری داشت، فاصله بین بالاترین و پایین‌ترین نمره کاندید در یک گزارش به‌طور میانه ۳۵ نمره بود؛ در گزارش‌های بدون مقیاس، ۲۰ نمره. پراکندگی نمره‌ها نزدیک به دو برابر شد.
این یعنی چه؟ یعنی بدون مقیاس، ارزیاب تمایل دارد همه شایستگی‌ها را در یک محدوده امن نمره بدهد؛ در کل داده‌ها، ۸۱٪ نمره‌های کلی بین ۶۰ و ۹۰ افتاده‌اند. گزارشی که همه چیز را ۷۲ نمره می‌دهد، برای مدیر استخدام فرقی با گزارشی که همه چیز را ۷۸ می‌دهد ندارد. مقیاس رفتاری به ارزیاب اجازه می‌دهد بگوید: «این کاندید در مدیریت اولویت‌ها سطح ۵ است و در تحلیل داده سطح ۲»، و همین تفاوت است که تصمیم‌سازی را ممکن می‌کند.
مقیاس رفتاری کار سختی است و بیشتر تیم‌ها آن را ننوشته بودند؛ در زمان این تحلیل، فقط بخش کوچکی از شایستگی‌ها مقیاس داشتند. برای همین تولید پیش‌نویس مقیاس با هوش مصنوعی را به فرآیند اضافه کردیم، اما پیش‌نویس تا زمانی که مدیر استخدام آن را نخوانده و سطح ۳ را تأیید نکرده، فقط پیش‌نویس است.
سوال تکمیلی را هم طراحی کنید
مصاحبه‌گر هوش مصنوعی فقط سوال‌های از پیش تعیین‌شده را نمی‌پرسد. به‌طور میانه برای هر سوال اصلی ۲٫۵ بار صحبت می‌کند و در هر مصاحبه حدود ۱۰ نوبت بیش از تعداد سوال‌های اصلی حرف می‌زند. این نوبت‌های اضافه همان سوال‌های تکمیلی هستند، و همان‌جایی است که کاندید از ادعا به مثال می‌رسد یا نمی‌رسد.
اما اگر برای سوال تکمیلی دستورالعملی نوشته نشده باشد، مصاحبه‌گر خودش تصمیم می‌گیرد چه بپرسد. نتیجه، گاهی خوب و گاهی کلی است. در بازخوردهای نوشته‌شده کاندیدها، «سوال‌های کلی یا نامتناسب» (۷٪) و «سوال‌های تکراری» (۴٪) از پرتکرارترین انتقادها بودند. سوال تکمیلی بدون دستورالعمل، محتمل‌ترین منشأ این دو انتقاد است.
در زمان این تحلیل، فقط حدود ۲۰٪ سوال‌ها دستورالعمل تکمیلی داشتند. درسی که گرفتیم: سوال تکمیلی هم جزو طراحی مصاحبه است. یک دستورالعمل تکمیلی خوب:
- شرطی است: «اگر فقط گفت مشکل حل شد، بپرس اولین کاری که کرد و جواب نداد چی بود.» مصاحبه‌گر باید بداند بسته به جواب، کدام مسیر را برود.
- می‌گوید پاسخ سطح ۳ معمولاً چه چیزی کم دارد و برای فهمیدن اینکه کاندید به سطح ۵ می‌رسد یا نه، دقیقاً چه چیزی باید پرسیده شود.
- از میان پیگیری‌های کلاسیک، مناسب‌ها را انتخاب می‌کند: چه گزینه‌ای را کنار گذاشت و چرا؛ اولین کاری که کرد و جواب نداد؛ اگر شرایط فرق می‌کرد چه چیزی خراب می‌شد؛ کسی که مخالف بود چه استدلالی داشت؛ حالا چه کاری را متفاوت انجام می‌داد.
- برای شایستگی‌های دانشی، یک پیگیری راستی‌آزمایی دارد: یک جزئیات عملی که فقط کسی که واقعاً این کار را انجام داده می‌تواند بگوید. کسی که تجربه واقعی دارد، با پیگیری دقیق‌تر می‌شود؛ کسی که ندارد، کلی‌تر.
- کوتاه است. سه خط، نه یک صفحه.
و یک قاعده که به قیمت چند مصاحبه خراب یاد گرفتیم: دستورالعمل تکمیلی مخاطبش مصاحبه‌گر است، نه کاندید. هیچ‌وقت نباید در متن سوال بیاید. در فصل بعد توضیح می‌دهیم چطور این را در سطح پرامپت تضمین کردیم.
کشف شغل: سوال خوب از شواهد واقعی نقش می‌آید
یک سوال ساده از خودمان پرسیدیم: وقتی هوش مصنوعی شایستگی و سوال تولید می‌کند، از چه چیزی تولید می‌کند؟ پاسخ در بیشتر موارد این بود: از شرح شغل. و شرح شغل، همان متنی است که کاندید هم خوانده و رزومه‌اش را با آن تنظیم کرده.
شایستگی‌هایی که فقط از شرح شغل بیرون می‌آیند، معمولاً کلی و قابل حدس از آب درمی‌آیند: «کار تیمی»، «مهارت ارتباطی»، «حل مسئله». سوال‌هایشان هم همین‌طور. برای عبور از این، فرآیندی به نام کشف شغل طراحی کردیم: قبل از ساختن شایستگی و سوال، با کسانی که این شغل را از نزدیک می‌شناسند گفت‌وگو می‌شود و خروجی این گفت‌وگوها همان شواهدی است که تولید شایستگی و سوال به آن تکیه می‌کند.
سه نوع گفت‌وگو تعریف شد:
- با HR: کوتاه و محدود به چیزهایی که منابع انسانی واقعاً می‌داند: الزامات قطعی، اینکه کدام نیازمندی از روز اول لازم است و کدام قابل آموزش، دلایل رد کاندیداهای قبلی و دلایل ترک کار.
- با مدیر استخدام: نتایج مورد انتظار، کار واقعی روزمره، تصمیم‌های مهم، و اشتباه‌های پرهزینه.
- با کسی که همین کار را می‌کند: یک هفته کاری معمول، سخت‌ترین چیزی که باید یاد گرفت، و چیزی که تازه‌واردها دست‌کم می‌گیرند.
سوال موقعیتی که از «اشتباه پرهزینه‌ای که مدیر استخدام تعریف کرد» ساخته می‌شود، با هیچ جواب آماده‌ای قابل پاسخ نیست. این دقیقاً همان چیزی است که می‌خواهیم.
تا پایان شهریور، ۸۹ گفت‌وگوی کشف شغل برای ۴۴ موقعیت شغلی شروع شده بود. مدیران استخدام بیش از آنچه فکر می‌کردیم همکاری کردند؛ وقتی گفت‌وگو درباره کار واقعی خودشان است و نه پر کردن فرم، وقت می‌گذارند.
در مصاحبه‌های موقعیت‌هایی که کشف شغل تکمیل‌شده داشتند، سهم شاهدهای سطح ۳ و ۴ کمی بالاتر بود (۴۱٪ در مقابل ۳۸٪). این تفاوت کوچک است و نمونه هنوز کم؛ آن را یک نشانه اولیه بدانید، نه نتیجه. اما جهتش با تجربه کیفی ما هم‌خوان است.
فرض نکنید کاندید در همین صنعت کار کرده
یک خطای پنهان در سوال‌های تولیدشده: بعضی اوقات سوال‌ها به‌طور ضمنی فرض می‌کردند کاندید در همین صنعت سابقه دارد. «یه موقعیتی رو تعریف کن که یه بیمار ناراضی رو راضی نگه داشتی» از کاندیدی که از صنعت دیگری می‌آید، فقط سکوت می‌گیرد؛ در حالی که «یه موقعیتی رو تعریف کن که یه مشتری ناراضی رو راضی نگه داشتی» همان شایستگی را می‌سنجد.
قاعده‌ای که به تولید سوال اضافه شد: درباره تجربه در همین نوع کار بپرس، نه در همین صنعت، مگر اینکه شرح شغل یا شواهد کشف شغل، دانش صنعت را واقعاً الزامی کرده باشند. جزئیات صنعت را از سوال حذف کن، اما طرف حساب خودِ کار را نگه دار: «مشتری بانک» بشود «مشتری»، نه «طرف مقابل». و در ارزیابی، مثالی که از صنعت دیگری آمده صرفاً به این دلیل ضعیف‌تر حساب نشود.
این قاعده به‌ظاهر کوچک، در بازار کاری که بسیاری از کاندیدها تازه‌کارند یا از صنعت دیگری می‌آیند، تفاوت بین «دیدن» و «ندیدن» بخشی از استعدادها است.
طول مصاحبه یک تصمیم طراحی است
برگردیم به عددی که در فصل قبل گفتیم: ۱۲٪ مصاحبه‌ها از یک ساعت گذشتند.
حساب ساده است. شش سوال با ۲٫۵ نوبت گفت‌وگو برای هر سوال، حدود ۳۰ دقیقه می‌شود. نُه سوال با سوال‌های تکمیلی فعال، به راحتی به ۴۵ تا ۶۰ دقیقه می‌رسد. اگر کاندید پرحرف باشد و مصاحبه‌گر محدودیت سه سوال تکمیلی در هر موضوع را جدی نگیرد، از یک ساعت می‌گذرد.
از سمت کاندید، بازخوردها دو خواسته متناقض داشتند: بعضی می‌خواستند مصاحبه کوتاه‌تر باشد و بعضی می‌خواستند برای جواب دادن وقت بیشتری داشته باشند. کم کردن یکسان زمان، یکی را حل و دیگری را بدتر می‌کند. راه‌حل، کم کردن نیست؛ قابل پیش‌بینی کردن است: مدت تقریبی و تعداد سوال در دعوت‌نامه گفته شود، پیشرفت در حین مصاحبه نمایش داده شود، زمان فکر کردن از زمان ضبط جدا شود، و برای سوال‌هایی که نیاز به فکر دارند، زمان فکر مشخص تعیین شود.
فهرست کوتاه برای طراحی مصاحبه
- از شایستگی شروع کنید، نه از سوال. برای هر شایستگی نوعش را مشخص کنید: مهارت، دانش، یا شرط احراز.
- به یکی دو شایستگی وزن «بسیار زیاد» بدهید، نه به همه.
- برای هر شایستگی نمره‌پذیر، سطح ۱، ۳ و ۵ را با رفتار قابل مشاهده بنویسید، نه با صفت.
- برای هر شایستگی یک سوال بنویسید و برای هر سوال یک دستورالعمل تکمیلی شرطی.
- سوال مثال‌محور بپرسید، نه «چطور» و نه «چیه».
- سناریو را از موقعیت واقعی همین شغل بسازید، نه از موقعیت عمومی. اگر شواهد کشف شغل ندارید، اول با مدیر استخدام حرف بزنید.
- فرض نکنید کاندید در همین صنعت کار کرده.
- طول مصاحبه را حساب کنید و به کاندید بگویید.