أحد صفحات التقدم العلمي للنشر
اتخاذ القراراخترنا لكبحث

هل ترغب في اتخاذ قرارات أفضل؟ ابدأ بالتجريب

أربعة دروس لاستخدام تجارب عشوائية متحكّم فيها لتوليد القيمة لشركتك وعملائك.

مايكل لوكا، ماكس إتش. بازرمان

لنفترض أنك تعمل في فريق إعلانات لدى غوغل Google وتحتاج إلى تحديد ما إذا كانت خلفية الإعلانات يجب أن تكون زرقاء أو صفراء. وتعتقد أن الأصفر سيجذب معظم النقرات؛ وزميلك يعتقد أن الأزرق أفضل. كيف تتخذان القرار؟

في الأيام الأولى من غوغل قد تتناقشان في المشكلة حتى يخضع أحدكما أو توافقان معاً على تحويل القرار إلى الرئيس المباشر. ولكن، في نهاية المطاف اتضح للقادة في أنحاء غوغل كلها أن العديد من هذه المناقشات والقرارات لم تكن ضرورية.

وقال لنا هال فاريان، كبير الاقتصاديين في غوغل، ”لا نريد أن يناقش المسؤولون التنفيذيون الرفيعو المستوى ما إذا كانت الخلفية الزرقاء أو الخلفية الصفراء ستؤدي إلى مزيد من النقرات على الإعلان. فلماذا تُناقَش هذه النقطة، إذ يمكننا ببساطة إجراء تجربة لمعرفة ذلك“؟

وعمل فاريان مع الفريق الذي طور النهج المنهجي لغوغل في التجريب Systematic approach to experimentation. وتجري الشركة الآن تجارب على نطاق غير عادي، أكثر من 10 آلاف تجربة في السنة. وتساعد نتائج هذه التجارب القرارات الإدارية في مجموعة متنوعة من السياقات، بدءاً من المبيعات الإعلانية إلى مقاييس محرك البحث Search engine parameters.

وعلى نطاق أوسع، تتغلغل عقلية التجريب في جزء كبير من قطاع التكنولوجيا وتنتشر إلى ما هو أبعد من ذلك. وفي هذه الأيام لن تجري معظم شركات التكنولوجيا الكبرى، مثل أمازون Amazon وفيسبوك Facebook وأوبر Uber ويلب Yelp، تغيير مهم على منصاتها من دون إجراء تجارب لفهم كيفية تأثيرها في سلوك المستخدم. بل إن بعض الشركات التقليدية، مثل شركة حساء كامبل Campbell Soup Co.، كانت قد بدأت بإجراء تجارب منذ عقود من الزمن.1J.O. Eastlack, Jr. and A.G. Rao, “Advertising Experiments at the Campbell Soup Company,” Marketing Science 8, no. 1 (February 1989): 57-71. وتكثف شركات كثيرة جهودها في التجريب أثناء خضوعها للتحولات الرقمية. وصارت التجربة العشوائية المتحكم فيها Randomized controlled experiment سائدة، في خروج عن دورها التاريخي كأداة حصرية للأبحاث الأكاديمية. وصارت الشركات الناشئة والتكتلات الدولية والوكالات الحكومية على حد سواء تمتلك أداة جديدة لاختبار الأفكار وفهم أثر المنتجات والخدمات التي تقدمها.

وتكمّل التجارب الحدس والتخمين بتبصر مستند إلى الأدلة. وشهدناها تؤدي إلى عوائد كبيرة للمؤسسات، مثل حين نبهت تجربة موقع إي باي eBay لأنه كان يضيع الملايين من الدولارات الإعلانية سنوياً. (راجع: عوائد التجريب). وازدياد التجارب هو أمر جيدٌ عموما: فهي جيدة للشركات، التي يمكنها استخدام النتائج لتحسين الممارسات التشغيلية والعروض المقدمة إلى العملاء؛ وهي جيدة للحكومات، التي قد تستخدم النتائج لتصميم أفضل الخدمات الأساسية وتقديمها؛ وهي عند تصميمها ومراقبتها بعناية جيدة للعملاء والمواطنين أيضاً.

وفي الوقت نفسه، يتطلب الأمر قرارا لدمج نتائج التجارب بفاعلية في القرارات وتحديد متى وكيف يمكن التجريب. مثلاً، عندما صممت الخبيرة الاقتصادية السلوكية كاتي ميلكمان Katy Milkman وعالمة النفس أنجيلا داكوورث Angela Duckworth، وكلتاهما من جامعة بنسلفانيا University of Pennsylvania، تجارب تهدف إلى تحديد طرق لزيادة معدلات الحضور لسلسلة النوادي الرياضية تونتي فور أور فيتنس (24 ساعة لياقة) 24 Hour Fitness، انكبتا بحثا عن استراتيجيات تؤدي إلى حضور طويل الأمد من خلال متابعة السلوكيات، مثل عدد زيارات النادي في الأسبوع وطول الزيارات بمرور الأشهر. ويسلط نهجهما الضوء على قيمة خيارات التصميم المركزية في التجارب: فلو كانت ميلكمان وداكوورث تتابعان فقط الزيارات إلى النادي على مدى بضعة أسابيع (من الشائع للتجارب أن تستمر بضعة أيام فقط)؛ لوصلتا إلى استنتاجات مختلفة جداً، ولنفذت سلسلة النوادي 24 Hour Fitness تغييرات مفيدة في المدى القريب فقط قبل أن تضمحل الآثار في غضون بضعة أشهر.

والأكثر من ذلك أن التجارب تأتي مع كمية معينة من المخاطر. فهي تثير مخاوف في شأن الشفافية — ولاسيما نظراً لأن مخزون العالم من التجارب والنتائج موجود في الأغلب في قواعد بيانات الشركات، ومخفي عن الجمهور، ويُستخدَم لأغراض غير معروفة. ويمكنها أن تبدو متطفلة على الخصوصية ومن قبيل الرقابة على الحريات بل وقد تثير الغضب. مثلا حين أجرت منصة فيسبوك تجربة لترى ما إذا كانت المنشورات المحزنة أو السلبية تؤثر في مشاعر مستخدمي المنصة.2R. Meyer, “Everything We Know About Facebook’s Secret Mood Manipulation Experiment,” The Atlantic, June 28, 2014, www.theatlantic.com. وإضافة إلى ذلك، وبقدر ما تعتمد الشركات على بيانات العملاء في التجارب، يكون هذا القلق أيضاً متشابكاً مع خصوصية البيانات والمخاوف الأمنية ويتفاقم بفعلها.

ويمكن للتجارب أيضاً أن تنشئ حالات يفوز فيها جانب ويخسر جانب آخر. مثلاً، أجرت شركة بيع التذاكر ستاب هاب StubHub تجربة أدت بها إلى فرض رسوم إضافية على التذاكر في اللحظة الأخيرة، قبل الشراء فقط، بدلاً من جعل الإضافات شفافة أثناء عملية التسوق. وقدمت الأبحاث استنتاجا مهماً للقرارات التي تتخذها الشركات حول ما يُسمَّى إخفاء الرسوم وأثر هذه الممارسة في نتائج أفعال العملاء. وأظهرت النتائج أن القيمة القريبة المدى لإخفاء الرسوم كانت واضحة: لقد اشترى مزيد من العملاء التذاكر. ولكن القيمة البعيدة المدى هي أن الشركة صارت محل شك، لأن عدداً أقل من العملاء عادوا خلال العام التالي.3T. Blake, S. Moshary, K. Sweeney, et al., “Price Salience and Product Choice,” working paper 25186, National Bureau of Economic Research, Cambridge, Massachusetts, October 2018.

نحن في الأيام الأولى من التجارب الخاصة بالأعمال. وقد يكون تصميمها وتفسيرها مهمتين صعبتين جداً، تتطلب جمعاً بين المهارات التقنية القوية والمهارات التحليلية والحكم الإداري Managerial judgment. ومع شيوع التجارب في الشركات، سيحتاج المديرون في شكل متزايد إلى أطر لتشغيلها بفاعلية وللتحول من النتائج إلى القرارات بطريقة منتجة وقيمة Value للأعمال والعملاء على حد سواء. وفي هذا الموضوع سنناقش أربعة دروس استخلصناها من مقابلاتنا مع المديرين في عشرات من الشركات الكبرى التي تستخدم التجارب ومن العديد من الخبراء الآخرين في التجريب، وسنناقش رؤيتنا المكتسبة من تصميم مقررات وتدريسها حول التجريب واتخاذ القرارات الإدارية عند مستوى الدراسات العليا، وسنناقش تجاربنا في تطوير التدخلات واختبارها استناداً إلى الاقتصادات السلوكية لعملاء الشركات والحكومات.

الدرس 1: منهجيا ضمّن التجارب في عمليات اتخاذ القرار في شركتك Systematically embed experiments in your company’s decision-making processes. من المهم للمديرين أن يشاركوا في تصميم التجارب وتفسيرها، ليس فقط حتى تتمكن التجارب من الاستفادة من تبصرهم وتجربتهم لكن أيضاً لكي يطور المديرون وعياً ”بـالاختبار“ Testing ويكونوا أكثر ميلاً إلى التحقق من افتراضاتهم والبحث عن الأدلة في قراراتهم اليومية. وإضافة إلى ذلك، ينبغي على الشركات إنشاء بنية تحتية تسمح بحدوث كل ذلك في أنحاء المؤسسة كلها فلا يكون التجريب عبارة عن جيوب معزولة.

انظر مثلا في نهج منصة السفر الرقمية بوكينغ دوت كوم Booking.com، الذي لفت انتباه المديرين والباحثين في مجال الأعمال على حد سواء، ويرجع ذلك جزئياً إلى الطريقة التي يقرب بها التجارب من القرارات الإدارية. وفي بوكينغ تُجرَى التجارب في أجزاء الأعمال كلها، سواء تجارب المنصات التي تتعامل مع العملاء أم تجارب المنصات التي تتعامل مع الشركاء Partners. ويجري التجارب نحو 1,500 موظف، وللعديد منهم خلفيات إدارية أو هندسية لكن لم تكن لديهم سوى معرفة محدودة مسبقة بالإحصاء وتصميم التجارب. ويمكن لأي مدير للمنتجات في بوكينغ أن يجري بسهولة تجربة لاختبار الميزات الجديدة قبل طرحها للعملاء. والواقع أن ما يقرب من 80% من فرق تطوير المنتجات في بوكينغ تجري تجارب مخطط لها.4R. Kaufman, J. Pitchforth, and L. Vermeer, “Democratizing Online Controlled Experiments at Booking.com” (presentation at the MIT Conference on Digital Experimentation, Cambridge, Massachusetts, Oct. 27-28, 2017).

ونفذت بوكينغ مجموعة متنوعة من التغييرات الإدارية، مثل إقامة علماء داخليين متخصصين بالبيانات (بما في ذلك مدير التجريب لوكاس فيرمور Lukas Vermeer، الذي قدم لنا لمحة عامة عن العملية الحالية) دورات تدريبية وتقديم الدعم التحليلي المعد خصيصا بما يتلاءم مع كل تجربة. ومع هذه التغييرات صار من السهل على الفرق تصميم تجارب فاعلة وإطلاقها، مما يعزز براعة الشركة في اتخاذ القرار.

وبمجرد إجراء تجربة، فإن النتائج تُسجَّل في مستودع مركزي يسمح للأشخاص في أنحاء الشركة كلها بالاطلاع على النتائج إضافة إلى نتائج التجارب السابقة. ويمكن للجميع رؤية الميزات التي اختُبِرت، بغض النظر عن تنفيذها في نهاية المطاف. ويُبلَغ في شكل افتراضي عن مجموعة قياسية من المقاييس Metrics، لكن يمكن للفرق أيضاً اختيار مقاييس مخصصة للتجارب المعينة التي يجرونها.

ويسمح نهج بوكينغ للشركات بدعم قرارات الفريق بأدلة تجريبية، وتحتفظ الفرق بالتحكم في كيفية انتقالها من النتائج التجريبية إلى القرارات. كذلك لدى الفرق بعض المرونة فيما يتعلق بالنتائج التي تحللها ومقدار الوزن الذي تمنحه لكل منها. ويوزع النظام المتكامل أيضاً فهماً أساسياً لمنهج التجربة experimental method والمفاهيم Concepts— بما في ذلك اختبار الفرضيات Hypothesis testing، والمغزى العملي Practical significance (أي حجم الآثار)، والمغزى الإحصائي Statistical significance، ونقاط القوة وأوجه القصور Limitations لكل من المقاييس المختلفة (وبالتجارب على نطاق أوسع) — عبر شريحة القوة العاملة Workforce.

عوائد التجريب

قد تحقق التجارب عوائد كبيرة في مجالات متنوعة مثل تصميم المنتجات والإعلانات والاستثمار. كذلك قد تؤدي إلى قرارات لوقف البرامج الباهظة الثمن وغير الفاعلة (أو، الأفضل من ذلك، منع هذه البرامج من أن تُنفَّذ في المقام الأول). وللحصول على فكرة عن المكاسب التي حققتها الشركات من التجارب، انظروا في الأمثلة التالية:

● انكب الاقتصاديان مايكل أوستروفسكي Ostrovsky ومايكل شوارز Michael Schwarz خلال عملهما مع ياهو Yahoo، الذي كان يستخدم نظاماً للمزاد لبيع الإعلانات على محرك البحث Search engine، لفهم ما إذا كان تعديل قواعد المزاد سيزيد الإيرادات وكيف يمكن أن يحصل ذلك. واستناداً إلى تبصرات من نظرية المزاد Auction theory، استكشفا نُهُجاً مختلفة لتحديد سعر احتياطي، أي أدنى مبلغ قد يقبل به البائع. وكان ياهو حدد السعر الاحتياطي عند 10 سنتات لكل نقرة على كلمة من كلماته الرئيسية كلها. وبعد العمل على الأسعار الاحتياطية المثلى من منظور نظري، أدرك الاثنان أن سعر 10 سنتات ربما كان منخفضاً أكثر مما ينبغي لمعظم الكلمات الرئيسية. وفي التجربة واصلت المجموعة المرجعية اعتماد سعر احتياطي مقداره 10 سنتات لكل نقرة. ومع ذلك، في المجموعة التجريبية، سمح الاثنان بوجود مجموعة من القيم. وتباينت الأسعار الاحتياطية “المثلى” في شكل كبير لكل من الكلمات الرئيسية: كان السعر الاحتياطي لـ10% من المجموعة التجريبية تسعة سنتات، في حين أن السعر الاحتياطي لـ%90 سجل 72 سنتاً. واكتشف الباحثون أن تعديلات تدريجية على الأسعار الاحتياطية قد تزيد أرباح الشركة بملايين عديدة من الدولارات في السنة.5M. Ostrovsky and M. Schwarz, “Reserve Prices in Internet Advertising Auctions: A Field Experiment,” working paper 2054, Stanford University Graduate School of Business, Stanford, California, November 2016.

● انكب الاقتصاديون توم بليك Tom Blake وكريس نوسكو Chris Nosko وستيف تاديليس Steve Tadelis- خلال عملهم في فريق أبحاث إي باي eBay- بحثا عن أفضل تأثير للإعلان في محرك بحث الشركة. ومن خلال تجربة، علم الفريق أنه عندما استهدف محرك البحثُ إعلاناتٍ في عمليات بحث عن مصطلحات علامةٍ تجارية مثل”eBay“ أو ”eBay shoes“، كانت الشركة تدفع في مقابل نقرات إعلانية كانت ستحصل عليها مجاناً من نقرات البحث المجانية. وبعبارة أخرى، كان كثير من المال الذي أغدقه إي باي على غوغل كل عام عبارة عن مال مهدور.6T. Blake, C. Nosko, and S. Tadelis, “Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment,” Econometrica 83, no. 1 (January 2015): 155-174.

● انكب فريق من الاقتصاديين -من خلال العمل مع شركة استشارية كبرى- على فهم تأثير ممارسات الإدارة الحديثة في أداء الشركة. وأجروا تجربة قدموا فيها خدمات استشارية مجانية لشركات هندية للنسيج مختارة عشوائيا. وعززت الاستشارات إنتاجية الشركات بنسبة 11% مقارنة بمجموعة التحكم (الضابطة/المقارنة) Control group.7N. Bloom, B. Eifert, A. Mahajan, et al., “Does Management Matter? Evidence From India,” working paper 16658, National Bureau of Economic Research, Cambridge, Massachusetts, January 2011.

● أجرى فريق آخر من الاقتصاديين -بالعمل مع الشركة H&R Block- تجربة تلقت فيها مجموعة مختارة عشوائيا من دافعي الضرائب الذين قدمت لهم أدوات عملية ومساعدة إضافية في ملء استمارات المساعدات المالية لأطفالهم. ووجدت التجربة أن احتمال استكمال أبناء الوالدين الذين تلقوا هذه مساعدة سنتين من الدراسة الجامعية كانت أعلى مقارنة بأبناء الوالدين في مجموعة التحكم.8E.P. Bettinger, B.T. Long, P. Oreopoulos, et al., “The Role of Application Assistance and Information in College Decisions: Results From the H&R Block Fafsa Experiment,” Quarterly Journal of Economics 127, no. 3 (August 2012): 1205-1242. وفي هذه الحالة، قدمت التجربة للشركة H&R Block بلوك طريقة سهلة ومنخفضة التكلفة لإضافة قيمة للعملاء وبناء النوايا الحسنة والثقة فيما بينهم.

الدرس 2: انظر فيما وراء نجاح الأشياء في تجاربك لاستكشاف سبب نجاحها Push past whether things work in your experiments to explore why they work. تسمح علي بابا Alibaba الصينية العملاقة للتجارة الإلكترونية لشركائها في البيع بالتجزئة بتحديد أسعارهم الخاصة على منصتها، لكنها تحافظ على بعض التحكم في الأسعار التي يدفعها المستخدمون في نهاية المطاف، بطرق منها تحديد متى يمكن للبائعين تقديم حسوم للعملاء ومتى لا يمكنهم ذلك. ولاستغلال آلية التحكم هذه، استخدمت علي بابا التجارب لتحديد الحالات التي يكون فيها الحسم أكثر قيمة للمنصة من حيث جهة مشاركة المستخدمين والاحتفاظ بهم.

مثلاً، لزيادة المبيعات، كانت علي بابا تسمح للبائعين بعرض حسوم كبيرة على العملاء الذين تركوا ”منتجات مروج لها“ معينة في عربات التسوق لأكثر من 24 ساعة. ولكن، هل غيرت القسائم في الواقع سلوك العملاء؟ هذا هو السؤال الذي انكب قادة الشركة للإجابة عنه.

ففي أوائل عام 2016 تشارك فريق من الباحثين الإداريين مع علي بابا لإجراء تجربة ميدانية عشوائية على اثنتين من منصات الشركة، بهدف قياس الأثر الدقيق لبرنامج الترويج الخاص بعربة التسوق.9D.J. Zhang, H. Dai, L. Dong, et al., “How Do Price Promotions Affect Customer Behavior on Retailing Platforms? Evidence From a Large Randomized Experiment on Alibaba,” Management Science 27, no. 12 (December 2018): 2343-2345. واختار الباحثون في شكل عشوائي مليون عميل لعلي بابا استُهدِفوا بعض ترويجي واحد على الأقل على المنصة بين 12 مارس 2016 و11 أبريل 2016، ووزعوهم بين مجموعة تحكم (ضابطة/مقارنة) Control group ومجموعة تجريبية. وعُرِض على العملاء في المجموعة التجريبية قسائم لبعض المنتجات المروج لها التي تركوها في عربات التسوق لأكثر من يوم واحد. وفي الوقت نفسه لم تتلقَ مجموعة التحكم أي قسيمة.

وركزت علي بابا وفريق الأبحاث على مجموعتين من النتائج: (1) ما إذا كان المتسوقون أكثر ميلاً إلى شراء البنود في عرباتهم عندما تلقوا قسيمة و(2) ما إذا كان هؤلاء المتسوقون انتقلوا إلى شراء مزيد من الأشياء عموما من علي بابا مقارنة بالمتسوقين الذين لم يتلقوا القسائم.

وتشير نتائج التجربة إلى أن برنامج عربة التسوق كان ذا نتائج متساوية للبائعين: فقد كان جيداً للبعض، وسيئاً للبعض الآخر. ولكن النتائج كشفت أيضاً أن البرنامج لم يظهر أنه زاد التسوق في علي بابا عموما. وبناء على ذلك، قررت الشركة عدم توسيع برنامجها لقسائم عربة التسوق.

لكن انظر إلى السؤال المطروح هنا. فتجربة علي بابا سألت أساساً: ”ما هو تأثير البرنامج كما هو حالياً“؟ بدلاً من، ”كيف ينبغي تصميم هذا البرنامج“؟ وهذا تمييز مهم، لأن القسائم ربما تكون ولّدت آثاراً طفيفة فقط لمجرد أنها كانت سيئة التصميم، وليس لأن هذه الحسوم معيبة بطبيعتها. وعلى الرغم من أن هذه التجربة كانت قيّمة في المساعدة على معرفة أن البرنامج الحالي لم يكن فاعلاً جداً، إلا أننا نتساءل عما إذا كانت نسخة بديلة من البرنامج لتنجح نجاحا أفضل.

وعلى وجه التحديد، هناك العديد من عناصر برنامج عربة التسوق التي ربما كان على علي بابا النظر في اختبارها. أولاً، عانى الترويج تعرضا منخفضا نسبياً — فثلث المستخدمين لم يعاودوا زيارة عربات التسوق الخاصة بهم قبل انتهاء صلاحية القسيمة، لذلك لم يعرفوا قطّ بتقديم الحسم. ثانياً، سمح البرنامج للبائعين باختيار حجم الحسم الخاص بالقسيمة. وهذا منع المختبرين من فهم الأثر السببي لقيمة القسيمة في سلوك الشراء. ثالثاً، لا يزال أثر برنامج القسائم في رضا المستخدمين والمشاركة البعيدة المدى مع علي بابا غير واضح وكان يمكن استكشافه.

وتسلط تجربة علي بابا الضوء على الوعد والتحديات المتعلقة باستخدام التجارب لتوجيه القرارات الإدارية. فقد استبدلت الشركة بالحدس البيانات، وأجرى الباحثون تجربة مفيدة. لكن، مثل أي تجربة منفردة، تمثل هذه التجربة جزءاً واحداً فقط من اللغز. وفي نهاية المطاف، يتعلق إجراء تجارب ناجحة في المؤسسات بطرح الأسئلة الصحيحة — وطرح ما يكفي من الأسئلة — بمقدار ما يخص الإجابة عنها. وينبغي على المديرين التركيز ليس فقط على اختبار عرض ما كما هو، بل كذلك على تطوير الأطر التي من شأنها أن تساعدهم على اتخاذ قرارات في شأن العروض المحتملة الأخرى. وهذا يعني النظر في شروط الحدود Boundary conditions وآلياتها Mechanisms، وهذا يعني في هذه الحالة، ليس فقط ما إذا كان شكل معين من أشكال التسعير ”ينجح“، بل أيضاً لماذا وكيف ينجح، وكيف يمكن أن ينجح نحاجا أفضل.

ويكون الحكم الإداري مطلوباً لتحديد الأسئلة التي قد تجيب عنها التجارب. فخلال محادثة مع آل روث Al Roth الحائز على جائزة نوبل، والذي أدى عمل رائد في مجال اقتصادات التجريب Experimental economics، أخبرنا بأنه في فصله الافتتاحي من دليل اقتصادات التجريب The Handbook of Experimental Economics، أشار عمداً إلى ”سلسلة من التجارب“ بدلاً من التجارب الفردية.10“The Handbook of Experimental Economics,” eds. J.H. Kagel and A.E. Roth (Princeton, New Jersey: Princeton University Press, 1995). وكان الأساس المنطقي لروث بسيطاً: لم يكن يريد أن يعتقد قراؤه أن تجربة واحدة قد تجيب عن أسئلتهم كلها. وبالمثل، يتعين على المديرين أن يفكروا في الكيفية التي يمكن بها لقاعدة أوسع من الأدلة أن تساعد على اتخاذ قراراتهم. وإضافة إلى ذلك، يتعين عليهم أن ينظروا في التجارب بفهم لأوجه قصورها وفي سياق أشكال أخرى من الأدلة المستندة إلى البيانات.

يتعين على المديرين أن يفكروا في الكيفية التي يمكن بها لقاعدة أوسع من الأدلة أن تساعد على اتخاذ قراراتهم. ويتعين عليهم أن ينظروا في تصميم التجربة بإمعان لفهم أوجه القصور، و ينظروا لها ضمن سياق أشكال أخرى من الأدلة المستندة إلى البيانات.

الدرس 3: اختبر بحثا عن النتائج الواسعة النطاق والبعيدة المدى Test for broad-based and long-term outcomes. في كثير من الأحيان يركز المديرون على النتائج المحدودة أو القريبة المدى في تجاربهم، لأن هذه النتائج هي أول ما يخطر في البال وتُقَاس بسهولة. ولكن ينبغي لهم أيضاً أن يلقوا نظرة طويلة المدى، فيقيسوا الآثار على مدى عدة أشهر أو أكثر. وهذا يعني أن عليهم أن يكونوا واضحين حول النتائج البعيدة المدى التي تهم الأعمال أكثر من غيرها، ومن ثم دمج هذا الفهم في تصميم التجارب وتفسيرها.

فعندما تشاركت ميلكمان وداكوورث، مديرتا مبادرة التغيير الدائم للسلوك Behavior Change for Good (BCFG) في جامعة بنسلفانيا، مع سلسلة النوادي الرياضية 24 Hour Fitness، كان هدفهما اكتشاف التدخلات التي من شأنها أن تدفع الأشخاص إلى ممارسة مزيد من التمارين الرياضية. وأعجب ذلك النوادي 24 Hour Fitness، التي تضم 3.7 مليون عضو في أكثر من 420 موقعاً في 13 ولاية؛ ذلك أن ممارسة الأشخاص مزيدًا من التمارين قد يعني مزيداً من الإيرادات والربح.

وفي مايو 2017 عقدت ميلكمان وداكوورث الاجتماع الأول لعلماء فريق التغيير الدائم للسلوك. وقدمتا العلماء إلى منصة ستيب أب StepUp، وهي منصة تستند إلى الإنترنت أُنشِئت لاستضافة تدخلاتهما في مجال التمارين الرياضية. وباستخدام ستيب أب كمنصة للتجريب، استطاعتا اختبار تدخلات محددة ومتابعتها، وإضافة محتوى وأسئلة إلى عملية التسجيل، وتخصيص رسائل البريد الإلكتروني والرسائل النصية التي سيتلقاها المشاركون.

وكشفت النتائج الأولية أن العديد من التدخلات، مثل توقيع التعهدات ووضع خطط للتمارين، كانت لها بعض المنافع المباشرة، لكن بالنسبة إلى بعض التدخلات، كانت المكاسب أقل إثارة للإعجاب عند النظر فيها على مدى عدة أشهر. وعلى حد تعبير داكوورث، تكون ”تغييرات السلوك صعبة لدرجة لعينة حقاً“.11More information on Behavior Change for Good’s research and experiments is available at https://bcfg.wharton.upenn.edu.

ويُعَد ذلك درساً مهماً ومشكلة مزمنة بالنسبة إلى الاختصاصيين في التجريب. ولو تتبعت مبادرة التغيير الدائم للسلوك فقط الآثار القريبة المدى؛ لبدت النتائج مختلفة جداً. ويتعين على قادة الشركات مثل النوادي 24 Hour Fitness التفكير في كل من النتائج القريبة والبعيدة المدى في قراراتهم الإدارية. فمن الأسهل (و عموما، من الأسرع) تقريباً، أن نلمس النتائج القريبة المدى، لكنها ليست دائماً نتائج دائمة. والأسوأ من ذلك، أنها قد تقوض نتائج أكثر قيمة على المدى البعيد.

في عام 2018 كانت أوبر تفكر أيضاً في تحديات تتعلق بالقياس Measurement challenges عندما تعين عليها أن تقرر ما إذا كانت ستطلق خدمة أوبر متعددة المجاميع السريعة Uber Express Pool، وهي خدمة نقل عدد من الركاب في سيارة واحدة Carpooling service. ففي خدمة المجاميع السريعة سيتعين على الركاب الانتظار لفترة أطول قليلاً والسير أبعد قليلاً للوصول إلى وجهاتهم. وأثناء الانتظار ستطابق خوارزمية مجموعة من الركاب (لتلقي بهم السيارة في مواقع تجمع ”سريعة“ معينة). وستكون النتيجة تجربة تستغرق وقتاً أطول لكن ينبغي أن توفر على الركاب بعض المال. وكُلِّف دنكان غيلكريست Duncan Gilchrist، وهو خبير اقتصادي يحمل شهادة دكتوراه ومدير في فريق أوبر لعلوم بيانات تجارب السوق، بالنظر في قيمة خدمة المجاميع السريعة. وسرعان ما أشار غيلكريست إلى التحديات التي ينطوي عليها ذلك. فلنقل، مثلاً، إذا أوبر كانت على وشك طرح المنتج الجديد دفعة واحدة، من دون اختباره أولاً. وحتى لو صار المنتج شائعاً، سيكون من الصعب معرفة ما إذا كان يزاحم منتجات أخرى من أوبر (أوبر أكس Uber X، وم أوبر بوول Uber Pool، وما إلى ذلك). والآن لنفترض أن أوبر قررت عرض خدمة المجاميع السريعة على نصف الركاب في بوسطن؛ سيكون النصف الآخر من سكان بوسطن مجموعة التحكم السيئة الحظ لهذه التجربة، إذ ستتأثر تجاربهم (بما في ذلك أوقات الانتظار) بالطلب الذي ينشئه الركاب الآخرون (بما في ذلك المجموعة التجريبية). ويشيع هذا النوع من الآثار غير المباشرة في التجارب.

ولتجنب الآثار غير المباشرة وفهم كيفية تأثير خدمة المجاميع أوبر في محفظة خدماتها ككل، اختارت أوبر مجموعة من الأسواق الكبيرة وطرحت المنتج في ست مدن اختيرت عشوائياً من هذه المجموعة. واستفاد غيلكريست وفريقه من مجموعة الأدوات التجريبية، بما في ذلك الطريقة التي سمحت لأوبر باستخدام مجموعة مختارة بعناية لتعادلها Weighted combination من المدن الأخرى لتشكيل مجموعة تحكم ”اصطناعية“ أكثر ملاءمة، لتحديد الطرق التي يؤثر بها طرح هذه الخدمة في استخدام أوبر ككل.

وبشكل غير مفاجئ، أنشأت خدمة المجاميع السريعة أنواعاً جديدة من المطابقات بين الرحلات. ولكن التجربة راعت أيضاً تأثير خدمة المجاميع السريعة في المنتجات الحالية لأوبر، وأوضحت أن إطلاقها سيكون جيدا للأعمال. ونتيجة لذلك، فقد تمكنت أوبر من إدخال خدمة المجاميع السريعة بثقة إلى العديد من أسواقها الرئيسية. وهذه الثقة، والاستنتاج الذي ألهمها، ما كانا ليتحققا لولا التجريب الواسع النطاق.

الدرس 4: اجعل الشفافية هدفا Aim for transparency. تجري الشركات عشرات الآلاف من التجارب سنوياً، وتربط نتائجها بروايات تفصيلية عن سلوك المستخدمين وتستخدمها في تشكيل طريقة تعامل عملائها مع منتجاتها وخدماتها. ومع ذلك، لا يُعرَف علناً سوى القليل عن هذه التجارب، ويرجع ذلك جزئياً إلى المخاوف من أن يشعر العملاء بالاستغلال ويغضبوا.

انظروا في التجربة الواسعة النطاق التي أجراها فيسبوك قبل عدة سنوات بهدف اختبار ما إذا كانت النبرة العاطفية للمنشورات تؤثر في مزاج مستخدميه وكيف تؤثر فيه. وللتوصل إلى ذلك، فقد استغلت الشركة تغذيات مجموعة مختارة عشوائياً من المستخدمين الذين عرضوا عدداً أقل من المشاركات الإيجابية مقارنة بغيرهم. ونشر الباحثون النتائج في ورقة خلصت إلى أن ”العواطف التي يعبر عنها الآخرون على فيسبوك تؤثر في عواطفنا الخاصة، مما يوفّر أدلةً تجريبية على العدوى واسعة النطاق عبر الشبكات الاجتماعية“.12A.D.I. Kramer, J.E. Guillory, and J.T. Hancock, “Experimental Evidence of Massive-Scale Emotional Contagion Through Social Networks,” Proceedings of the National Academy of Sciences 111, no. 24 (June 17, 2014): 8788-8790.

وكانت الآثار المغيرة للمزاج التي كشفت عنها التجربة صغيرة، لكن النتائج سلطت الضوء على أهمية ذلك. وواجه فيسبوك ردة فعل عنيفة كبيرة من مستخدميه، الذين ربما لم يكونوا على علم بأنهم أعطوا الإذن بالتجربة عندما سجلوا على المنصة. كذلك حظيت التجربة باهتمام كبير وسلبي في الأغلب من وسائل الإعلام.

إذا نظرنا مجدداً إلى هذه التجربة، فقد ركز كثير من الانتقادات على إجراء فيسبوك تغييرات في تصميم المنتجات مع إدارك أنها قد تؤثر في العواطف. وما كان لينبغي للأفراد الشعور بتلك الصدمة، فبالطبع تؤثر خيارات فيسبوك في العواطف. وللعديدين، كان الجزء الأكثر إزعاجاً هو حقيقة أن فيسبوك كان يدير التجارب بهدوء لفهم كيفية تفاعل مستخدميه مع التغييرات في تغذياتهم الراجعة Feedback. وبدا الأمر كتجسس.

وليس من المستغرب ربما أن فيسبوك لم يتفاعل مع ردة الفعل العنيفة من خلال محاولة جعل المنصة مكاناً أكثر سعادة أو أكثر حيادية، مما يشير إلى أن وجود أثر عاطفي إيجابي لم يكن الهدف الرئيسي للشركة. ومع ذلك، فقد تفاعلت الشركة مع المخاوف من التجربة بطرق أخرى. ففي أعقاب ذلك مباشرة، أوقفت بعض أبحاثها العلنية وصارت أقل صراحة في شأن التجارب التي كانت تجريها داخلياً. ويُحسَب لفيسبوك أنه أنشأ مجلساً لأخلاقيات الأبحاث الداخلية من خمسة موظفين يراجعون مجموعة مختارة من تجاربه (على الرغم من أن أعمال المجلس ليست شفافة تماماً أيضاً).13Z. Boka, “Facebook’s Research Ethics Board Needs to Stay Far Away From Facebook,” Wired, June 23, 2016, www.wired.com.

سيستفيد فيسبوك وشركات أخرى من زيادة شفافيتها حول التجارب. وبدلاً من إخفاء تجريبها (أو دفن التفسيرات في نصوص ”اتفاقيات المستخدمين“ التي يقرأها عدد قليل جداً منا)، ينبغي للشركات إنشاء عملية شفافة لتوضيح للعملاء طريقة تعريضهم للتجارب. وينبغي أن تشمل هذه الجهود الأهداف التالية:

● الإقرار، بعبارات عامة، بأن الشركة كثيراً ما تنشئ تجارب لقياس ردود الأشخاص (ونعم، تستفيد مادياً من هذه الردود).

● شرح قيمة التجارب للشركة وعملائها والأطراف المعنية الأخرى.

● التشجيع قدر الإمكان على مناقشة الأهداف والأساليب الخاصة بالتجريب لدى الشركة.

● الشفافية، عندما يكون الأمر ملائماً، في شأن نتائج التجارب.

إن التجارب ذات قيمة ليس فقط للشركات لكن أيضاً لعملائها، الذين يُفترَض أنهم لا يريدون خدمات منخفضة الجودة نتيجة لقرارات متخذة بالحدس كان يمكن بسهولة تحسينها من خلال البيانات. وهذا يعني أن العملاء يجب أن يكونوا منفتحين على التجريب ما دام تحظى خصوصيتهم ومصالحهم الأخرى بالاحترام، ويجب على الشركات التوقف عن إحاطة العملية في السرية.

العملاء أذكياء: هم يعرفون أن الشركات تتلاعب بالمنتجات والخدمات وتقيم ردود فعل العملاء. ولكن الشركات ينبغي أن تلتزم بمعايير عالية للشفافية والأخلاق في التجريب. وفي المقابل، إذا كانت صريحة في شأن أبحاثها، فستتمكن من نزع فتيل الشكوك، وحشد الدعم، وربما حتى تعميق مشاركة العملاء.

ينبغي أن تلتزم الشركات بمعايير عالية للشفافية والأخلاق في التجريب. وإذا كانت صريحة في شأن أبحاثها، فستتمكن من نزع فتيل الشكوك، وحشد الدعم، وربما حتى تعميق مشاركة العملاء.

نحن في بداية ثورة التجريب. وتعمل العديد من الشركات بتجارب، بعضها على نطاقات مثيرة للإعجاب. ولكنها لا تزال تتعلم كيفية إجرائها في شكل فاعل. وسينشئ الانتظام في التجارب واتخاذ القرارات، والحرص في تصميم الاختبار والنتائج المطلوبة، ودرس الآثار البعيدة المدى للنتائج، والشفافية مع الأطراف المعنية قيمةً للشركات والعملاء على حد سواء.

مايكل لوكا Michael Luca (@mike_luca)

مايكل لوكا Michael Luca (@mike_luca)

الأستاذ المشارك لكرسي لي جاي. ستيسلينغر الثالث في إدارة الأعمال في مدرسة إدارة الأعمال بجامعة هارفارد Harvard Business School.

ماكس إتش بازرمان Max H. Bazerman (@maxhbazerman)

ماكس إتش بازرمان Max H. Bazerman (@maxhbazerman)

أستاذ كرسي جيسي أيزدور شتراوس لإدارة الأعمال في مدرسة إدارة الأعمال بجامعة هارفارد. وهما مؤلفا قوة التجارب: اتخاذ القرار في عالم توجهه البيانات (مطبوعات: MIT Press,2020)، الذي اقتُبِس هذا الموضوع منه. للتعليق على هذا الموضوع: http://sloanreview.mit.edu/x/61424.

 

المراجع

المراجع
1 J.O. Eastlack, Jr. and A.G. Rao, “Advertising Experiments at the Campbell Soup Company,” Marketing Science 8, no. 1 (February 1989): 57-71.
2 R. Meyer, “Everything We Know About Facebook’s Secret Mood Manipulation Experiment,” The Atlantic, June 28, 2014, www.theatlantic.com.
3 T. Blake, S. Moshary, K. Sweeney, et al., “Price Salience and Product Choice,” working paper 25186, National Bureau of Economic Research, Cambridge, Massachusetts, October 2018.
4 R. Kaufman, J. Pitchforth, and L. Vermeer, “Democratizing Online Controlled Experiments at Booking.com” (presentation at the MIT Conference on Digital Experimentation, Cambridge, Massachusetts, Oct. 27-28, 2017).
5 M. Ostrovsky and M. Schwarz, “Reserve Prices in Internet Advertising Auctions: A Field Experiment,” working paper 2054, Stanford University Graduate School of Business, Stanford, California, November 2016.
6 T. Blake, C. Nosko, and S. Tadelis, “Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment,” Econometrica 83, no. 1 (January 2015): 155-174.
7 N. Bloom, B. Eifert, A. Mahajan, et al., “Does Management Matter? Evidence From India,” working paper 16658, National Bureau of Economic Research, Cambridge, Massachusetts, January 2011.
8 E.P. Bettinger, B.T. Long, P. Oreopoulos, et al., “The Role of Application Assistance and Information in College Decisions: Results From the H&R Block Fafsa Experiment,” Quarterly Journal of Economics 127, no. 3 (August 2012): 1205-1242.
9 D.J. Zhang, H. Dai, L. Dong, et al., “How Do Price Promotions Affect Customer Behavior on Retailing Platforms? Evidence From a Large Randomized Experiment on Alibaba,” Management Science 27, no. 12 (December 2018): 2343-2345.
10 “The Handbook of Experimental Economics,” eds. J.H. Kagel and A.E. Roth (Princeton, New Jersey: Princeton University Press, 1995).
11 More information on Behavior Change for Good’s research and experiments is available at https://bcfg.wharton.upenn.edu.
12 A.D.I. Kramer, J.E. Guillory, and J.T. Hancock, “Experimental Evidence of Massive-Scale Emotional Contagion Through Social Networks,” Proceedings of the National Academy of Sciences 111, no. 24 (June 17, 2014): 8788-8790.
13 Z. Boka, “Facebook’s Research Ethics Board Needs to Stay Far Away From Facebook,” Wired, June 23, 2016, www.wired.com.
اظهر المزيد

مقالات ذات صلة

زر الذهاب إلى الأعلى