ניסוי שיווקי נועד להפחית אי־ודאות לגבי החלטה מסוימת. הוא יכול לבדוק מסר, הצעה או שלב באתר, אך לא כל שינוי לפני ואחרי הוא ניסוי מבוקר. המאמר מיועד לעסק שרוצה לשפר פעילות באופן שיטתי. בסופו תוכלו לכתוב השערה, לבחור מדדים ותנאי החלטה ולתעד מגבלות, גם כשאין נפח מספיק למסקנה סטטיסטית חזקה.
התחילו מבעיה שניתן לתאר
במקום ״האתר לא ממיר״, תארו התנהגות או פער: אנשים מגיעים לעמוד שירות אך אינם מבינים מה כלול, פניות רבות אינן מתאימות, או שהקופה מציגה עלות משלוח מפתיעה. חברו את האבחנה לראיות שיש לכם — דוחות, שאלות, בדיקות שימוש או תיעוד שירות.
אם קיימת תקלה ברורה, תקנו אותה בלי להציג את התיקון כתחרות קריאייטיבית. קישור שבור אינו מצריך השוואת שתי גרסאות. לאחר התיקון יש לבדוק את המסלול ואת המדידה. ניסוי מתאים יותר כשיש כמה הסברים סבירים ולא יודעים איזה שינוי ישפר את המצב.
כתבו השערה שאפשר להפריך
נסחו: ״אם נשנה את X עבור קהל Y, אנו מצפים לשינוי ב־Z, משום ש…״. כתבו גם מה יגרום לכם לחשוב שההשערה אינה נתמכת. אם כל תוצאה תתפרש כהצלחה, אין תנאי החלטה מועיל.
דוגמה להמחשה בלבד: ״אם נסביר ליד הטופס איזה מידע צריך להכין, אנו מצפים ליותר פניות מלאות, משום שהלקוח יבין מה נדרש״. ייתכן שהפניות דווקא יתמעטו אך יהיו מתאימות יותר. לכן קבעו מראש האם המדד המרכזי הוא כמות, שלמות או איכות ההמשך.
הבחינו בין מדד ראשי למדדי הגנה
בחרו מדד ראשי אחד שמתאים להשערה, והוסיפו מדדים שמוודאים שלא נוצר נזק במקום אחר. למשל, שינוי בהצעת משלוח יכול להגדיל השלמות רכישה אך לפגוע ברווח לאחר עלויות משתנות. קיצור טופס יכול להגדיל שליחות אך להכביד על טיפול וסינון.
כתבו כיצד מחושב המדד ומאיזה מקור הוא מגיע. מדד באתר ונתון ממערכת מכירות עשויים להתייחס לאוכלוסיות או מועדים שונים. אל תחברו אותם באופן שמייצר דיוק מדומה. כשיש אי־התאמה, תעדו אותה ובדקו את ההגדרות לפני פירוש התוצאה.
בחרו דרך בדיקה שמתאימה לנפח
בדיקת שימוש עם אנשים יכולה לגלות חוסר הבנה או קושי לבצע פעולה, אך אינה מוכיחה שיפור בשיעור ההמרה בכלל הקהל. השוואת תקופות יכולה לעזור לזהות כיוון, אך מושפעת מעונתיות, קהל ותקציב. ניסוי A/B עם הקצאה מתאימה יכול לבודד חלק מהגורמים, בתנאי שהתכנון והנפח מאפשרים זאת.
אין מספר אחיד של ימים או ביקורים שמספיק לכל ניסוי. הדבר תלוי במדד, בשיעור הפעולה ובגודל ההבדל שמבקשים לזהות. אם נדרשת הכרעה סטטיסטית, קבלו תכנון מתאים במקום להשתמש בכלל אצבע שמנותק מהנתונים שלכם.
אל תשנו הכול באותו זמן
רשמו מה נשאר קבוע ומה משתנה. שינוי מסר, מחיר, קהל ועיצוב יחד יכול להיות מהלך עסקי מוצדק, אך קשה יהיה לייחס את התוצאה לרכיב מסוים. אם זו חבילת שינוי, תעדו אותה כך ולא כניסוי בצבע כפתור.
בדקו שהגרסאות פועלות בנייד, שאין קישורים שבורים ושאירועים נמדדים באותו אופן. שמרו מועד תחילה וסיום ויומן אירועים חריגים: תקלה בסליקה, שינוי מלאי או עצירת קמפיין. בלי תיעוד, קל לפרש אירוע תפעולי כאפקט שיווקי.
איך מתייחסים לתוצאות לא חד־משמעיות
תוצאה לא ברורה אינה כישלון שחייבים להסתיר. היא יכולה להעיד שההבדל קטן, שהנפח אינו מספיק או שהמדד אינו מתאים. אפשר להחליט להמשיך לאסוף מידע, לשנות את ההשערה או לעצור פעילות שאינה מצדיקה את עלותה. כתבו מה ידוע ומה עדיין פתוח.
אם אתם בוחרים גרסה מסיבה תפעולית, למשל קלות תחזוקה, ציינו זאת במפורש. אין צורך להציג העדפה כ״ניצחון בנתונים״. החלטה טובה יכולה להתבסס גם על פשטות ועל הסרת סיכון, בתנאי שלא מייחסים לה תוצאה שלא נמדדה.
תעדו מסקנה שאפשר להשתמש בה שוב
שמרו דף ניסוי עם הבעיה, ההשערה, הגרסאות, הקהל, המדדים, המועדים והמסקנה. הוסיפו קישור לתוצרים והגבלות פרשנות. בפעם הבאה שהצוות מציע שינוי דומה, אפשר יהיה ללמוד מהעבודה הקודמת במקום לפתוח מחדש את אותו דיון.
הקפידו שמסקנה על הצעה מסוימת לא תהפוך לכלל גורף על כל הלקוחות. מה שעבד בעמוד אחד עשוי לא להתאים לשירות אחר. מיפוי מסלול הלקוח מסייע להבין היכן השינוי רלוונטי, ותשתית נתונים מסייעת לקרוא אותו באופן עקבי.
טופס החלטה לניסוי קטן
כתבו מראש את ההחלטה שהניסוי אמור לשרת. ״נלמד על המשתמשים״ רחב מדי; ״נחליט אם להציג תכולה לפני הטופס״ ממוקד יותר. הוסיפו מה ייחשב הצלחה תפעולית, מה ייחשב סימן נזק ומה יעצור את הבדיקה. כך הצוות יודע כיצד לפעול גם אם התוצאה אינה חד־משמעית.
לאחר מכן בדקו אם אפשר לבצע את השינוי בלי לפגוע ביכולת להשוות. אם בוחרים להציג גרסאות שונות, ודאו שאותו משתמש אינו מקבל התנהגות מבלבלת ושמסלול הרכישה או הפנייה נשאר תקין. זו דרישת שימוש בסיסית; היא אינה כשלעצמה תכנון סטטיסטי של ניסוי.
רשמו מי רשאי לעצור ומי מאשר מסקנה. כאשר בעל תקציב, מנהל אתר וספק מדיה רואים נתונים שונים, צריך ליישב הגדרות לפני הכרזה על תוצאה. אין צורך שכל דוח יראה מספר זהה, אך צריך להסביר מה נמדד בכל אחד ובאיזו אוכלוסייה.
בניתוח הסופי, הציגו גם את ההשערה המקורית ולא רק את הנתון שנראה מעניין בדיעבד. ממצא חדש יכול להצדיק ניסוי המשך, אך הוא אינו הופך אוטומטית להוכחה להשערה אחרת. הפרדה בין מה שתוכנן למה שהתגלה מגינה על איכות הלמידה.
אם הוחלט שלא להרחיב, שמרו את הגרסה ואת הסיבה לעצירה. תנאים עשויים להשתנות, וייתכן שהרעיון ייבחן שוב בעתיד. תיעוד תמציתי של מה ניסיתם, מה ראיתם ומה לא ניתן להסיק מאפשר להתקדם בלי לחזור על עבודה שכבר נעשתה.
מה עושים כשצריך החלטה לפני שיש מספיק נתונים?
אפשר לקבל החלטה תפעולית תחת אי־ודאות, אך צריך להציג אותה כך. רשמו את המידע הקיים, המגבלה והסיבה לבחירה. למשל, גרסה ברורה יותר לתחזוקה או תיקון שמסיר חסם שימוש יכולים להצדיק פעולה בלי לטעון שהוכחה עלייה בהמרה.
בחרו מה לבדוק בהמשך ומה יגרום לשינוי ההחלטה. אם קיים סיכון לפגיעה ברכישה או בשירות, הגדירו מסלול חזרה ואחראי לפני הביצוע. אין להסיק מחוסר ראיה לנזק שהשינוי בטוח בכל תנאי.
בדוח לצוות השתמשו בניסוח שמתאים לראיות: ״לא נמצאה מסקנה מספקת״, ״נבחר מטעמי תפעול״ או ״נדרש מידע נוסף״. דיוק כזה אינו מחליש את העבודה; הוא מבהיר מה למדנו ואילו החלטות עדיין פתוחות.
הצעד הבא
בחרו בעיה אחת ורשמו השערה, מדד ותנאי עצירה. בדקו תחילה שהמערכת פועלת ושאפשר למדוד. רק אחר כך בנו גרסה נוספת. את ההתקדמות כדאי לשלב בניהול הדיגיטל עם אחריות ומעקב, ולא להשאיר כרשימת רעיונות ללא הכרעה.
מקורות
שאלות ותשובות
IBASTOM.CO.IL
צריך כלי A/B כדי לעשות ניסוי?
לא תמיד. באתר עם תנועה נמוכה בדיקה לפני ואחרי, עם תיעוד מסודר, היא לפעמים הדרך היחידה. היא פחות מדויקת, ולכן משנים דבר אחד בכל פעם ומשווים לתקופה דומה.
כמה זמן להריץ ניסוי?
עד שיש מספיק תוצאות כדי לראות הבדל, ולפחות שבוע שלם או שניים כדי לכסות ימים חלשים וחזקים. עצירה ברגע שהתוצאה "נראית טוב" היא הטעות הנפוצה ביותר.
מה זה מדד הגנה?
מדד שבודק שהשיפור לא בא על חשבון משהו אחר. למשל: יותר פניות, אבל לא פניות פחות מתאימות או יותר ביטולים. בלי מדד הגנה, ניסוי יכול "להצליח" ולהזיק לעסק.
הניסוי לא הראה הבדל. בזבזנו זמן?
לא. למדתם שהשינוי הזה לא משפיע מספיק, ואפשר להתמקד בדברים אחרים. מתעדים את התוצאה, כדי שלא יבדקו את אותו רעיון שוב בעוד שנה.
אפשר להריץ כמה ניסויים במקביל?
רק אם הם לא משפיעים זה על זה, למשל בעמודים שונים ובקהלים שונים. שני שינויים באותו מסלול באותו זמן לא מאפשרים לדעת מה גרם לתוצאה.
