מהו קמפיין AB Test וכיצד מיצרים אותו במערכת?

מהו AB Test ולמה הוא משמש?

מנגנון AB Test מאפשר לשלוח דיוור לרשימת תפוצה, תוך עריכת השוואה מקדמית בין ביצועי גרסאות שונות של דיוור זה על מדגם רנדומלי מהרשימה, במטרה להגיש למרבית הרשימה (כלל הנמענים בניקוי אלו שקיבלו את דיוורי מדגם הבדיקה) את גרסת הדיוור שהביאה לתוצאות המיטביות בקרב מדגם הבדיקה. בצורה זו ניתן לשפר את יעילות הדיוור וללמוד על העדפות קהל הקוראים שלנו.

מערכת  InfoMail מעמידה לרשות משתמשיה מנגנון AB Test מתקדם. בעזרתו ניתן לבדוק ולהשוות ביצועים של עד 5 גרסאות של דיוורים. ניתן להחליט בגמישות מלאה כמה אחוזים מכלל נמעני הדיוור המיועד יחשפו לבדיקה (וכתוצאה מכך כמה נותרים יקבלו את גרסת הדיוור האופטימלי), ניתן לקבוע את חלון הזמן לביצוע הבדיקה ועוד פרמטרים נוספים שיאפשרו למדוור לערוך את הבדיקה במתכונת המועדפת עליו.

כיצד בונים קמפיין AB Test במערכת?

1. לוחצים על AB Test בתפריט המערכת תחת לשונית קמפיינים:

2. מסך הרכבת AB Test נפתח לפנינו ובו יש להגדיר את הדברים הבאים:

א. שם הקמפיין – שם פנימי שישמש אותנו כמדוורים לצורך איתור קל של הקמפיין במערכת. הקוראים שלנו לא יהיו חשופים אליו. במידה ולא הוגדר שם קמפיין המערכת תצמיד לו שם ברירת מחדל שיכלול את תאריך הרכבתו.

ב. גרסאות הקמפיין להשוואה – A ו- B. יש לבחור את הקמפיינים ביניהם רוצים להשוות. בבואך לבחור את גרסאות הקמפיין להשוואה תפתח רשימת כלל הקמפיינים שלך המצוים במצב של טיוטה במערכת. לא תראה ברשימה זו קמפיינים שכבר נשלחו.

קמפיין AB Test בהגדרתו מורכב מלפחות שתי גרסאות ביניהן רוצים להשוות. במידה ורוצים להשוות בין יותר מזה, יש ללחוץ על כפתור "הוסף גירסה". ניתן להשוות עד חמש גרסאות במערכת –  A,B,C,D,E.

ניתן לראות את הפרטים הסיכומיים של הקמפיינים הנבחרים לגרסאות בלחיצה על כפתור "פרטי קמפיין".

לתשומת ליבך: על מנת לבצע AB Test צריך שיתקיימו 2 התנאים הבאים:

1. על הקמפיינים המשווים להיות מוכנים במערכת בסטאטוס טיוטה. לא ניתן לערוך בדיקה על קמפיינים שכבר נשלחו מהמערכת. כאלו שבמסך סיום הרכבתם (שלב 4 של עריכתם) נלחץ כפתור "שלח קמפיין" (בין אם מיידי או עתידי).

במידה ורוצים להשוות בין קמפיינים שכבר נשלחו יש לשכפל אותם בלחיצה על הכפתור הייעודי במסך הקמפיינים:

יש לערוך בהם את השינוים הנחוצים בעזרת אשף עריכת הקמפיין ולשמור אותם בסיום העריכה כטיוטה בלחיצה על כפתור "שמור כטיוטה ועבור ל- AB Test" (או "שמור כטיוטה ואל תשלח") במסך סיכום הקמפיין של האשף.

2. על הקמפיינים המושווים להיות בעלי רשימות תפוצה זהות. במידה ובחרת שני קמפיינים (או יותר) שמלכתחילה הוגדרו להפצה לרשימות תפוצה שאינן חופפות זו לזו לא תוכל לשלוח את קמפיין ה- AB Test. המערכת תתריע בפניך שיש להגדיר רשימות זהות.

במידה ורוצים לשוב ולערוך קמפיין זה או אחר (למשל – לעדכן את רשימות התפוצה על מנת שתתאמנה לביצוע הבדיקה) ניתן ללחוץ על כפתור "עבור לקמפיין" בקמפיין בו רוצים לערוך שינוים.

הלחיצה תשמור את השינוים שבוצעו במסך הרכבת ה- AB Test, תשמור אותו כטיוטה ותעביר אותך לאשף הרכבת הדיוור בו רוצים לבצע שינוים. בסיום ביצוע השינוים יש לשמור את הדיוור כטיוטה ולשוב למסך הרכבת ה- AB Test שם בלחיצה על כפתור עריכה של קמפיין AB בהמצוי במצב טיוטה ניתן לשוב ולעבוד על הגדרות קמפיין ה- AB Test האמור.

ג. יש להגדיר את אחוז הנמענים מהרשימה אליהם ישלחו דיוורי הבדיקה – הגדרת ברירת המחדל של המערכת עומדת על 10% מסך הרשימה אשר יתחלקו בין שתי גרסאות הדיוור. המשמעות – 5% מהרשימה יקבלו את גרסה A, בהתאמה לכך 5% יקבלו את גרסה B. יתרת 90% מנמעני הרשימה יקבלו או את A או את B, כתלות לממצאי הבדיקה וקביעת מי מביניהם הוא הקמפיין המנצח. במידה ויש לנו יותר משתי גרסאות דיוור, האחוזים המוגדרים יתחלקו ביניהן בצורה שווה. מטבע הדברים, ככל שכמות האחוזים במדגם גדלה, כך גדלה מהימנות ממצאי הבדיקה. מנגד, מדגם גדול מדיי יבוא על חשבון חשיפת הדיוור המנצח לכמות מקסימלית של יתרת הקוראים. על כן מומלץ למצוא את האיזון העדין שיביא את מיטב הערך.

ד. יש לקבוע את הנתון שעל בסיסו יאותר הקמפיין המנצח – הקביעה נעשית לפי אחד מבין שני פרמטרים. או אחוז הפתיחות של הדיוור, או אחוז ההקלקות על הקישורים הכלולים בו.

ה. יש לקבוע את זמן משלוח דיוורי הבדיקה. במידה ומשאירים את הגדרת "מיידי" גרסאות הדיוור תשלחנה לנמעני הבדיקה מייד עם הלחיצה על הכפתור "שלח קמפיין". במידה ובוחרים במועד דוחי יש להגדיר מהו מועד זה – תארך ושעה.

ו. יש לקבוע מהו חלון הזמן במסגרתו תבוצע הבדיקה. בתום חלון זמן זה המערכת תבדוק את הנתונים שנאספו ותחליט מיהו הדיוור המנצח על פי הנתונים שברשותה נכון לרגע זה. ככל שחלון הזמן ארוך יתאפשר למערכת לאסוף יותר נתונים מתוך מעקב אחר התנהגות הקוראים ולהחליט בצורה יותר מהימנה מי הדיוור המנצח. מנגד, מומלץ שלא לחרוג מחלון הזמן האופטימלי לקריאה. חלון זה משתנה מאוכלוסיית קוראים אחת לאחרת. כל בית עסק לומד עם הזמן מהם הרגלי ההענות של הקוראים שלו לדיוורים אותם שולח. הגדרת ברירת המחדל היא שהגירסה המנצחת תקבע שעתיים לאחר סיום משלוח דיוורי הבדיקה. ניתן לשלוט על כמות השעות, או הדקות או הימים למסגרת חלון זמן זה. לחליפין ניתן לקבוע שהגרסה המנצחת תקבע בשעה מדוייקת שתוגדר על ידי המדוור. במידה ובהגיע מועד הבדיקה טרם נקבעה גרסה מנצחת (למשל – יש טיקו בנתונים), גרסה A שלו היא זו שתחשב כמנצחת והיא זו שתשלח ליתרת הרשימה.

ז. יש לקבוע אם לאחר שהגיע מועד קביעת הקמפיין המנצח זה ישלח ליתרת הרשימה אוטומטית או ידנית. ברירת המחדל של המערכת היא אוטומטית. יחד עם זאת היא מאפשרת למשתמשיה לשלוח את הקמפיין גם בצורה יזומה שלהם.

בסיום הגדרת כל האמור, ועל מנת שקמפיין AB Test ישלח בפועל בהתאם להגדרות אלו, יש ללחוץ על כפתור "שלח קמפיין" בתחתית המסך. במידה ולא רוצים שהקמפיין ישלח (מיידית או דחוי כתלות בהגדרה שנבחרה) יש ללחוץ על "שמור כטיוטה ואל תשלח".

לתשומת ליבך: ברגע ששלחת את הקמפיין לבדיקה לא ניתן לעצור את השליחה, גם אם היא עתידית.

במידה ולפי הסעיף האחרון בהגדות נבחרה האופציה הידנית (דהינו המערכת שלחה את דיוורי הבדיקה, הגיע מועד עריכת בדיקת הביצועים, היא איתרה קמפין מנצח והיא נותנת חיווי על כך) על מנת שקמפיין זה או כל אחת מגרסאותיו האחרות דווקא במידה ורוצים ישלח יש לפנות לבצע את השליחה באחת משתי דרכים:

1. במסך AB Test יש לבחור בשליחת הגרסה הרצויה תחת עמודת "אפשרויות" טבלת המסך.

בלחיצה על הכפתור תפתח רשימת כל הגרסאות שנכללו בקמפיין ותתאפשר שליחת המנצח או אחת מבין האחרות.

2. במסך דוחות הקמפיין יש ללחוץ על כפתור "שלח קמפיין מנצח". לתשומת ליבך: בחירה באפשרות זו לשח את הקמפיין המנצח ולא גרסה אחרת במידה ודווקא את האחרת תעדיף מסיבה זו או אחרת לשלוח.

צפייה בקמפיין

ניתן לראות קמפיינים מסוג AB Test שהקמנו במערכת במסכים הבאים:

1. במסך AB Test תחת לשונית קמפיינים בתפריט המערכת – שם מופיעים כל קמפייני ה- AB Test שהקמנו ושטרם העברנו לארכיון הדיוורים. ניתן לראות את שמם כפי שהגדרנו אותו במסך הקמת ה- AB Test" ניתן לראות מתי כל קמפיין נוצר, איזו גרסה אותרה כמנצחת ולכמה נמענים הוא נשלח. ישנה גישה לדוחות הקמפיין המפוקטים וכן לשחרור שליחת הגרסה הרלוונטית ליתרת הרשימה במקרה ונבחרה בהקמה שליחת קמפיין מנצח ידנית. כמו כן יש חיווי של סטאטוס הקמפיין:

• טיוטה – נשמר כטיוטה
• עתידי – ממתין להגיע מועד שליחת דיוורי הבדיק
• בשליחה – הועבר לשליחה המדגמית של הבדיקה
• בבדיקה – השליחה המדגמית הסתיימה וכעת ממתין להגיע מועד קביעת הקמפיין המנצח
• ממתין לשליחה ידנית – נקבע קמפיין מנצח אך יש לשחרר את היתרה לשליחה ידנית
• הסתיים – כל יתרת הדיוורים של הקמפיין המנצח נשלחה

2. במסך קמפיינים – קמפיין AB Test יופיע בירוק, סוגו יסומן כ- AB Test:

לחיצה על כפתור הדוחות יביא לפירוט הנתונים הקשורים בקמפיין.

לחיצה על ה- + מימין לשם הקמפיין תפתח תחתיה פירוט של גרסאות הקמפיין שנכללו במסגרת ה- AB Test. מהן ניתן לשכפל כל גרסה ולצפות בדוחותיה הספציפיים כמו גם המאוחדים עם הקמפיין המנצח.

3. במסך דוחות – עיקרי סטטיסטיקות של הקמפיין תוצגנה בתצורה דומה. ניתן להכנס להרחבה לגבי כל גרסה ולדוחות הקמפיין המפורטים בלחיצה על שם ה- AB Test או שם גרסאות הקמפייטן הפרטניות שלו.

4. דוחות קמפיין מפורטים – מציגים את מלוא הנתונים הסטטיסטיים של הקמפיין לרבות פירוט מלא של כל נתון. ניתן לעבור לצפיה בנתונים בין שלוש רמות:

א. גרסה A

ב. גרסה B

ג. הכל – נתונים מאוחדים של הקמפיין המנצח לאחר שליחת הבדיקות ובתום שליחת גרסתו המנצחת ליתרת הרשימה. ניתן לעבור בין דוח לדוח (למשל – דוח נמענים, דוח עבירות, דוח פתיחות) ובמסגרת כל דוח לשחק עם התצוגה על מנת להחשף לנתוני הגרסאות הבדידים או לנתונים הסיכומיים הכוללים.

ד. במידה ורוצים לדעת מהם נתוני הקמפיינים ברגע המדוייק של קביעת הקמפיין המנצח ניתן ללחוץ על הפלוס מימין לשם הגרסה. סימון  הפלוס מופיע רק לאחר סיום הבדיקה וקבלת ההחלטה מיהו כאמור המנצח. נתוני רגע זה הינם סטאטיים ומתייחסים לנקודת זמן הקביעה בלבד .

יוני אלמוג

משנה למנכ"ל InforUMobile. מומחה בשיווק סלולרי ואינטרנטי. בעל ידע נרחב בטכנולוגיות דיגיטליות, ממשקי משתמש ומערכות תקשורת. מעצב ומתווה אסטרטגיות עסקיות. מוביל דעה בתעשיית המובייל בישראל, מרצה בכנסים בתחום. יוני בוגר תואר בהנדסת מחשבים מהטכניון. מצב אישי – נשוי + 2 ילדים

More Posts - Website

Follow Me: