סיכום כנס קהילת איל"ת בפאי: הערכה 2025 -17 ליולי 2019 -

רשמה: מירי לוין-רוזליס

נושא הכנס היה "הערכה 2025", ומטרתו הייתה לבחון את מצבו הקיומי של תחום הערכת התוכניות ולאן הוא פונה. 

להיות חבר בקהילה בעולם של ריבוי רשתות וקהילות  ד"ר איתן אור יו"ר פאי

הכנס נפתח בהצגה של ד"ר איתן אור יו"ר פאי, שדיבר על פאי כקהילה של קהילות ואת המודל החשיבתי סביבו מוגדרת העמותה שלקוח מפסטיבל Burning-Man ועיקרו קהילה של עשייה משותפת ותרומה.  

אחת הקהילות בפאי היא קהילת איל"ת, קהילתם של המעריכים. איתן הציג את ההזדמנות שמפגש של קהילות מזמן, הן לדיאלוג של הקהילה פנימה, ובעיקר של דיאלוג ולמידה הדדית בין הקהילות שעוסקות בתחומים משיקים עם חפיפה ביניהן. ואכן הרבה אפשרויות למידה מוצעות על ידי פאי.

איתן גם הציג את הדיגיטליות כאמצעי לתקשורת מורכבת. האתר של פאי שבימים אלה עולה לאוויר מציע מספר אפשרויות לעבודה מקוונת של קהילות.

המצגת של ד"ר איתן אור מוצגת כאן.

התבוננות מעריכה ופרשנות: למידה ממחקר איכותני. פרופ' גדעון קונדה

פרופסור קונדה, הועד המנהל של גינת לוינסקי והחוג ללימודי עבודה באוניברסיטת תל אביב, חלק איתנו את תפישת עולמו לגבי חשיבותה של העבודה הפנומנולוגית. באמצעות חוויות מתחילת עבודתו המקצועית הדגיש את חוסר התוחלת, חוסר ההתאמה וחוסר האמינות של שאלונים כמותיים מצד אחד, והאובדן של מידע חשוב בגלל היעדר התבוננות ישירה בהקשרים שבהם נאסף המידע. אורחות חיים, תרבות, אינטראקציות אנושיות ועוד.

גדעון הדגיש את החשיבות של שאילת שאלות לגבי קשרים מצד אחד, ושל החיבור להתנסויות ולרגשות שלנו מצד שני, רגשות ואסוציאציות שעוזרים לנו לקבל תמונה קוהרנטית וברת משמעות של הנושא שאותו אנחנו בוחנים.

שמונה עקרונות של הערכה משתפת (  approachescollaborative ).  ד"ר יהודית זמיר, וד"ר ברברה רוזנשטיין

בעקבות הרצאתו של פרופ' קונדה שהציע לצאת מהמספרים למציאות החיים של המוערכים, הציגו ברברה ויהודית את שמונת העקרונות של הערכה משתפת שגם היא כפי שציין קונדה, לוקחת בחשבון שהידע הוא תלוי חברה, מקום ותקופה היסטורית, ומניחה ריבוי מציאויות מעוצבות על ידי ערכים חברתיים, פוליטיים, תרבותיים, כלכליים, אתניים, ומגדריים. גם כאן הטענה היא שכדי להבין את המציאות המוערכת יש צורך קשרים אינטראקטיביים בין החוקר/מעריך והמשתתפים בתכנית/התערבות נחקרת. 

הדיון עם המשתתפים עסק בהבדלים שבין הערכה קונבנציונלית לבין הערכה משתפת, וגם בסכנות שעלולות לנבוע ממנה, כאשר לדברים שנחשפים בתהליך השתפני יש פוטנציאל לפגוע בבעלי עניין שונים בתוכנית.

המצגת של ד"ר יהודית זמיר וד"ר ברברה רוזנשטיין מוצגת כאן

פרדיגמות מחקר/הערכה כמותיות לעומת איכותניות – מה תרומתן לביסוס ראיות עבור מקבלי החלטות בארגונים? ד"ר ריטה סבר, ביה"ס לחינוך האוניברסיטה העברית.

ד"ר ריטה סבר עשתה מעין סיכום וכינוס של שתי הפרדיגמות המרכזיות שקיימות היום בהערכה: הפרדיגמה הכמותית והאיכותנית – איזו תרומה יש להן למקבלי החלטות ומתי. כדי שתהיה תרומה צריכים מקבלי ההחלטות להתיחס למידע כאמין, רלבנטי ובעל ערך מוסף.

ריטה הדגישה את חשיבותו של הסיפור בהנגשה של מידע ושל ידע חדש, גם כגורם שמארגן פריטי מידע למשהו קוהרנטי ובר פשר, וגם כאמצעי להתחבר לידע קיים ולתפישות עולם של מקבלי החלטות. וסיפור הוא כמובן לא רק מילים ולא נובע רק ממחקר איכותני.

בהמשך הציגה ריטה את החיובי והשלילי בכל אחת מהפרדיגמות ואת האופציה השלישית של עירוב שיטות שמאפשרת ליהנות משני העולמות. כי הרי ספירה (נתונים) בלי "סיפור" היא חסרת משמעות; סיפור בלי ספירה (נתונים) אינו מעורר אמון. 

המצגת של ד"ר ריטה סבר מוצגת כאן

האמנם מנהלים ממאדים ומעריכים מוונוס? פנל בהנחיית נעמה בר און וד"ר מירי לוין רוזליס

מתדיינות: נטע כץ וד"ר עידית מיכאלי מהסוכנות היהודית, וסמדר סומך ממאיירס-ג'וינט-ברוקדייל.

הפנל הציב אחד מול השני ארגון גדול שמפעיל מאות תוכניות שרובן ככולן מוערכות – הסוכנות היהודית, מול ארגון גדול אחר שעסוקו במחקר ובהערכה של תוכניות – מאיירס-גוינט-ברוקדייל.

נטע כץ מהסוכנות היהודית הציגה את הקושי שהיה לסוכנות היהודית שמפעילה עשרות תוכניות בארץ ובעולם עם שיטת ההערכה המקובלת של הערכת תוכנית, ועוד תוכנית, כאשר כל תוכנית וכל הערכה מתופפות בקצב משלהן. 

אחד הקשיים הבולטים הוא כלכלי. הערכה טובה ומעמיקה עולה הרבה כסף. קושי אחר: הקושי של מקבלי החלטות ללמוד מן המידע שמתקבל בהערכות עומק של תוכניות בודדות לגבי הארגון בכללו.  ספקי הערכה שונים עובדים עם מושגים שונים, נקודות ראות שונות, מתודולוגיות שונות שאלות הערכה שונות, מה שמקשה על השוואה ועל קבלת תמונה כוללת, ולכן על יצירת סדרי עדיפויות תקציביים או בין סוגי תוכניות. בנוסף, כאשר דגש ההערכה הוא על תוכניות, החזון, התכנון האסטרטגי ופעולת הסוכנות כמכלול נשארים מחוץ לתמונה.

הפתרונות: הערכה פנימית עם דגש על שימושיות, עם מושגים זהים ושאלות הערכה משותפות מעבר לתוכניות, כולל עלות – מועילות, וכולל אסטרטגיה וחזון.

לשם כך יצרו עבור רמת התוכניות לוח אחיד (dashboard) שבו 11 סעיפי הערכה שמוצגים באופן גראפי, תמציתי וקל להבנה שעל כל תוכנית למלא.

המצגת של נטע כץ וד"ר עידית מיכאלי מהסוכנות היהודית, כולל הלוח מוצגת כאן.

סמדר סומך, ראש מדור תעסוקה במאיירס-ג'וינט-ברוקדייל הציגה את הקשיים של המעריכה / החוקרת כמעט כתמונת ראי של הקושי של מקבלי ההחלטות. ההתפתחויות הטכנולוגיות החדשות גם לאיסוף מידע וגם לעיבודו מציבים למעריכים אתגרים חדשים של קשיים ושל הזדמנויות. כניסה של תפישות ניהוליות חדשות ומנהלי תוכניות בני דור ה-Y שינו את הדרישות מהמעריכים הן לגבי קצב עבודה והן לגבי סוג המידע הנדרש, שהוא יותר קצר וממוקד נתונים.

הדרישות מהמעריכים מצד בעלי עניין הן לעיתים סותרות, ממצאים כמותיים ומחקר איכותני, ולעיתים אינן ברות יישום, בוודאי לא בזמן שמוקצה להערכה, כמו למשל בדיקת השפעה על מחקר קטן מדי והטרוגני, או לתוצאות התערבות בזמן שאין סיכוי לראות תוצאות של התערבות. מצד אחד הבקשה היא למחקר מהיר עם שורה תחתונה ברורה וחד משמעית, ומצד שני למחקר בסיסי מעמיק. ומצד שלישי הרבה מושגים לא רלוונטיים שנזרקים באוויר.

בעוד מיומנויות שנדרשות להערכה טובה הן מוקפדות ודורשות למידה והתמחות, הדרישות הן הרבה פעמים כאוטיות. המעריכים נדרשים היום לשליטה בהרבה יותר כלים ומתודולוגיות, ולהיות הרבה יותר גמישים. המעריכים נדרשים לליין בין מתודולוגיות מגוונות, דרישות סותרות, לוחות זמנים בלתי אפשריים, בקשות לא מקצועיות, וצרכים מרובים יותר של מקבלי החלטות שצריכים לקבל החלטות מהירות ומושכלות בעולם משתנה תדיר.

המצגת של סמדר סומך נמצאת כאן.

היבטים שעלו בשיח קהילה

ד"ר רויטל היימן הנחתה את שיח הקהילה.

שני נושאים מרכזיים עלו בשיח. האחד מיהו המעריך הטוב ומהי הכשרה יעילה, והשני – מה חסר לקהילת המעריכים היום.

מספר צרכים עלו בשיח. כקהילה הצורך בשיווק ובמיתוג. אנשים שמחפשים קהילה לא ידעו כלל על קיומה של איל"ת. 

מצד שני עלה צורך בהמשך התמחות ברמות שונות. בנוסף או במקביל לפעולות ההכשרה הקונבנציונאליות בסדנאות ומפגשים חד פעמיים עלה מאד חזק הצורך לעבוד בקבוצות נושאיות. קבוצות קטנות שמתכנסות באופן המשכי, סביב נושא שמעניין את חברי הקבוצה לחקור לעומק.

וכמובן – שיח ותקשורת בתוך הקהילה.