בתחילת השנה, הרבה לפני שחשבנו על קורונה, נכנסתי לאולפן יחד עם עופר דוברובסקי, מחברת Nielsen, להקליט פרק של This is my Architecture על ארכיטקטורת Serverless Big Data.
כבר בהכנות להקלטה, במהלך השיחות הראשוניות שלי עם עופר, הבנתי שיש כאן סיפור מדהים, שיכול לעזור להרבה מאד מפתחים וארכיטקטים שבונים, או חושבים לבנות, ארכיטקטורת Serverless.
רבים מהם לא בטוחים אם זה יכול לעמוד בעומס הדרוש להם, מה העלויות, עד כמה זה מסובך ושונה ממה שהם מכירים ועוד אין ספור שאלות. הסיפור של Nielsen הוא דוגמא מצויינת איך אפשר לקחת את הטכנולוגיה הזאת, שכל כך חביבה עלי, ל – Extreme.
Serverless BigData?
יש הרבה שימושים לארכיטקטורת Serverless. מערכות Web, שימוש ל – IoT, חיבור ל – Microservices באמצעות API, אוטומציות ועוד. השימוש ב – Serverless לעיבוד נתונים הוא אחת הארכיטקטורטת היותר ותיקות ו – Serverless BigData, אם זה לעיבוד של Data Streams בנפחים גדולים או עיבוד קבצים, היא פרקטיקה מאד מקובלת.
מה שהפתיע אותי בסיפור של Nielsen הוא הגודל והמורכבות של הפתרון. המערכת של Nielsen, הנקראת Data Out, מעבדת 250 מילארד! ארועים ביום, שמתורגמים ל – 55 טרה של Data. היא יכולה לגדול ולקטון, אוטומטית, הודות ליכולות של ארכיטקטורת Serverless, בין עיבוד של 1TB לשעה ועד 6TB וכל זאת מבלי לעשות דבר ובעלות של ״רק״ $1000 ליום. אם זה נשמע לכם הרבה, תחשבו שוב כמה כח מחשוב צריך על מנת לעבד כמות כזאת של Data וכמה כח אדם המערכת חוסכת.
ממליץ לכם לבלות קצת פחות מ – 10 דקות עם עופר ואיתי בוידאו זה וללמוד איך Nielsen בנו מכונת עיבוד נתונים בלי מכונות (כמעט).
מה למדנו?
אנחנו רואים יותר ויותר מערכות ליבה של ארגונים (קטנים וגדולים) מאמצות פתרונות מבוססי ארכיטקטורת Serverless. היכולת של המערכת לגדול (ולא פחות חשוב לקטון), להגיע ל – Scale מאד גודל ולספק גמישות ומחיר סביר הופכים ארכיטקטורה זו, גם בעולומת של BigData, למשהו שכדאי לקחת בחשבון כמשתכננים מערכת חדשה או משפרים קיימת.
נכון, יש עדיין אתגרים שצריך לפתור וידע שנצבר ככל שמשתמשים יותר בפתרונות אלו (כמו שעופר אומר בוידאו – במקור לא חשבנו ש – Rate Limiting הולך להוות בעיה) אבל הסיפור של Nielsen הוא רק אחד מתוך שורה של פתרונות שהעולם מאמץ כיום, שהופכים את המערכות שכולנו בונים לטובות יותר, סקיילביליות ובעיק פשוטות יותר לתפעול ותחזוקה.
Go Serverless.
