שבוע נוסף עמוס בחדשות ב-AWS מגיע לסיומו. השבוע ראינו מספר התפתחויות משמעותיות בתחום ה-Generative AI, שיפורים בתשתית ה-Edge, חידושים בניהול SaaS, וכלים חדשים עבור מפתחים.

Amazon Nova Premier: מודל חדש מבית AWS למשימות מורכבות

השבוע הכריזה AWS על זמינותו הכללית של Amazon Nova Premier, המודל המתקדם ביותר במשפחת Nova. זהו מודל מולטימודלי עוצמתי שתוכנן להצטיין במשימות מורכבות הדורשות הבנה עמוקה של הקשר, תכנון רב-שלבי, ותיאום בין כלים ומקורות מידע.

Nova Premier מעבד טקסט, תמונות ווידאו עם Context Window ענק של מיליון טוקנים, מה שמאפשר לו לעבד מסמכים ארוכים במיוחד (מעל 400 עמודים), קוד ארוך ומורכב, או סרטוני וידאו באורך של עד 90 דקות. חוזקו של המודל ניכר בציוניו המרשימים במדדים מקובלים: 87.4% ב-MMLU למידע ברמת אוניברסיטה, 82.0% ב-Math500 לבעיות מתמטיות, ו-84.6% במדד CharXiv להבנת תרשימים.

אחד היתרונות המרכזיים של Nova Premier הוא יכולתו לשמש כ”מורה” עבור זיקוק מודלים (model distillation). עם Amazon Bedrock Model Distillation, מפתחים יכולים ליצור גרסאות יעילות, חסכוניות ומהירות יותר של מודלי Nova Pro, Lite ו-Micro המותאמים לצרכים ספציפיים. למשל, AWS השתמשה ב-Nova Premier כדי לזקק גרסה של Nova Pro עם יכולות משופרות בבחירת כלים וקריאה ל-API. המודל המזוקק הציג דיוק גבוה ב-20% לקריאות API בהשוואה למודל הבסיסי.

להלן דוגמה לשימוש ב-Nova Premier באמצעות Bedrock Converse API:

import boto3
import json

AWS_REGION = "us-east-1"
MODEL_ID = "us.amazon.nova-premier-v1:0"

bedrock_runtime = boto3.client('bedrock-runtime', region_name=AWS_REGION)
messages = [
    {
        "role": "user",
        "content": [
            {
                "text": "Explain the differences between vector databases and traditional relational databases for AI applications."
            }
        ]
    }
]

response = bedrock_runtime.converse(
    modelId=MODEL_ID,
    messages=messages
)

response_text = response["output"]["message"]["content"][-1]["text"]

print(response_text)

אחד השימושים המעניינים ב-Nova Premier הוא בארכיטקטורות רב-סוכניות (multi-agent). למשל, בתרחיש מחקר השקעות פיננסיות, Nova Premier יכול לשמש כסוכן המפקח על תהליך עבודה שלם: ניתוח השאלה הראשונית, פירוק המשימה לצעדים לוגיים, קביעת סוכני המשנה להפעלה, וסינתזה של התגובה הסופית. ביחד עם סוכני משנה מבוססי Nova Pro המתמחים במקורות מידע שונים, המערכת יכולה לספק תובנות מקיפות על השקעות בתחום הסייבר או בכל תחום אחר.

Nova Premier זמין עכשיו ב-Amazon Bedrock באזורים US East (N. Virginia), US East (Ohio), ו-US West (Oregon) באמצעות cross-region inference.

דור שני של AWS Outposts racks עם ביצועים וסקילביליות פורצי דרך

השבוע הכריזה AWS על דור שני של AWS Outposts racks, המסמן חידוש משמעותי בפתרונות Edge computing מבית AWS. הדור החדש הזה מציע תמיכה במכונות Amazon EC2 מהדור האחרון מבוססי x86, קונפיגורציה ותכנון רשת משופרים, ומופעי רשת מואצים שתוכננו במיוחד עבור workloads הדורשים Low Latency ו – High Capacity.

הדור השני של Outposts racks תומך במכונות EC2 מסוג C7i (אופטימיזציה לחישוב), M7i (למטרות כלליות), ו-R7i (אופטימיזציה לזיכרון). מכונות אלו מספקות פי שניים יותר vCPU, זיכרון ורוחב פס רשת, ומציעות ביצועים טובים יותר בעד 40% בהשוואה למכונות C5, M5 ו-R5 בדור הקודם של Outposts racks.

הארכיטקטורת הרשת החדשה מציעה עמידות מובנית כנגד כשלים בהתקני רשת ומאפשרת הפרדה בין המחשוב והרשת, דבר שמפשט את ניהול הרשתות ומאפשר סקילביליות ויעילות מבחינת עלות עבור workloads מקומיים. בנוסף, קיימת אפשרות חדשה לקונפיגורציה עצמאית של ה-local gateway (LGW).

אחד החידושים המשמעותיים ביותר הוא הוספה של מכונות EC2 עם רשת מואצת עבור AWS Outposts racks. מכונות אלו כוללות כרטיסי האצת רשת מיוחדים ותוכננו במיוחד עבור workloads הדורשים לייטנסי נמוך במיוחד, כגון מערכות מסחר פיננסיות, הפצת נתוני שוק בזמן אמת, workloads של טלקום 5G Core, והפצת מדיה.

עם הדור השני של Outposts racks, לקוחות יכולים להמשיך להשתמש באותם ממשקי API, לוח בקרה, אוטומציה, Policy ובקרות אבטחה עבור האפליקציות שלהם בין אם הן רצות באזורי AWS ובין אם במיקומים מקומיים. זה מאפשר ריכוז של ניהול התשתית והגברת פרודוקטיביות המפתחים באמצעות סטנדרטיזציה על מערכי CI/CD משותפים.

מודלי Llama 4 מבית מטא עכשיו זמינים ב-Amazon Bedrock בתצורת Serverless

מודלי ה-AI החדשים ביותר של מטא Llama 4 Scout 17B ו-Llama 4 Maverick 17B, זמינים עכשיו כאופציה מנוהלת מלאה ו-Serverless ב-Amazon Bedrock. מודלים אלה מציעים יכולות מולטימודליות מובנות עם טכנולוגיית early fusion שניתן להשתמש בה עבור הבנת תמונות מדויקת ועיבוד הקשר מורחב ביישומים.

Llama 4 משתמש בארכיטקטורת Mixture-of-Experts (MoE) חדשנית המספקת ביצועים משופרים במשימות של הנמקה והבנת תמונה תוך אופטימיזציה של עלות ומהירות. גישה ארכיטקטונית זו מאפשרת ל-Llama 4 להציע ביצועים משופרים בעלות נמוכה יותר בהשוואה ל-Llama 3, עם תמיכה בשפות מורחבת עבור יישומים גלובליים.

הנה שני המודלים החדשים:

• Llama 4 Maverick 17B – מודל מולטימודלי הכולל 400 מיליארד פרמטרים. הוא מצטיין בהבנת תמונות וטקסט, מה שהופך אותו למתאים ליישומי עוזר וצ’אט רב-תכליתיים. המודל תומך בחלון הקשר של מיליון טוקנים, מה שמאפשר גמישות בעיבוד מסמכים ארוכים וקלטים מורכבים.
• Llama 4 Scout 17B – מודל מולטימודלי למטרות כלליות עם 17 מיליארד פרמטרים פעילים, ו-109 מיליארד פרמטרים כוללים. הוא מספק ביצועים מצוינים בהשוואה לכל מודלי Llama הקודמים. Amazon Bedrock תומך כרגע בחלון הקשר של 3.5 מיליון טוקנים עבור Llama 4 Scout, עם תוכניות להרחבה בעתיד הקרוב.

ניתן להשתמש במודלי Llama 4 למגוון רחב של שימושים בתעשיות שונות: יישומים ארגוניים, עוזרים רב-לשוניים, קוד ומסמכים, תמיכת לקוחות, יצירת תוכן ומחקר. המודלים תומכים ב-12 שפות לטקסט ובאנגלית לעיבוד תמונות.

להלן דוגמת קוד המראה כיצד להשתמש ב-AWS SDK for Python (Boto3) עם Llama 4 Maverick לשיחה מולטימודלית:

import boto3
import json
import os

AWS_REGION = "us-west-2"
MODEL_ID = "us.meta.llama4-maverick-17b-instruct-v1:0"
IMAGE_PATH = "image.jpg"


def get_file_extension(filename: str) -> str:
    """Get the file extension."""
    extension = os.path.splitext(filename)[1].lower()[1:] or 'txt'
    if extension == 'jpg':
        extension = 'jpeg'
    return extension


def read_file(file_path: str) -> bytes:
    """Read a file in binary mode."""
    try:
        with open(file_path, 'rb') as file:
            return file.read()
    except Exception as e:
        raise Exception(f"Error reading file {file_path}: {str(e)}")

bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name=AWS_REGION
)

request_body = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What can you tell me about this image?"
                },
                {
                    "image": {
                        "format": get_file_extension(IMAGE_PATH),
                        "source": {"bytes": read_file(IMAGE_PATH)},
                    }
                },
            ],
        }
    ]
}

response = bedrock_runtime.converse(
    modelId=MODEL_ID,
    messages=request_body["messages"]
)

print(response["output"]["message"]["content"][-1]["text"])

מודלי Writer Palmyra X5 ו-X4 עכשיו זמינים ב-Amazon Bedrock

מודלי הבסיס של Writer, Palmyra X5 ו-X4, זמינים כעת ב-Amazon Bedrock במודל Serverless מנוהל. AWS היא ספקית הענן הראשונה שמציעה מודלים מנוהלים מלאים מבית Writer.

Palmyra X5 הוא מודל חדש שהושק היום על ידי Writer, בעוד ש-Palmyra X4 היה זמין בעבר ב-Amazon Bedrock Marketplace. מודלי Writer Palmyra מציעים יכולות הנמקה חזקות התומכות ב-Flow מורכב מבוססות סוכנים תוך שמירה על סטנדרטים של אבטחה ואמינות ברמה ארגונית. Palmyra X5 מציע חלון הקשר של מיליון טוקנים, בעוד Palmyra X4 תומך בחלון הקשר של 128K טוקנים. עם חלונות ההקשר הנרחבים הללו, המודלים מסירים חלק מהמגבלות המסורתיות לפיתוח אפליקציות וסוכנים, ומאפשרים ניתוח עמוק יותר והשלמה מקיפה יותר של משימות.

מודלים אלה מצטיינים במשימות הבאות:

• Adaptive thinking – מודלים היברידיים המשלבים הנמקה מתקדמת עם אמינות ברמה ארגונית, ומצטיינים בפתרון בעיות מורכבות ותהליכי קבלת החלטות מתוחכמים.
• קריאה לכלים רב-שלבית – תמיכה ביכולות קריאה לכלים מתקדמות שניתן להשתמש בהן בזרימות עבודה מורכבות ופעולות סוכניות, כולל אינטראקציה עם מערכות ארגוניות.
• אמינות ברמה ארגונית – תוצאות עקביות ומדויקות תוך שמירה על סטנדרטים קפדניים של איכות הנדרשים לשימוש ארגוני.

הפחתת עומס תפעולי עם Amazon CloudFront SaaS Manager

Amazon CloudFront SaaS Manager הוא תכונה חדשה העוזרת לספקי תוכנה-כשירות (SaaS), פלטפורמות לפיתוח אתרים, וחברות עם מותגים ואתרים מרובים לנהל ביעילות את תוכן בין דומיינים רבים. CloudFront SaaS Manager יכול להפחית משמעותית את המורכבות התפעולית תוך העברת תוכן מהירה ואבטחה ברמה ארגונית לכל דומיין לקוח.

בחברות SaaS רבות, ניהול אתרים בקנה מידה גדול הוא אתגר משמעותי, כאשר כל אחד דורש תעודות TLS, הגנה מפני מתקפות DDoS, וניטור ביצועים. CloudFront SaaS Manager מתמודד עם אתגרים אלה באמצעות API פשוטים וקונפיגורציות שניתן לשימוש חוזר המנצלות את שרותי ה-Edge העולמיים של CloudFront, AWS WAF, ו-AWS Certificate Manager.

נניח שיש לנו חברה בשם MyStore, פלטפורמת מסחר אלקטרוני פופולרית העוזרת ללקוחות להקים בקלות חנות מקוונת. לקוחות MyStore מחולקים באופן לא אחיד בין שלוש רמות תמחור שונות: Bronze, Silver ו-Gold, ולכל לקוח מוקצה תת-דומיין mystore.app קבוע.

באמצעות CloudFront SaaS Manager, חברת MyStore יכולה ליצור הפצה רבת משתמשים (Multi-tenant distribution) שמשמשת כתבנית לכל אחת משלוש רמות התמחור שהיא מציעה. לאחר מכן, היא יכולה ליצור tenant נפרד עבור כל לקוח פעיל ולשייך אותו לרמה המתאימה.

כל tenant יכול לכלול דומיין אחד או יותר של הלקוחות ולהקצות ערכי פרמטרים מותאמים אישית כגון Origin Domain ונתיבי מקור. ה-tenant יכול לרשת את תעודת ה-TLS ואת תצורת האבטחה מההפצה רבת המשתמשים שאליה הוא משויך. ניתן גם לצרף תעודה חדשה ספציפית ל-tenant, או לעקוף את תצורת האבטחה של ה-tenant.

בגלל הגידול בצרכים העסקיים של הלקוחות, MyStore יכולה לשדרג לקוחות מרמת Bronze לרמת Silver על ידי העברת ה-tenants המתאימים להפצה רבת משתמשים מתאימה, וכל זאת מבלי לשנות את התצורה של כל אתר לקוח בנפרד.

באמצעות CloudFront SaaS Manager, ניהול אתרי לקוחות מרובים הופך לפשוט יותר, יעיל יותר, ומאובטח יותר.

סיכום

שבוע זה היה גדוש בחידושים משמעותיים מבית AWS שמשפיעים על מגוון רחב של תחומי פיתוח. המודלים החדשים ב-Amazon Bedrock כגון Nova Premier ו-Llama 4 מרחיבים את האפשרויות ליישומי AI גנרטיבי. הדור השני של AWS Outposts מספק אופציות חדשות לחישוב קצה עם דרישות לביצועים גבוהים ו-CloudFront SaaS Manager מציע פתרון חדשני לניהול אספקת תוכן בין דומיינים רבים.

אמשיך לעקוב אחר החדשות מבית AWS ולעדכן אתכם בחידושים המשמעותיים בעולם הפיתוח בענן. בינתיים, אני מזמין אתכם לנסות את השירותים החדשים ולשתף את החוויות שלכם בקהילה.

עוד חדשות AWS – בעמוד ה – News.