תאריך פרסום: 14 במאי 2024
כשאנחנו יוצרים תכונות עם מודלים של AI באינטרנט, אנחנו לרוב מסתמכים על פתרונות בצד השרת למודלים גדולים יותר. זה נכון במיוחד לגבי AI גנרטיבי, שבו גם המודלים הקטנים ביותר גדולים פי אלף מהגודל החציוני של דף אינטרנט. זה נכון גם לתרחישים אחרים לדוגמה שמבוססים על AI, שבהם יכולים להיות מודלים של 10 שניות עד 100 שניות של מגה-בייט.
מאחר שהמודלים האלה לא משותפים בין אתרים, שכל אתר צריך להוריד אותם בעת טעינת הדף. זהו פתרון לא מעשי למפתחים ולמשתמשים
אומנם AI בצד השרת הוא אפשרות מצוינת למודלים גדולים, למכשירים ולמערכות היברידיות לגישות יש יתרונות משכנעים משלהן. כדי לגרום להם קיימות, אנחנו צריכים להתייחס לגודל המודל ולאופן שבו המודל מוצג.
לכן אנחנו מפתחים ממשקי API לפלטפורמות אינטרנט ותכונות דפדפן, לשלב מודלים של בינה מלאכותית, כולל מודלים גדולים של שפה (LLM), ישירות בדפדפן. המידע הזה כולל Gemini Nano, את הגרסה היעילה ביותר של משפחת המודלים מסוג LLM של Gemini, שמיועדת לפעול באופן מקומי ברוב המחשבים הניידים והמחשבים המודרניים. בעזרת AI מובנה, האתר או אפליקציית האינטרנט שלכ�� יכולים לבצע משימות מבוססות-AI בלי שתצטרכו לפרוס או לנהל מודלים משלכם של AI.
היתרונות של AI מובנה, תוכנית ההטמעה שלנו ואיך אפשר לנצל את הטכנולוגיה הזאת.
הצצה מוקדמת
אנחנו זקוקים למשוב שלכם כדי לעצב את ממשקי ה-API, לוודא שהם עומדים בדרישות של התרחישים לדוגמה שלכם ולעדכן את הדיונים שלנו עם ספקי דפדפנים אחרים לגבי סטנדרטיזציה.
כדאי להצטרף לתוכנית טרום-ההשקה (Preview) כדי לספק משוב על רעיונות מובנים ב-AI בשלב מוקדם, והזדמנויות לבדוק בתהליך של יצירת אב טיפוס באמצעות אב טיפוס מקומי.
מצטרפים לקבוצת ההודעות הציבוריות למפתחי AI ב-Chrome כדי שנעדכן אותך כשממשקי API חדשים יהיו זמינים.
היתרונות של AI מובנה למפתחי אתרים
בעזרת AI מובנה, הדפדפן מספק ומנהל מודלים של בסיס ומודלים של מומחים.
בהשוואה לבינה מלאכותית גנרטיבית במכשיר, היא מאפשרת היתרונות הבאים:
- קלות הפריסה: כשהדפדפן מפרסם את המודלים, הוא מתייחס ליכולות של המכשיר ומנהל את העדכונים של המודל. הזה פירושו שאתם לא אחראים להורדה או לעדכון של מודלים גדולים באמצעות עמוקה מאוד, אתם לא צריכים לפתור בעיות של פינוי מקום באחסון, תקציב זיכרון בסביבת זמן ריצה, עלויות הצגה ואתגרים אחרים.
- גישה לשיפור המהירות באמצעות חומרה: זמן הריצה של ה-AI בדפדפן עבר אופטימיזציה מפיקים את המרב מהחומרה הזמינה, בין אם זה GPU, NPU או למעבד (CPU). כתוצאה מכך, האפליקציה שלך יכולה להניב את הביצועים הטובים ביותר בכל אחת מהפלטפורמות במכשיר.
יתרונות של ריצה במכשיר
כשמשתמשים בגישה של AI מובנה, קל מאוד לבצע משימות AI במכשיר, וכתוצאה מכך יש יתרונות משמעותיים:
- עיבוד מקומי של מידע אישי רגיש: AI במכשיר יכול לשפר את הפרטיות שלכם. לדוגמה, אם אתם עובדים עם מידע אישי רגיש, תוכלו ל��צ��ע למ��תמשים ��ם הצפנה מקצה לקצה.
- חוויית משתמש מהירה: במקרים מסוימים, אם משמיטים את הנסיעה הלוך ושוב לשרת, אפשר להציע תוצאות כמעט מיידיות. הבינה המלאכותית במכשיר יכולה להיות ההבדל בין תכונה מעשית לחוויית משתמש לא אופטימלית.
- גישה רחבה יותר ל-AI: המכשירים של המשתמשים יכולים לשאת חלק מעומס העיבוד בתמורה לגישה רחבה יותר לתכונות. לדוגמה, אם מציעים תכונות פרימיום מבוססות-AI, אפשר לראות את התכונות האלה בתצוגה מקדימה באמצעות ה-AI במכשיר כדי שלקוחות פוטנציאליים יוכלו לראות את היתרונות של המוצר, עלות נוספת עבורך. הגישה ההיברידית הזו יכולה גם לעזור לכם לנהל מסקנות עלויות, במיוחד לגבי תהליכי המשתמש שמשתמשים בהם לעתים קרובות.
- שימוש ב-AI אופליין: המשתמשים שלכם יכולים לגשת לתכונות מבוססות-AI גם אם אין חיבור לאינטרנט. המשמעות היא שהאתרים ואפליקציות האינטרנט יכולים לפעול כצפוי אופליין או עם קישוריות משתנה.
AI היברידי: במכשיר ובצד השרת
AI במכשיר יכול לטפל במגוון רחב של תרחישים לדוגמה, אבל יש תרחישים מסוימים שדורשים תמיכה בצד השרת.
לדוגמה, ייתכן שתצטרכו להשתמש בדגמים גדולים יותר, או לתמוך במגוון רחב יותר של פלטפורמות ומכשירים.
לשקול גישות היברידיות התלויות ב:
- מורכבות: קל יותר לתמוך בתרחישי שימוש ספציפיים ופשוטים באמצעות AI במכשיר. בתרחישים מורכבים לדוגמה, כדאי לבצע את ההטמעה בצד השרת.
- עמידות: שימוש בצד השרת כברירת מחדל, ושימוש במכשיר כשהמכשיר כשאין חיבור לאינטרנט או אם החיבור לא יציב.
- מעבר חלק לחלופה: תהליך ההטמעה של דפדפנים עם AI מובנה ייקח זמן, יכול להיות שחלק מהמודלים לא יהיו זמינים, ומכשירים ישנים או חלשים יותר עשויים לא לעמוד בדרישות החומרה להפעלה אופטימלית של כל המודלים. מבצע בצד השרת עבור המשתמשים האלה.
במודלים של Gemini, אפשר להשתמש בשילוב לקצה העורפי (עם Python, Go, Node.js או REST) או להטמיע באפליקציית האינטרנט באמצעות Google AI client SDK for Web החדש.
א��כיטקטורה וממשקי API לדפדפנים
כדי לתמוך ב-AI מובנה ב-Chrome, יצרנו תשתית לגישה למודלים בסיסיים ולמודלים של מומחים להרצה במכשיר. התשתית הזו כבר מאפשרת להשתמש בתכונות חדשניות בדפדפן, כמו עזרה בכתיבה, ובקרוב היא תאפשר להשתמש בממשקי API ל-AI במכשיר.
הגישה ליכולות ה-AI המובנות מתבצעת בעיקר באמצעות ממשקי API למשימות, כמו ממשק API לתרגום או ממשק API לסיכום. ממשקי ה-API למשימות מיועדים להריץ הסקת מסקנות לפי המודל הטוב ביותר מטלות.
ב-Chrome, ממשקי ה-API האלה מיועדים להריץ מסקנות מול Gemini Nano עם של כוונון עדין או שימוש במודל מומחה. Gemini Nano תוכנן לפעול באופן מקומי ברוב המכשירים המודרניים, והוא מתאים במיוחד לתרחישי שימוש שקשורים לשפה, כמו סיכום, ניסוח מחדש או סיווג.
בנוסף, אנחנו מתכוונים לספק ממשקי API לניסוי, כדי שתוכלו להתנסות באופן מקומי ולשתף תרחישים לדוגמה נוספים.
לדוגמה, אנחנו יכולים לספק:
- Prompt API: שליחת משימה שרירותית, שמנוסחת בשפה טבעית, למודל הגדול המובנה של השפה (Gemini Nano ב-Chrome).
- API לכוונון (LoRA): שיפור הביצועים של ה-LLM המובנה במשימה באמצעות התאמת המשקולות של המודל התאמה לדירוג נמוך של כוונון עדין.
מתי כדאי להשתמש ב-AI מובנה
ריכזנו כאן כמה דרכים שבהן אנחנו צופים שבינה מלאכותית מובנית יכולה להועיל לכם ולמשתמשים שלכם:
- צריכת תוכן משופרת באמצעות AI: כולל סיכום, תרגום, מענה על שאלות לגבי תכנים מסוימים, סיווגים ומאפיינים.
- יצירת תוכן עם תמיכה ב-AI: למשל עזרה בכתיבה, הגהה, תיקון דקדוקי וניסוח אוטומטי.
המאמרים הבאים
אפשר להצטרף לתוכנית טרום-השקה (Preview) כדי להתנסות בממשקי API מובנים של AI בשלב מוקדם.
בינתיים, תוכלו לקרוא את מדריך המתחילים ל-Google AI JavaScript SDK כדי ללמוד איך להשתמש ב-Gemini Pro בשרתים של Google עם האתרים ואפליקציות האינטרנט שלכם.