เผยแพร่เมื่อวันที่ 14 พฤษภาคม 2024
เมื่อสร้างฟีเจอร์ด้วยโมเดล AI บนเว็บ เรามักจะใช้โซลูชันฝั่งเซิร์ฟเวอร์สำหรับโมเดลขนาดใหญ่ โดยเฉพาะอย่างยิ่งสำหรับ Generative AI ที่ แม้แต่โมเดลขนาดเล็กที่สุดก็มีขนาดใหญ่กว่า ขนาดหน้าเว็บเป็นค่ามัธยฐาน รวมถึงกรณีการใช้งาน AI อื่นๆ ด้วย ซึ่งโมเดลอาจมีได้ตั้งแต่ 10 ถึง 100 วินาที เมกะไบต์
เนื่องจากไม่ได้แชร์โมเดลเหล่านี้ในเว็บไซต์ต่างๆ แต่ละเว็บไซต์จึงต้องดาวน์โหลดโมเดลเหล่านี้เมื่อโหลดหน้าเว็บ นี่คือโซลูชันที่นำไปปฏิบัติได้จริงสำหรับ นักพัฒนาซอฟต์แวร์และผู้ใช้
ในขณะที่ AI ฝั่งเซิร์ฟเวอร์เป็นตัวเลือกที่ดีสำหรับโมเดลขนาดใหญ่ ในอุปกรณ์ และแบบผสม แนวทางต่างก็มีข้อดีที่น่าดึงดูดใจของตัวเอง เพื่อให้สิ่งเหล่านี้ แนวทางที่เป็นไปได้ เราจำเป็นต้องจัดการขนาดของโมเดลและการส่งมอบโมเดล
ซึ่งเป็นเหตุผลที่เราพัฒนา API ของแพลตฟอร์มเว็บและฟีเจอร์เบราว์เซอร์ที่ออกแบบมาเพื่อ ผสานรวมโมเดล AI ซึ่งรวมถึงโมเดลภาษาขนาดใหญ่ (LLM) ลงใน เบราว์เซอร์ ซึ่งรวมถึง Gemini Nano LLM เวอร์ชันที่มีประสิทธิภาพมากที่สุดของ Gemini ซึ่งออกแบบมาสำหรับการทำงานในท้องถิ่น บนคอมพิวเตอร์เดสก์ท็อปและแล็ปท็อปที่ทันสมัยส่วนใหญ่ เมื่อใช้ AI ในตัว เว็บไซต์ของคุณ หรือ เว็บแอปพลิเคชันสามารถทำงานที่ทำงานด้วยระบบ AI ได้โดยไม่จำเป็นต้องจัดการหรือติดตั้งใช้งาน โมเดล AI ของตัวเอง
ค้นพบประโยชน์ของ AI ในตัว แผนการนำไปใช้ และวิธีที่คุณสามารถ ใช้ประโยชน์จากเทคโนโลยีนี้
รับเวอร์ชันตัวอย่างทดลองใช้ก่อนเปิดตัว
เราต้องการความคิดเห็นของคุณเพื่อกำหนดรูปแบบ API, ตรวจสอบว่า API เป็นไปตาม Use Case ของคุณ และแจ้งให้ทราบเกี่ยวกับการพูดคุยกับผู้ให้บริการเบราว์เซอร์รายอื่นๆ เพื่อกำหนดมาตรฐาน
เข้าร่วมโปรแกรมทดลองใช้ก่อนเปิดตัวเพื่อ ความคิดเห็นเกี่ยวกับแนวคิด AI ในตัวในระยะเริ่มต้น และค้นพบโอกาสในการทดสอบ API ที่อยู่ระหว่างดำเนินการผ่านการสร้างต้นแบบในเครื่อง
เข้าร่วมกลุ่มประกาศสาธารณะสำหรับนักพัฒนาซอฟต์แวร์ AI ของ Chrome เพื่อรับการแจ้งเตือนเมื่อมี API ใหม่ให้ใช้งาน
ประโยชน์ของ AI ในตัวสําหรับนักพัฒนาเว็บ
เบราว์เซอร์จะจัดหาและจัดการโมเดลพื้นฐานและโมเดลผู้เชี่ยวชาญด้วย AI ในตัว
AI ในตัวมีข้อดีต่อไปนี้เมื่อเทียบกับ AI ในอุปกรณ์ที่คุณทำได้เอง
- การติดตั้งใช้งานที่ง่ายดาย: เมื่อเบราว์เซอร์กระจายโมเดล ระบบจะต้องดำเนินการ ระบุความสามารถของอุปกรณ์และจัดการการอัปเดตโมเดล ช่วงเวลานี้ หมายความว่าคุณไม่ต้องรับผิดชอบในการ��าวน์โหลดหรืออัปเดตโมเดลขนาดใหญ่ผ่าน เครือข่าย คุณไม่จําเป็นต้องแก้ปัญหาการลบข้อมูลออกจากพื้นที่เก็บข้อมูล งบประมาณหน่วยความจํารันไทม์ ค่าใช้จ่ายในการแสดง และปัญหาอื่นๆ
- การเข้าถึงการเร่งด้วยฮาร์ดแวร์: รันไทม์ AI ของเบราว์เซอร์ได้รับการเพิ่มประสิทธิภาพเพื่อใช้ฮาร์ดแวร์ที่มีอยู่ให้เกิดประโยชน์สูงสุด ไม่ว่าจะเป็น GPU, NPU หรือใช้ CPU แทน ด้วยเหตุนี้ แอปจึงทำงานได้อย่างมีประสิทธิภาพสูงสุดในแต่ละอุปกรณ์
ประโยชน์ของการเรียกใช้บนอุปกรณ์
การใช้แนวทาง AI ในตัวช่วยให้งาน AI บนอุปกรณ์ทำได้ง่ายขึ้น ซึ่งจะทําให้มีข้อดีต่อไปนี้
- การประมวลผลข้อมูลที่ละเอียดอ่อนภายในเครื่อง: AI ในอุปกรณ์ช่วยปรับปรุง เรื่องราวเกี่ยวกับความเป็นส่วนตัว เช่น หากทำงานกับข้อมูลที่ละเอียดอ่อน คุณก็นำเสนอระบบ AI ได้ ฟีเจอร์ให้แก่ผู้ใช้ด้วยการเข้ารหัสจากต้นทางถึงปลายทาง
- ประสบการณ์ของผู้ใช้ที่รวดเร็ว: ในบางกรณี การออกจากจุดรับส่ง ทำให้คุณสามารถนำเสนอผลลัพธ์เกือบจะทันที AI ในอุปกรณ์อาจเป็นความแตกต่างระหว่างฟีเจอร์ที่ใช้งานได้จริงกับประสบการณ์ของผู้ใช้ที่ไม่เป็นไปตามที่ต้องการ
- การเข้าถึง AI มากขึ้น: อุปกรณ์ของผู้ใช้สามารถรับภาระการประมวลผลบางส่วนเพื่อแลกกับสิทธิ์เข้าถึงฟีเจอร์มากขึ้น ตัวอย่างเช่น หากคุณ นำเสนอฟีเจอร์ AI ระดับพรีเมียม คุณสามารถทดลองใช้ฟีเจอร์เหล่านี้ด้วย AI ในอุปกรณ์ เพื่อให้ผู้มีโอกาสเป็นลูกค้าเห็นประโยชน์ของผลิตภัณฑ์ และค่าใช้จ่ายเพิ่มเติม แนวทางแบบผสมผสานนี้ยังช่วยคุณจัดการค่าใช้จ่ายในการอนุมานได้อีกด้วย โดยเฉพาะใน Funnel ของผู้ใช้ที่ใช้บ่อย
- การใช้งาน AI ออฟไลน์: ผู้ใช้จะเข้าถึงฟีเจอร์ AI ได้���ม้ว่าจะไม่ได้เชื่อมต่ออินเทอร์เน็ตก็ตาม ซึ่งหมายความว่าเว็บไซต์และเว็บแอปจะทํางานได้ตามที่คาดไว้แม้ออฟไลน์หรือมีการเชื่อมต่อที่ไม่เสถียร
AI แบบผสม: ฝั่งอุปกรณ์และฝั่งเซิร์ฟเวอร์
แม้ว่า AI ในอุปกรณ์จะสามารถรองรับกรณีการใช้งานที่หลากหลาย แต่ก็มีการใช้งานบางอย่าง ซึ่งต้องมีการสนับสนุนฝั่งเซิร์ฟเวอร์
เช่น คุณอาจต้องใช้โมเดลขนาดใหญ่ขึ้นหรือรองรับแพลตฟอร์มและอุปกรณ์ที่หลากหลายมากขึ้น
คุณอาจพิจารณาใช้แนวทางแบบผสม ทั้งนี้ขึ้นอยู่กับปัจจัยต่อไปนี้
- ความซับซ้อน: กรณีการใช้งานที่เจาะจงและเข้าถึงได้ง่ายจะให้การสนับสนุนได้ง่ายกว่า AI ในอุปกรณ์ สำหรับกรณีการใช้งานที่ซับซ้อน ให้พิจารณาการใช้งานฝั่งเซิร์ฟเวอร์
- ความยืดหยุ่น: ใช้ฝั่งเซิร์ฟเวอร์โดยค่าเริ่มต้น และใช้ในอุปกรณ์เมื่ออุปกรณ์ มีสถานะออฟไลน์หรือการเชื่อมต่อไม่เสถียร
- ทางเลือกสำรองอย่างมีขั้นตอน: การนำเบราว์เซอร์ที่มี AI ในตัวมาใช้งานจะใช้เวลานาน บางรุ่นอาจไม่พร้อมใช้งาน และอุปกรณ์รุ่นเก่าหรือที่มีประสิทธิภาพต่ำกว่าอาจไม่รองรับ เป็นไปตามข้อกำหนดด้านฮาร์ดแวร์เพื่อให้การใช้งานทุกรุ่นมีประสิทธิภาพสูงสุด ข้อเสนอ AI ฝั่งเซิร์ฟเวอร์ ให้กับผู้ใช้เหล่านั้น
สำหรับโมเดล Gemini คุณสามารถใช้การผสานรวมแบ็กเอนด์ (ร่วมกับ Python ไป Node.js หรือ REST) หรือติดตั้งใช้งานใน เว็บแอปพลิเคชันของคุณด้วย SDK ของไคลเอ็นต์ AI ของ Google สำหรับเว็บ
สถาปัตยกรรมเบราว์เซอร์และ API
เราได้สร้างโครงสร้างพื้นฐานเพื่อเข้าถึงรากฐานเพื่อรองรับ AI ในตัวของ Chrome และโมเดลผู้เชี่ยวชาญสำหรับก��ร����เ��������าร���นอุปกรณ์ โครงสร้างพื้นฐานนี้อยู่แล้ว ขับเคลื่อนฟีเจอร์เบราว์เซอร์ใหม่ๆ เช่น ช่วยฉันเขียน และจะขับเคลื่อน API สำหรับ AI ในอุปกรณ์ในเร็วๆ นี้
คุณจะเข้าถึงความสามารถของ AI ในตัวได้โดยใช้ API งานเป็นหลัก เช่น API การแปลภาษาหรือ API การสรุป Task API ออกแบบมาเพื่อเรียกใช้การอนุมานกับโมเดลที่ดีที่สุดสำหรับ งาน
ใน Chrome API เหล่านี้สร้างขึ้นเพื่อเรียกใช้การอนุมานกับ Gemini Nano ด้วยการปรับแต่งแบบละเอียดหรือโมเดลผู้เชี่ยวชาญ Gemini Nano ออกแบบมาเพื่อทำงานแบบออนเครื่องในอุปกรณ์สมัยใหม่ส่วนใหญ่ จึงเหมาะสําหรับกรณีการใช้งานที่เกี่ยวข้องกับภาษา เช่น การสรุป การถอดความใหม่ หรือการจัดหมวดหมู่
นอกจากนี้ เรายังตั้งใจที่จะให้บริการ API สําหรับการสํารวจ เพื่อให้คุณทดสอบในเครื่องและแชร์ Use Case เพิ่มเติมได้
ตัวอย่างเช่น เราอาจให้ข้อมูลต่อไปนี้
- Prompt API: ส่งงานแบบกำหนดเองที่เขียนเป็นภาษาที่เป็นธรรมชาติไปยังโมเดลภาษาขนาดใหญ่ในตัว (Gemini Nano ใน Chrome)
- API การปรับแต่งแบบละเอียด (LoRA): ปรับปรุงประสิทธิภาพของ LLM ในตัวในงานโดยการปรับน้ำหนักของโมเดลด้วยการปรับแต่งแบบละเอียดการปรับให้เข้ากับลําดับชั้นต่ำ
กรณีที่ควรใช้ AI ในตัว
ประโยชน์ที่ AI ในตัวอาจมอบให้คุณและผู้ใช้มีดังนี้
- การบริโภคเนื้อหาที่ปรับปรุงโดย AI: ซึ่งรวมถึงการสรุป การแปล การตอบคําถามเกี่ยวกับเนื้อหาบางรายการ การจัดหมวดหมู่ และการจัดประเภท
- การสร้างเนื้อหาที่ AI รองรับ เช่น ความช่วยเหลือด้านการเขียน การพิสูจน์อักษร การแก้ไขไวยากรณ์ และการปรับแก้ข้อความ
ขั้นตอนถัดไป
เข้าร่วมโปรแกรมทดลองใช้ก่อนเปิดตัวเพื่อทดลองใช้ AI API ในตัวระยะเริ่มต้น
ในระหว่างนี้ คุณสามารถดูวิธีใช้ Gemini Pro ในเซิร์ฟเวอร์ของ Google กับเว็บไซต์และเว็บแอปของคุณได้ในคู่มือเริ่มต้นใช้งาน Google AI JavaScript SDK