ทาง Google Chrome ได้ปล่อย Build-in AI API ออกมาให้ลองใช้งาน
ซึ่งมาพร้อมกับ Google Chrome Canary นั่นเอง
โดยจะมี API ต่าง ๆ ดังนี้
- Prompt API
- Summarize API
- Writer API
- Rewrite API
- Translate API
ในการทำงานจะใช้งาน Gemini Namo model
ที่สร้างมาสำหรับ device ขนาดเล็ก และ บน browser แสดงดังรูป
จากรูปจะเห็นได้ว่าทำการ download model = Gemini Nano มาลงใน browser กันไปเลย
เป้าหมายเพื่อ
- ช่วยให้นักพัฒนาง่ายต่อการพัฒนา ลดการใช้งาน resource ต่าง ๆ ลงไป
- สามารถใช้ได้ทั้ง GPU, NPU หรือกลับมาทำงานบน CPU ก็ได้ ตามแต่ละเครื่อง
- มีการทำงานแบบ local ดังนั้นเรื่องของ data privacy จึงลดลงไป
- รวมทั้งใช้งานแบบ offline ได้อีกด้วย
การใช้งานก็ไม่ยากมากนัก
เริ่มด้วยการ Download Google Chrome Canary
จากนั้นทำการ enable ดังนี้
- ไปที่ Chrome จากนั้นเข้าไปที่ chrome://flags/#optimization-guide-on-device-model
- ทำการเปิด Enabled BypassPerfRequirement
- จากนั้นทำการเปิดใช้งาน API ต่าง ๆ เช่น Prompt API => chrome://flags/#prompt-api-for-gemini-nano
เมื่อทึกอย่างพร้อมเริ่มใช้งานกันแบบง่าย ๆ
เข้าไปที่ Dev Tools ทำการตรวจสอบด้วย code ดังนี้ใน Console
จากนั้นลองใช้งาน Prompt API
[gist id="f028934118470aff34179fe143055535" file="2.txt"]ลองเล่นกันดูครับ น่าสนใจมาก ๆ
คำแนะนำสำหรับ Gemini Nano ใน browser
- สามารถใส่ context, persona และ rule ต่าง ๆ เพื่อปรับปรุง output ออกมาตามที่ต้องการ
- สิ่งที่ควรระวังในการใช้งาน เช่น การถามแบบใช่หรือไม่ใช่ เนื่องจากเป็น model ขนาดเล็กไม่มีความรู้มาก และจำเป็นต้องมีการ interact กับ user เสมอ รวมทั้งการปรับปรุง parameter ต่าง ๆ เช่น temperature และ topK แนะนำให้ใช้ค่า default ไปก่อน
- ลองเล่น Prompt API Playground ก่อนได้
- เน้นย้ำว่าใช้งานบน Google Chrome Canary นะครับ
Reference website