เห็นว่า WasmeEdge นั้นสนับสนุน opensource LLM แล้ว (เป็นภาษา Rust)
ชื่อ project คือ LlamaEdge
ซึ่งช่วยให้ง่าย และ ทำงานรวดเร็วมาก ๆ ทั้งการ run และ fine tune mode บน local นั่นเอง
มาลองใช้งานกันดู
เริ่มที่เป้าหมายของ LlamaEdge
- program จะมีขนาดเล็ก เป็น MB ซึ่งมีการเปรียบเทียบกับ Python และ Go ด้วยนะ
- สนับสนุนการทำงานบน hardware ต่าง ๆ รวมทั้งเน้นเรื่องของ performance ที่สูง
- สนับสนุน LLM model ต่าง ๆ ซึ่งดู model ได้ หรือที่ Hugging Face ก็ได้
มาลองติดตั้งและใช้งาน LLM บน local ดีกว่า
[gist id="092bfb8ade545b3b3d2e5a2cf9724c71" file="1.txt"]เพียงเท่านี้ก็สามารถใช้งาน Local LLM ได้แล้ว
โดยที่ยังมี API server ให้อีกด้วย มีทั้ง HTTP และ WebSocket
ซึ่งจะ compatibility กับ OpenAI API ดังนั้นการปรับเปลี่ยนจึงสะดวกยิ่งขึ้น
มาลอง Start API Server กัน
[gist id="092bfb8ade545b3b3d2e5a2cf9724c71" file="2.txt"]จากนั้นก็ลองเขียน code ใช้งานผ่าน openai library กัน
[gist id="092bfb8ade545b3b3d2e5a2cf9724c71" file="hello.py"]เพียงเท่านี้ก็ใช้งานได้แล้ว
ลองใช้งานกันดูครับ
