โดยปกตินั้น Airflow จะทำการ run DAG ใน code ล่าสุดเสมอ ทำให้เกิดปัญหาบางอย่างขึ้นมา คือ ในขณะที่ DAG กำลัง run อยู่นั้น มีการเปลี่ยนแปลงขึ้นมา มักจะทำให้เกิดปัญหา หรือ ผลทำงานไม่เป็นไปตามที่คาดหวัง หรือไม่รู้เลยว่า การ run แต่ละครั้งใช้ code version ไหนบ้าง ดังนั้นเรื่องของ DAG versioning เป็นการเปลี่ยนแปลงที่น่าสนใจมาก ๆ
เพื่อปรับ response time ให้รวดเร็วมากขึ้น ลด load ต่าง ๆ ที่เข้ามาในระบบ เช่น
Web browser caching
CDN caching
Application-level caching
Database query caching
จะจัดการเรื่อง caching ได้ดี จำเป็นต้องเข้าใจการใช้งานข้อมูล (Read vs Write) การออกแบบ data model ที่เหมาะสมต่อการใช้งาน อย่าลืมว่า caching มันคือ การสร้าง duplication data ขึ้นมานะ !!
ต่อมาในส่วนของ Database ก็ต้อง scale ด้วย
เช่นการทำ replica เพื่อรองรับการ read ที่มากขึ้น แต่ระวังเรื่อง lag time ระหว่างการ write ที่ primary กับการ read ที่ replica ด้วย
ยังไม่พอเรื่องของ data model ที่ใช้งาน ต้องมองทั้งการ read และ write บ่อยครั้งพบว่า เรามักจะออกแบบ model เดียวแล้วใช้ทั้ง read และ write ซึ่งอาจจะไม่เหมาะสมนัก จึงต้องปรับปรุงเรื่องนี้ เพื่อลดการ read หรือ query ที่หนักเกินไป เพราะว่าจะใช้งาน CPU และ memory ของ database มากเกินไป จากนัั้นก็จะกระทบต่อ operation อื่น ๆ ในเรื่องนี้อาจจะเรียกว่าการทำ
เพิ่งเห็นว่า model DeepSeek-R1 มีใน Ollama แล้ว เลยลองติดตั้งและใช้งานกันหน่อย ซึ่ง Ollama ช่วยให้เราใช้งาน AI บนเครื่องของเราได้ model นี้มีให้เลือกหลาย version ตามการใช้งาน เป็น reasoning model ที่มีความสามารถด้าน
logical analysis
mathematical
programming assistance
ดังนั้นจึงสามารถนำมาประยุกต์ใช้งานได้หลากหลาย use case มาทำการติดตั้งและใช้งานกันนิดหน่อย
ซึ่งมีทั้ง unit test และ integration test สามารถทดสอบได้ตามที่ต้องการ หรือ ตามความสามารถ แต่หัวใจของการทดสอบต้อง
สร้างความเชื่อมั่นให้เรา ทีม และ product
สามารถทดสอบซ้ำได้ ทั้งบนเครื่อง และ CI/CD server
ดังนั้นจึงเลือกวิธีการสร้าง database server ขึ้นมาด้วย container (Docker) แต่ให้ทำการสร้าง container ในการ test ด้วย TestContainer for Go ไปเลย ยังไม่พอ ให้ทำการสร้าง table และ data for test ตาม test case ที่กำหนดไว้
คำถามจากการแบ่งปันเรื่อง AI for software development นั้น สอบถามเกี่ยวกับการสร้าง Local LLMs server เพื่อใช้งานในองค์กร เพื่อจัดการในแง่ของ privacy และ การทดสอบ ว่ามีแนวทางอย่างไรบ้าง ?