จัดการเรื่อง การเปลี่ยนแปลง schema ของ Data model ด้วย Apache Avro

ปัญหาหนึ่งที่มักเจอมาก ๆ ในการพัฒนาระบบงานคือ
การเปลี่ยนแปลง schema หรือ โครงสร้างของข้อมูลที่ใช้แลกเปลี่ยนกัน
ทำให้เกิดปัญหาเรื่อง compatibility ของข้อมูล
บ่อยครั้งจะเกิด breaking change จากที่ตั้งใจหรือไม่ตั้งใจก็ตาม
โดยเครื่องมือที่ได้รับความนิยมในการจัดการเรื่องนี้คือ Apache Avro
ปล. ใครที่ใช้งาน Apache Kafka น่าจะรู้จักเป็นอย่างดี

จาก Schema registry ของ Confluent จะมี compatibility types ต่าง ๆ ของ schema ดังนี้

• BACKWARD
• BACKWARD_TRANSITIVE
• FORWARD
• FORWARD_TRANSITIVE
• FULL
• FULL_TRANSITIVE
• NONE

มาลองใช้งาน Apache Avro ในการจัดการจาก use case นี้กันดู

เริ่มต้นด้วย data model ของ Employee

เปลี่ยนจาก version 1 มาเป็น version 2 ดังนี้

โดยทำการออกแบบในรูปแบบของ Avro IDL (Interface Description Language)
ช่วยให้ออกแบบและเขียนตามการ coding ของภาษาต่าง ๆ ได้ง่ายนั่นเอง
รวมทั้งไม่ถนัดออกแบบในรูปแบบของ Avro Schema ที่เป็น JSON !!

[gist id="6cef092ca436abefbd301a732b1ccc4d" file="1.md"]

เราสามารถทำการ generate file ของ Avro Schema ที่มีรูปแบบ JSON ได้ด้วย Avro tool

ตัวอย่างการใช้งาน Avro tool 1.10

[gist id="6cef092ca436abefbd301a732b1ccc4d" file="2.md"]

จากนั้นทำการตรวจสอบหรือ validate ว่า schema ที่เราต้องการมัน compatible กันหรือไม่

ซึ่งตอบได้เลยว่า ไม่แน่นอน มี braking change เพียบ
ดังนั้นในการใช้งาน จะต้องมีขั้นตอนการเปลี่ยนแปลงเข้ามา
ยกตัวอย่างเช่น

• ถ้ามีการ remove field ควรกำหนดค่า default ให้ด้วย และเป็นค่าที่แจ้งว่าจะยกเลิก เช่น DEPRECATED เป็นต้น เพื่อให้ backward compatibility
• ถ้าเพิ่ม field เข้ามา ก็ต้องกำหนดค่า default เช่นกัน เพื่อให้ forward compatibility

จากตัวอย่างจะพบว่า
ต้องทำการเปลี่ยนจาก name ที่มีค่าเป็น string
มาเป็น name ที่มีชนิดเป็น record
หรือข้อมูลที่ประกอบไปด้วย firstname และ lastname
มันคือ การ ลบและเพิ่ม field นั่นเอง

ดังนั้นถ้าเราต้องการให้ Forward transitive แบบสวย ๆ จะได้

[gist id="6cef092ca436abefbd301a732b1ccc4d" file="3.md"]

แต่เมื่อทำการแปลงมาเป็น Avro Schema ด้วย avro-tool 1.10 แล้วไม่ผ่าน !!

เจอ error แถมไปเจอว่าอยู่ใน PR 1562

[gist id="6cef092ca436abefbd301a732b1ccc4d" file="5.txt"]

สิ่งที่ต้องทำคือ ทำการ clone code จาก PR ดังกล่าวมา build เอง
จะได้เป็น version 1.12 ซึ่งแก้ไขแล้วนั่นเอง
ส่วน official ยังไม่มีนะ
ชีวิตจะเศร้า ๆ หน่อย

[code] $git clone https://github.com/apache/avro.git $git fetch origin pull/1562/head$git checkout -b pullrequest FETCH_HEAD $mvn package [/code]

จากนั้นทำการ validate ง่าย ๆ ด้วยการเขียน test

หรือจะให้ง่ายขึ้นไปอีกด้วยการใช้งานผ่าน Avro Cli ไปก็ได้

[gist id="6cef092ca436abefbd301a732b1ccc4d" file="4.md"]

จะเห็นว่า PASS คือ compatibility นั่นเอง
เพียงเท่านี้ก็ได้แนวทางของการตรวจสอบ Compatibility ของ Schema แบบง่าย ๆ แล้ว