หลังจากที่ Kafka 3.8 ปล่อยมาให้ใช้งานนั้น
มี JBOD (Just a Bunch Of Disks) ซึ่งสนับสนุน KRaft-based cluster นั้น
เปลี่ยนสถานะมาเป็น production mode แล้ว
ทำให้สามารถแยก log ของแต่ละ broker ออกจากกันได้แล้ว
ไม่ต้องเก็บ log ไว้ที่เดียวกันอีกต่อไป
และยังแยก storage ให้เหมาะกับแต่ละ broker ในแต่ละเครื่องได้อีกด้วย
รวมไปถึงเรื่องของการ compress level ข้อมูลแยกตาม
Broker, producer และ topic ได้
ซึ่งจะมี gzip, lz4, และ zstd codec ให้ใช้งาน
ส่วน snappy codec นั้น deprecated ไปแล้ว
ส่วน feature ที่น่าสนใจอื่น ๆ ประกอบไปด้วย
- ZooKeeper ถูก deprecate ตั้งแต่ Kafka 3.5 และจะถูกเอาออกไปใน version 4.0
- Kafka 3.6 นั้นให้ KRaft-based cluster เป็น production mode แล้ว
- มี Docker image แบบ official ให้แล้ว มีทั้ง JVM-based และ GraallVM หรือ native ให้ใช้งาน มีทั้งแบบแยกหรือรวม controller กับ broker ให้เลือก
กับเรื่องของ Consumer Rebalance Protocol (CRP) ตัวใหม่
ที่พยายามลดความซับซ้อน และผลกระทบต่อ consumer จากการเปลี่ยนแปลง rebalance algorithm อีกด้วย
เข้าสูสถานะ preview แล้ว ไว้รอทดสอบกันดู
ทำการ update cluster กันครับ
Reference Websites