สรุปแนวโน้มที่น่าสนใจการจัดการข้อมูลในปี 2017 จาก Oreilly

ข้อมูลจาก Data community ของ Oreilly ทำการสรุปแนวโน้มในปี 2017 ออกมาได้อย่างน่าสนใจ ทั้งเรื่องของ Data scientist ทั้งเรื่องของ Data engineering ทั้งเรื่องของ Data stroage ทั้งเรื่องของเครื่องมือต่าง ๆ จึงทำการแปลและสรุปไว้นิดหน่อยดังนี้

1. Data scientist เริ่มนำ Deep learning มาใช้กันมากขึ้น

ในปี 2016 นั้นเทคโนโลยีที่เกี่ยวกับ Deep learning พัฒนาไปอย่างมาก ตลอดจนบริษัทต่าง ๆ ได้ออกเครื่องมือเกี่ยวกับ Deep learning ออกมามากขึ้น ทำให้การเรียนรู้และการใช้งานง่ายมากขึ้น แน่นอนว่า เครื่องมือต่าง ๆ เหล่านี้ ต้องสามารถ integrate เข้ากับพวก Big data tools และ framework ได้เป็นอย่างดี ดังนั้นจะสอดคล้องกับเรื่องข้อมูลพวก time serie, event based ที่มาจากอุปกรณ์ IoT และ sensor ต่าง ๆ ที่มีจำนวนมากขึ้น ยิ่งนำ Deep learning มาช่วยจะก่อให้เกิดประโยชน์ขึ้นมากมาย

ดังนั้นในปี 2017 นั้นเรื่อง Deep learning คงเป็นสิ่งที่ Data scientist ทุกคนพลาดไม่ได้เลย

2. Data engineering จะมีความต้องการสูงอย่างมาก

ยิ่ง Data scientist เป็นงานที่มีความต้องการสูงแล้ว ยิ่งทำให้เกิดช่องหว่างหนึ่งในองค์กรขึ้นมา นั่นคือ Data scientist ที่สามารถเขียน code ได้ Data scientist ที่สามารถแก้ไข code ได้ นั่นคือ Data engineering นั่นเอง Data scientist ที่ว่ายากแล้ว Data engineering นี่ยากกว่า ดังนั้น developer ที่ต้องการความท้าทายแนะนำเป็นอย่างยิ่ง

3. บริษัทต่าง ๆ เริ่มนำ service ไปอยู่บนระบบ Cloud มากขึ้น

จากรายงานของ Oreilly พบว่า บริษัทที่มีการทดลองนำ service ไปอยู่บนระบบ cloud แล้ว ส่วนใหญ่จะนำ service อื่น ๆ ขึ้นไปด้วย และจะเพิ่มขึ้นอีก ขึ้นอีกไปเรื่อย ๆ เนื่องจากในปัจจุบันมี service ต่าง ๆ บนระบบ cloud ให้ใช้มากมาย ตั้งแต่การจัดเก็บข้อมูล การประมวลผลข้อมูล การวิเคราะห์ข้อมูล การแสดงผลข้อมูลในรูปแบบสวยงาม รวมไปถึงการทำนายข้อมูลต่าง ๆ ทำให้ผู้ใช้งานไม่ต้องสนใจเครื่องมือเลย สนใจเฉพาะ business เท่านั้น ทำให้ระบบต่าง ๆ ที่อยู่บน cloud ได้รับความนิยมมากขึ้นเป็นอย่างมาก

4. แต่อย่าลืมว่า ข้อมูลบางอย่างมันก็เอาขึ้น public cloud ได้นะ !!

เช่น Legacy system, sensitive data และ security รวมไปถึง privacy issue ต่าง ๆ ดังนั้นสิ่งที่เกิดขึ้นคือ การ mix หรือรวมกันระหว่างระบบปกติกับ public cloud หรือกลายเป็น hybrid application นั่นเอง หรือบางครั้งต้องใช้งาน private cloud จาก cloud provider ต่าง ๆ ดังนั้นองค์กรต่าง ๆ จำเป็นจะต้องมี solution architect ที่มีความเข้าใจกับเรื่องต่าง ๆ เหล่านี้ ปล. ถ้ายังไม่เคยใชงานระบบ cloud เลยก็จะลำบากมาก ๆ นะ สำหรับ solution architect !!

5. มีเครื่องมือต่าง ๆ ขึ้นมา ซึ่งทำให้งานที่ยากกลายเป็นเรื่องที่ง่ายขึ้นมาก ๆ

เครื่องมือสมัยใหม่นั้นมีทุกอย่างให้ครบ เพียงแค่ใส่ข้อมูลที่ถูกต้องเข้าไปให้ บางตัวผู้ใช้งานไม่จำเป็นต้องรู้การเขียน code ก็ใช้ได้ บางตัวผู้ใช้งานไม่จำเป็นต้องเชี่ยวชาญเรื่องของสถิติก็ใช้งานได้ ตัวอย่างเช่น

• Amazon Machine Learning
• Google Cloud Platform
• Microsoft Azure

6. แยกส่วนการทำงานระหว่าง Data Storage และ Data computation ออกจากกันอย่างชัดเจน

เนื่องจากแต่ละส่วนมีการทำงานและความต้องการต่างกันไป จะรวมเข้าไว้ด้วยกันคงไม่ดีอย่างแน่นอน

7. พวก Notebooks และ workflow tool ต่าง ๆ ยังคงถูกพัฒนาต่อไป

ตัวอย่างที่เห็นได้ชัดคือ Jupyter notebook เป็นสิ่งที่ Data scientist นิยมใช้กันอย่างมาก เนื่องจากมีทุกสิ่งอย่างที่จำเป็นต่อการใช้งาน แถมใช้งานง่ายอีกต่างหาก ตั้งแต่แบ่งปันเอกสารการใช้งาน source code สูตรต่าง ๆ แสดง Visualization และผลสรุปต่าง ๆ ซึ่งมีประโยชน์ต่อทีมอย่างมาก แน่นอนว่ายังมีเครื่องมืออื่น ๆ มาใช้งานอีก เช่น Beaker notebook ซึ่งสนับสนุนภาษาโปรแกรมจำนวนมาก แต่สิ่งหนึ่งที่ notebooks ต่าง ๆ จะต้องมีคือ การเชื่อมต่อหรือทำงานร่วมกับ Spark แต่ใช่ว่าทุกคนจะใช้ notebooks นะ เพราะว่างานบางอย่างที่ซับซ้อนก็ใช้ไม่ได้เช่นกัน หรือ Data Engineering อาจจะต้องใช้เครื่องมือเหมือนกับ developer ก็ได้ แต่โดยรวมแล้วพวก notebooks และ workflow tool ต่าง ๆ จะยังคงพัฒนาต่อไปอีก ทั้งจากเรื่องของ Deep learning รวมทั้งกับเทคนิคและวิธีการใหม่ ๆ ที่เกิดขึ้นมาเยอะเหลือเกิน

สุดท้ายแล้วเรื่องของ Privacy และ Ethic (จริยธรรมหรือจรรยาบรรณ) ของการนำข้อมูลไปใช้งาน

ยังคงเป็นเรื่องที่ยังต้องถกเถียงเพื่อหาแนวทางที่ดี เพราะว่าทุกอย่างมันเริ่มเยอะและซับซ้อน ทั้งข้อมูลมีจำนวนมากมาย ทั้งข้อมูลมีความหลากหลาย ทั้ง algorithm มีความซับซ้อนซ่อนเงื่อน ดังนั้นเรื่องของ transparency มันจึงเป็นเรื่องที่ยากมาก ๆ เช่นถ้าเรามีความเอนเอียงต่อการทดสอบแล้ว มันจะส่งผลกระทบต่อผลการวิเคราะห์ด้วยเสมอ

คำถามที่น่าในใจคือ แล้วในประเทศไทยละ ?