แนวโน้ม Big Data ในปี 2016 ที่ส่งผลกระทบต่อสถาบันการเงิน

big-data_0เมื่อ Big Data กลายร่างจากโครงการที่ฝ่าย IT เป็นผู้ผลักดัน มาเป็นโซลูชั่นที่จะช่วยผลักดันธุรกิจของทั้งองค์กร หน่วยงานในภาคธุรกิจต่างๆ ก็รีบปรับตัวมาใช้เทคโนโลยีนี้อย่างจริงจัง และนี่คือแนวโน้มที่จะส่งผลกระทบต่อสถาบันการเงินต่างๆ

  • ตัวอย่างความสำเร็จที่เห็นได้ชัดเจนมากขึ้นเรื่อยๆ
    จากเดิมที่ IT เป็นผู้นำเอาเครื่องมือหรือเทคโนโลยีเข้ามา เป็นแค่ a solution looking for a problem to solve ก็เริ่มมีหน่วยงานที่ประสบความสำเร็จในการสร้างโซลูชั่นเพื่อแก้ปัญหาทางธุรกิจด้วยข้อมูล โดยเห็นตัวอย่างได้ชัดเจนจากสองด้าน
    ด้านแรกคืองานด้านการกำกับดูแลอย่าง compliance, regularatory risk reporting, cyber security หรือ trade surveillance ส่วนที่สองคือด้านการสร้างรายได้จากการเรียนรู้และเข้าใจลูกค้ารอบด้านมากขึ้น

  • Smart (Semantic) Data Lake
    ปัญหาข้อมูลกระจัดกระจายในองค์กรเป็นหนึ่งในสถานการณ์ที่พบได้ในทุกองค์กร แนวคิด Data Lake คือการเป็นแหล่งรวมข้อมูลทั้งหมดในองค์กร โดยเก็บไว้ในรูปแบบดั้งเดิมและมีค่าใช้จ่ายต่ำ แต่ Data Lake ก็ยังมีข้อจำกัดในเรื่องของการธรรมาภิบาลข้อมูล (Data Governance – Link) การทำแคตาล็อกข้อมูล และการเชื่อมโยงข้อมูลเข้าด้วยกัน ทำให้ใช้ประโยชน์ไม่ได้เต็มที่นักเทคโนโลยีที่น่าจะเข้ามาช่วยแก้ปัญหานี้ได้เรียกว่า Smart (Semantic) Data Lake (SDL) เป็นการกำหนด “ไวยากรณ์” หรือโครงร่างที่สามารถอธิบายข้อมูลต่างๆ ใน Data Lake ได้ มีการพัฒนา semantic ที่เป็นมาตรฐานเปิด และที่สำคัญคือ หากมีการนำเอาโมเดลเฉพาะธุรกิจการเงิน อย่าง Financial Industry Business Ontology (FIBO) มาใช้ร่วมกับ SDL ก็จะกลายเป็นเครื่องมือที่ทรงพลังในการที่สถาบันการเงินต่างๆ จะใช้ประโยชน์จากข้อมูลที่มีอยู่ได้
  • Democratization of Data Access
    สิ่งที่จะเกิดตามมาอันเนื่องจาก Smart Data Lake ก็คือการเข้าถึงข้อมูลได้ง่ายขึ้น จากบุคลากรภายในองค์กร จากที่เดิมการเข้าถึงและเข้าใจข้อมูลเคยถูกจำกัดอยู่ในวงแคบๆ แค่เจ้าหน้าที่ IT หรือกลุ่ม data scientists ที่สามารถเขียนโปรแกรมดึงข้อมูลมาได้ แต่หาก SDL ใช้ไวยากรณ์ที่เป็นที่เข้าใจกันในวงการ ก็ทำให้บุคลากรอีกเป็นจำนวนมากไม่ว่าจะเป็น analysts, planner หรือแม้แต่ผู้บริหารระดับกลาง ก็จะสามารถสืบค้นข้อมูลและทำการวิเคราะห์ข้อมูลตามความต้องการของตัวเองได้ง่ายมากขึ้น
  • การใช้งาน Big Data Solution ที่เพิ่มมากขึ้นในองค์กรขนาดกลาง
    จากความใหม่และความซับซ้อนของเทคโนโลยี ทำให้ที่ผ่านมา มีแต่หน่วยงานขนาดใหญ่เท่านั้นที่ลงทุนนำ Big Data มาใช้งาน อย่างไรก็ตาม เมื่อ cloud computing ราคาถูกลง เข้าถึงได้ง่ายขึ้น รวมกับเครื่องมือและโซลูชั่นสำเร็จรูปทำให้กำแพงที่เคยขวางกั้นหน่วยงานขนาดกลาง ลดระดับลง เราจะได้เห็นองค์กรในขนาดต่างๆ เริ่มนำเทคโนโลยีใหม่ๆ มาใช้อย่างกว้างขวางมากขึ้น
  • The rise of Big Data Governance
    ในขณะที่สถาบันการเงินส่วนใหญ่เข้าใจและเห็นความสำคัญของงานด้าน data governance คือหากไม่ได้มี enterprise data governance program อยู่ก่อนแล้ว ก็อยู่ในระหว่างการจัดตั้งอยู่
    การมาถึงของ Big Data และ Data Lake จะทำให้ขอบเขตงานของการกำกับดูแลข้อมูล ขยายตัวเพิ่มมากขึ้น จากเดิมที่เคยเป็นเฉพาะข้อมูลแบบโครงสร้างภายในองค์กร ก็ต้องเริ่มมากำกับดูแลข้อมูลแบบ 3V ที่อยู่บน data lake เพิ่มขึ้นอีกด้วย
    ข้อดีอย่างหนึ่งก็คือ การลงทุนในกิจกรรม data governance ไม่ได้มีผลดีเฉพาะกับการกำกับดูแลให้เป็นไปตามข้อกำหนดทางกฏหมายเท่านั้น แต่ยังส่งผลดีต่อการดำเนินงานโดยทั่วไปของสถาบันการเงินด้วย โดยเฉพาะอย่างยิ่งในสภาวะที่การแข่งขันกับคู่แข่งหน้าใหม่อย่าง FinTech กำลังจะเริ่มขึ้น ข้อมูลที่มีคุณภาพคือเสบียงและอาวุธสำคัญที่จำเป็นต้องมี

เรียบเรียงจาก: 5 Big Data Trends Impacting Financial Institutions in 2016

ไมโครซอฟต์ประกาศการสนับสนุน Apache Spark อย่างจริงจัง

microsoft and spark summitในงาน Spark Summit สัปดาห์นี้ ไมโครซอฟต์ประกาศรายละเอียดการสนับสนุน Apache Spark หลายอย่าง ทั้ง Cortana Intelligence Suite, Power BI และ Microsoft R Server

  • Spark for Azure HDInsight เปิดให้ใช้แบบ General Availability แล้วหลังจากเป็น Public Preview มาตั้งแต่กลางปี 2015
  • R Server for HDInsight in the cloud powered by Spark ตัวนี้เพิ่งเปิด public preview ไปเมื่อเดือนมีนานี้ แต่จะเปิดใช้ได้ทั่วไปในช่วงหน้าร้อน (ภายในเดือนสิงหาคม)
  • R Server for Hadoop on-premises now powered by Spark
  • เปิดตัวโปรแกรมฟรี R Client สำหรับ data scientists โดยทำงานร่วมกับบริการต่างๆ เช่น SQL Server R Services, R Server for Hadoop และ HD Insight with Spark สามารถดาวน์โหลด R Client ได้แล้วที่ http://aka.ms/rclient
  • Power BI support for Spark Streaming ซึ่งแต่เดิม Power BI สนับสนุน Spark อยู่แล้ว แต่ตอนนี้เพิ่มการสนับสนุน Spark Streaming ช่วยในการทำงานวิเคราะห์ข้อมูลแบบ real-time

ที่มา : Microsoft announces major commitment to Apache Spark

ไมโครซอฟต์ประกาศเปิดตัวบริการ Azure Data Lake

azure_data_lakeในงาน Build 2015 Microsoft ประกาศเปิดตัวบริการ Azure Data Lake บริการเก็บข้อมูลบน Cloud สำหรับ Big Data Analytics

แนวคิด Data Lake เป็นเรื่องค่อนข้างใหม่ หลักการง่ายๆ ก็คือเป็นแหล่งรวบรวมข้อมูล “ดิบ” ขององค์กร คือเก็บไว้ในรูปแบบดั้งเดิมให้มากที่สุด แล้วจะนำไปใช้อย่างไรค่อยว่ากันอีกที ซึ่งแตกต่างกับแนวคิด data warehouse แต่สามารถใช้งานร่วมกันได้

Azure Data Lake มีฟีเจอร์หลักดังนี้

  • Compatible กับ HDFS (Hadoop File System) ทำให้สามารถใช้งานร่วมกับ Hadoop distribution อย่าง HortonWorks หรือ Cloudera ได้เลย
  • เก็บข้อมูลได้ไม่จำกัด เน้น throughput สูง ไม่มีการกำหนดลิมิตขนาดข้อมูลที่เก็บได้ หรือแม้แต่ขนาดของไฟล์
  • พร้อมสำหรับใช้งานสำคัญในองค์กร

วีดีโอแนะนำบริการ ซึ่งอธิบายภาพรวมได้ดีทีเดียว


แหล่งข้อมูลเพิ่มเติม:

Microsoft Azure Blog : Introducing Azure Data Lake

TechCrunch : Microsoft Announces Azure Data Lake, A Data Repository For Big Data Analytics