ศัตรูทั้งเจ็ดของ Big Data

images

ปัจจัยเหล่านี้ส่งผลกระทบในทางลบ ทำให้การนำ Big Data ไปใช้ไม่ประสบความสำเร็จเท่าที่ควร เรียบเรียงจาก The Seven Enemies Of Big Data

  • IT Architecture – ความท้าทายทางเทคโนโลยี โดยเฉพาะอย่างยิ่งการจัดการข้อมูลที่หลากหลาย โดยที่สถาปัตยกรรมข้อมูลภายในองค์กรอาจไม่ยืดหยุ่นพอ จำเป็นต้องมีการวางแผน ออกแบบที่เหมาะสม
  • Amature data science – นักวิทยาการข้อมูลมือสมัครเล่น คงเป็นเพราะความขาดแคลนและความเซ็กซี่ของงาน หลายคนเรียกตัวเองว่า data scienctists โดยอาจจะยังไม่มีพื้นฐานหรือความเข้าใจเกี่ยวกับสถิติที่มากเพียงพอ อาจส่งผลให้สรุปผลและตีความการวิเคราะห์ข้อมูลผิดพลาดไปได้ อาจเกิดอันตรายได้เปรียบเหมือนกับการให้เด็กอายุ 14 ขับรถสปอร์ตแรงๆ
  • Resource – ทรัพยากรบุคคลที่เกี่ยวข้องกับการวิเคราะห์ข้อมูล ไม่เพียงแต่แค่เฉพาะ data scienctists ที่ขาดแคลน แต่บุคลากรที่มีความสามารถในการวิเคราะห์ข้อมูล ประมวลข้อสรุป และนำไปสู่การตัดสินใจได้ ก็ขาดแคลนเช่นกัน ถึงแม้ว่าวิทยาลัยหลายแห่งเริ่มสอน Business Analytics อย่างจริงจัง แต่ก็คงยังต้องใช้เวลาอีกระยะหนึ่ง
  • Culture – วัฒนธรรมองค์กร โดยเฉพาะอย่างยิ่ง ในเรื่อง “วิธีการตัดสินใจ” เป็นเรื่องยากและท้าทายที่จะพยายามเปลี่ยนให้คนในองค์กร หันมาใช้ตรรกะและข้อมูลประกอบการตัดสินใจ แทนที่จะใช้สัญชาติญาณหรือประสบการณ์เดิมๆ โดยเฉพาะอย่างยิ่ง หากผลการวิเคราะห์ออกมาในเชิงขัดแย้งกับความเชื่อหรือแนวทางดั้งเดิม ผู้นำองค์กรมีบทบาทอย่างมากในการส่งเสริมให้เกิดการเปลี่ยนแปลงนี้
  • Classification – การจำแนกประเภท และคุณค่าของข้อมูล เป็นการยากที่จะประเมินความสำคัญของข้อมูลที่เกิดขึ้นใหม่ทุกๆ วินาที อะไรสำคัญ อะไรควรจะเก็บไว้ เมื่อเทียบกับความยุ่งยากทางเทคโนโลยีและการจัดการข้อมูล
  • Translation – การแปลผลการวิเคราะห์ ให้กลายเป็น insights ที่สามารถนำไปต่อยอดเพื่อการตัดสินใจอย่างใดอย่างหนึ่งได้ นอกเหนือไปจากการวิเคราะห์แล้ว การใช้ Data Visualization เพื่อสื่อสารให้เข้าใจได้ง่าย และผลักดันให้เกิดการนำไปใช้ต่อ จึงมีความจำเป็นเพิ่มมากขึ้น
  • Scope – ขอบเขตการวิเคราะห์ข้อมูล แค่ไหนถึงจะพอ เมื่อข้อมูลมีจำนวนมากและหลากหลาย เราอาจทุ่มกำลังวิเคราะห์ข้อมูลให้ลึกและกว้างขวางขึ้น แต่ประโยชน์ที่จะได้รับจากการวิเคราะห์เพิ่มเติมอาจไม่ได้มากอย่างที่คาดไว้ และจะมีจุดที่การวิเคราะห์ข้อมูลเพิ่มเติม ไม่สามารถสร้างคุณค่าได้คุ้มค่าพอแล้ว นั่นคือจุดที่ควรจะหยุด

ที่มา: The Seven Enemies Of Big Data | Forbes

แจกฟรี ebook Apache Spark Analytics Made Simple

Apache Spark Analytics Made Simple

สำหรับท่านที่สนใจเทคโนโลยี Apache Spark ตอนนี้ databricks ซึ่งเป็นบริษัทก่อตั้งโดยผู้สร้าง Spark ออกหนังสือ ebook แจกฟรี ชื่อ Apache Spark Analytics Made Simple เป็นการรวบรวมบทความจากบล็อกของบริษัท

หากสนใจ ดาวน์โหลดได้ฟรีโดยต้องลงทะเบียนก่อนนะครับ ลิงค์ดาวน์โหลดจะถูกส่งให้ทางอีเมล์ ลิงค์ลงทะเบียนดาวน์โหลดอยู่ที่ http://go.databricks.com/apache-spark-analytics-made-simple-databricks

รายละเอียดสารบัญ

Section 1: An Introduction to the Apache Spark APIs for Analytics

  • Spark SQL: Manipulating Structured Data Using Spark
  • What’s new for Spark SQL in Spark 1.3
  • Introducing Window Functions in Spark SQL 14
  • Recent performance improvements in Apache Spark: SQL, Python, DataFrames, and More
  • Introducing DataFrames in Spark for Large Scale Data Science
  • Statistical and Mathematical Functions with DataFrames in Spark
  • Spark 1.5 DataFrame API Highlights: Date/Time/String Handling, Time Intervals, and UDAFs
  • Introducing Spark Datasets

Section 2: Tips and Tricks in Data Import

  • An Introduction to JSON Support in Spark SQL
  • Spark SQL Data Sources API: Unified Data Access for the Spark Platform

Section 3: Real-World Case Studies of Spark Analytics with Databricks

  • Analyzing Apache Access Logs with Databricks
  • Reshaping Data with Pivot in Spark
  • An Illustrated Guide to Advertising Analytics
  • Automatic Labs Selects Databricks for Primary Real-Time Data Processing