ความรู้ก่อนเรียน (Prerequisite knowledge)

1. ไม่มี

เนื้อหา (Learning Contents) : 

1. ประวัติความเป็นมาของ Big data 
2. วิธีการแก้ปัญหา Big Data ที่ต้องการความเร็วในการอ่านและบันทึกข้อมูลโดยใช้ NoSQL database
3. วิธีการแก้ปัญหาการประมวลผลข้อมูลแบบ Streaming
4. วิธีการแก้ปัญหาการประมวลผลชุดข้อมูลขนาดใหญ่ที่ต้องใช้เวลานาน (Batch processing)
5. รูปแบบและตัวอย่างการประยุคต์ใช้เทคโนโลยี Big Data

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. ไม่มี

เนื้อหา (Learning Contents) : 

1. Hadoop และเครื่องมือที่ใช้งานร่วมกัน 
2. ระบบไฟล์แบบกระจายของ Hadoop (Hadoop Distributed File System: HDFS)
3. การบริหารจัดการการประมวลผลด้วย YARN (Yet Another Resource Negotiator)
4. เฟรมเวร์คในการประมวลผลข้อมูลแบบ MapReduce
5. การใช้งาน Hadoop as a service บน Cloud
6. การติดตั้งและใช้งาน Hadoop cluster แบบ On-Premise

โมดูลนี้เรียนรู้เกี่ยวกับการนำข้อมูลในฐานข้อมูลเชิงสัมพันธ์ และข้อมูลแบบกึ่งโครงสร้างจากการเก็บประวัติการใช้งาน (log data) เข้ามาร่วมวิเคราะห์ ใน Hadoop cluster การใช้ Hive ในการทำให้ข้อมูลทั้งในแบบที่เป็นโครงสร้างและแบบกึ่งโครงสร้างสามารถใช้งานได้คล้ายกับการใช้งานตารางที่อยู่ในฐานข้อมูลเชิงสัมพันธ์ซึ่งสามารถวิเคราะห์ร่วมกันได้ด้วยภาษา SQL 

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. Module BD01: การติดตั้ง Hadoop และเครื่องมือที่ช่วยในการจัดการ Big data 

เนื้อหา (Learning Contents) : 

1. การนำข้อมูลเข้ามาใน Hadoop cluster 
2. การโหลดข้อมูลจาก RDBMS โดยใช้ Sqoop
3. การเก็บข้อมูล log โดยใช้ Flume
4. รูปแบบการจัดการตารางข้อมูลของ Hive
5. วิธีการทำ Hive partition และ bucket เพื่อเพิ่มความเร็วในการประมวลผลข้อมูล
6. การใช้ Hive จัดการกับข้อมูลแบบมีโครงสร้างด้วยภาษา SQL
7. การสร้างตาราง Hive จากข้อมูลแบบกึ่งโครงสร้างโดยตรงและโดยใช้ regular expressions
8. การประมวลผลข้อมูลด้วยภาษา SQL โดยใช้ Hive

เมื่อข้อมูลเกิดขึ้นอย่างรวดเร็ว ทำให้ความต้องการบันทึกข้อมูล รูปแบบของข้อมูล และวิธีการในการเก็บรวบรวมข้อมูล มีโอกาสเปลี่ยนแปลงได้ตลอดเวลา การใช้ฐานข้อมูลที่รองรับการเปลี่ยนแปลงในอนาคตได้ง่ายจะช่วยเพิ่มโอกาสในการเก็บบันทึกข้อมูลใหม่ ๆ ได้อย่างทันท่วงที นอกจากนี้การเพิ่มขึ้นของผู้ใช้งานทำให้จำนวนความต้องการเรียกใช้หรือบันทึกข้อมูลสูงขึ้นจนอาจไม่สามารถให้บริการได้ในเวลาที่เหมาะสมหากใช้ฐานข้อมูลที่ไม่สนับสนุนดีพอ การใช้งานฐานข้อมูลที่ออกแบบมาโดยเฉพาะจึงมีความจำเป็น  โมดูลนี้จะได้เรียนรู้รูปแบบของฐานข้อมูล ที่นอกเหนือจากฐานข้อมูลเชิงสัมพันธ์ ทั้งที่สามารถใช้งานได้และไม่ได้โดยใช้ภาษา SQL เพื่อตอบสนองความต้องการที่หลากหลายของผู้ใช้และ Application

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. ไม่มี

Apache Spark  เป็นซอฟต์แวร์แบบโอเพ่นซอร์สที่ช่วยอำนวยความสะดวกในการประมวลผลข้อมูลขนาดใหญ่ ทำให้การทำงานในขั้นตอนต่าง ๆ ของการวิเคราะห์ข้อมูล เป็นไปอย่างราบรื่นและรวดเร็ว การเรียนรู้การใช้งาน Spark  จึงเป็นประโยชน์อย่างยิ่งต่อการวิเคราะห์ข้อมูลขนาดใหญ่เพื่อให้สามารถวิเคราะห์ให้ได้ประโยชน์เชิงลึกจากข้อมูลนั้นมากที่สุดเท่าที่จะทำได้ โมเดลนี้จะได้เรียนรู้การดำเนินการกับข้อมูลในรูปแบบต่าง ๆ รวมถึงการใช้ Machine Learning Library ของ Spark เพื่อความคุ้นเคยกับการใช้เครื่องมือต่าง ๆ ช่วยในการวิเคราะห์ข้อมูล

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. Module BD01: การติดตั้ง Hadoop และเครื่องมือที่ช่วยในการจัดการ Big data 

เนื้อหา (Learning Contents) : 

1. หลักการทำงานของ Spark 
2. การโหลดข้อมูล และการบันทึกข้อมูล 
3. Spark DataFrame 
4. การจัดการข้อมูลใน DataFrame 
5. Spark Machine learning library 

เมื่อมีปัญหาที่ต้องการแก้ การระบุปัญหาให้ชัดเจนจะช่วยให้การเลือกวิธีการแก้ปัญหาได้อย่างเหมาะสม และที่สำคัญที่สุดคือการเลือกข้อมูลที่เหมาะสมมาช่วยในการวิเคราะห์เพื่อแก้ปัญหานั้น โมดูลนี้จะได้เรียนรู้ตั้งแต่การระบุปัญหา ขอบเขตของปัญหา การพิจารณาข้อมูลที่คิดว่าจะช่วยให้การวิเคราะห์ข้อมูลเป็นไปอย่างมีประสิทธิภาพ รวมถึงแนวทางในการประเมินความสำเร็จของการวิเคราะห์ข้อมูล

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. ไม่มี 

เนื้อหา (Learning Contents) : 

1. การวิเคราะห์ปัญหาเพื่อหาวิธีในการแก้ปัญหา 
2. ปัญหาที่ต้องใช้วิธีการเรียนรู้ของเครื่องแบบไม่มีผู้สอน (Unsupervised machine learning) 
3. ปัญหาที่ต้องใช้วิธีการเรียนรู้ของเครื่องแบบมีผู้สอน (Supervised machine learning) และวิธีการกาหนด target เพื่อใช้ในการทานาย 
4. การวิเคราะห์ feature ของข้อมูลที่มีโอกาสมีผลต่อการวิเคราะห์ทั้งทางตรงและทางอ้อม 

การทำให้เห็นภาพจะช่วยให้งานบางอย่างง่ายขึ้น แต่ข้อจากัดของการรับรู้ของมนุษย์ทาให้การทาให้เห็นภาพของข้อมูลที่มี feature จานวนมากไม่สามารถทาได้ง่ายนัก มีโอกาสสูงที่จะสื่อความหมายผิดเพี้ยนไปจากความเป็นจริง โมดุลนี้จะได้เรียนรู้ถึงหลักการสร้าง visualization ที่เหมาะสมกับชนิดข้อมูลต่าง ๆ ข้อจากัดของการแสดงผล ข้อจากัดเมื่อนามาใช้กับข้อมูลขนาดใหญ่และวิธีการจัดการ รวมถึงได้ฝึกทา visualization ด้วยโปรแกรมสาเร็จรูป ด้วย Python และ ด้วย Spark 

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. Module BD04: การประมวลผลข้อมูลขนาดใหญ่ด้วย SQL และ Spark 

เนื้อหา (Learning Contents) : 

1. รูปแบบของ visualization 
2. รูปแบบของรูปทรงกับการรับรู้ 
3. สีกับการรับรู้ 
4. แนวทางในการทา visualization จากข้อมูลทั่วไป และข้อมูลขนาดใหญ่ 
5. การฝึกทา visualization โดยใช้โปรแกรมสาเร็จรูป โดยใช้ Python และ โดยใช้ Spark 

เมื่อมีข้อมูลมากขึ้นก็จะมีข้อมูลทั้งที่ดีและไม่ดีมากขึ้นด้วยเช่นกัน การเตรียมข้อมูลจึงมีความสำคัญมากเพื่อให้ขั้นตอนต่อไปสามารถนำไปวิเคราะห์ต่อได้อย่างมีประสิทธิภาพ  โมดูลนี้จะเรียนรู้หลักการและฝึกใช้เครื่องมือที่ใช้ในการประมวลผลข้อมูลทั้งข้อมูลทั่วไปและเครื่องมือที่ใช้สำหรับข้อมูลขนาดใหญ่เพื่อใช้ในการเตรียมข้อมูลให้ได้ข้อมูลที่เหมาะสมที่สุด

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. Module BD02: การจัดการข้อมูลแบบมีโครงสร้างและกึ่งโครงสร้าง (Structured and semi-structured data ingestion and representation)
2. Module DS02: การทำให้เห็นภาพ (Data  visualization)
3. Module BD04: การประมวลผลข้อมูลขนาดใหญ่ด้วย SQL และ Spark

เนื้อหา (Learning Contents) : 

1. สำรวจข้อมูลด้วยค่าทางสถิติและใช้ Visualization
2. การจัดการกับข้อมูลสูญหาย หรือข้อมูลที่เกิดความผิดพลาด
3. การระบุและแก้ปัญหาข้อมูลสุดโต่ง (Outlier)
4. การทำข้อมูลให้มีค่าอยู่ในมาตรฐานเดียวกัน (Standardization)
5. การแปลงข้อมูลให้อยู่ในรูปแบบที่เหมาะสม
6. การเลือก feature ที่มีความสำคัญต่อการวิเคราะห์ข้อมูล
7. การประมวลผลด้วยเครื่องมือช่วยสำหรับข้อมูลทั่วไป (Weka, Python) และข้อมูลขนาดใหญ่ (Hive, Spark)

การจัดกลุ่มข้อมูลได้เข้ามามีบทบาทอย่างมาก ในการระบุกลุ่มเป้าหมายที่เหมาะสมเพื่อให้การบริการตอบสนองกับความต้องการที่ต่างกันได้ดีที่สุด สามารถนำไปประยุกต์ใช้ได้หลากหลายไม่ว่าจะเป็น การแบ่งกลุ่มลูกค้าตามพฤติกรรม การตรวจสอบความผิดปกติของการใช้จ่ายหรือความผิดปกติของการทำงานของเครื่องจักรเป็นต้น  โมดูลนี้จะมีการเรียนรู้และฝึกปฏิบัติการจัดกลุ่มข้อมูลเพื่อให้ได้กลุ่มข้อมูลที่เหมาะสมที่สุด ฝึกทำ visualization และตีความ เพื่อให้สามารถระบุกลุ่มเป้าหมายได้ง่ายและตรงกับความต้องการ รวมถึงแนวทางในการนำไปใช้

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. Module DS03: การเตรียมข้อมูล (Data  Preprocessing)

เนื้อหา (Learning Contents) : 

1. แนวทางในการเลือก feature ที่จะช่วยให้การจัดกลุ่มมีความเหมาะสม
2. วิธีการวัดความเหมือนของข้อมูล
3. การทำข้อมูลให้อยู่ในมาตรฐานเดียวกัน
4. วิธีการ จัดกลุ่มข้อมูล
5. การประเมินผลการจัดกลุ่มเพื่อหาจำนวนกลุ่มที่เหมาะสม
6. ไปป์ไลน์ของการจัดกลุ่มข้อมูล 
7. การทํา visualization  และการตีความผลการจัดกลุ่มเพื่อใช้ประกอบการตัดสินใจ
8. การนำไปใช้กับข้อมูลใหม่ในอนาคต

โมดูลนี้เป็นการเรียนรู้และฝึกสร้างแบบจำลองการทำนายข้อมูลที่มีค่าต่อเนื่อง โดยเริ่มจากการประเมินคุณลักษณะที่สำคัญกับการทำนาย เพื่อให้ได้แบบจำลองที่มีประสิทธิภาพดีที่สุด รวมถึงวิธีการฝึก วิธีการประเมิน และวิธีการนำเสนอผลของการวิเคราะห์เพื่อให้สามารถนำไปใช้กับสถานการณ์จริงได้อย่างมั่นใจ

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. Module DS03: การเตรียมข้อมูล (Data  Preprocessing)

เนื้อหา (Learning Contents) : 

1. การเลือก feature ที่สำคัญต่อการตัดสินใจ
2. การทำให้ข้อมูลอยู่ในมาตรฐานเดียวกัน
3. แบบจำลองเพื่อทำนายข้อมูลที่มีค่าต่อเนื่อง
4. วิธีการวัดประสิทธิภาพของผลการทำนาย 
5. ไปป์ไลน์ของการสร้างแบบจำลองเปิดทำนายข้อมูลที่มีค่าต่อเนื่อง
6. การป้องกันและตรวจสอบการเกิด  overfitting และ underfitting ในขณะฝึก Machine Learning model
7.  การแบ่งข้อมูลเพื่อใช้ในการตรวจสอบประสิทธิภาพ และจำลองการใช้งานจริง
8.  Visualization ของผลการทำนาย และการตีความเพื่อการนำเสนอ
9. การนำไปใช้กับข้อมูลใหม่ในอนาคต

ปัจจุบันการใช้ AI  ช่วยตัดสินใจเริ่มเข้ามามีบทบาทในชีวิตประจำวันมากขึ้นเรื่อย ๆ  Machine Learning เป็นหนึ่งในเบื้องหลังที่สำคัญของความสำเร็จนั้น การสร้างแบบจำลองที่มีประสิทธิภาพ อาจต้องทำหลายขั้นตอน หลายรูปแบบ เพื่อเลือกรูปแบบที่ดีที่สุด ในโมดูลนี้จะช่วยให้เข้าใจ และสามารถสร้างแบบจำลองเพื่อทำนายประเภทของข้อมูลได้อย่างมีประสิทธิภาพ มีวิธีการวัดที่ชัดเจนในแต่ละขั้นตอนไม่ว่าจะเป็นการเลือกคุณลักษณะที่สำคัญ การเลือกโมเดล การประเมินผลการทำนาย การตีความหมายของโมเดลและผลการทำนาย ซึ่งทั้งหมดนี้จะได้ฝึกปฏิบัติทั้งเครื่องมือที่ใช้กับข้อมูลทั่วไปและเครื่องมือที่ใช้สำหรับข้อมูลขนาดใหญ่

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. Module DS03: การเตรียมข้อมูล (Data  Preprocessing)

เนื้อหา (Learning Contents) : 

1. การเลือก feature ที่สําคัญต่อการตัดสินใจ
2. แบบจำลองการเรียนรู้ของเครื่องแบบต่างๆ
3. การวิเคราะห์แบบจำลองเพื่อทำข้อมูลให้อยู่ในรูปมาตรฐานเดียวกัน
4. การวัดประสิทธิภาพของแบบจำลองจากผลการทำนาย
5. ไปป์ไลน์ของการสร้างแบบจำลองเปิดทํานายประเภทของข้อมูล
6. การป้องกันเเละการตรวจสอบการเกิด overfitting และ underfitting ขณะฝึกแบบจำลอง
7. การแบ่งข้อมูลเพื่อตรวจสอบประสิทธิภาพและจําลองการใช้งานจริง
8. Visualization และการตีความผลการทำนายเพื่อการนำเสนอ
9. การนำไปใช้กับข้อมูลใหม่ในอนาคต

เมื่อมีข้อมูลรายการซื้อสินค้าของลูกค้า หรือรายการการเข้าใช้เว็บ รายการการเข้าดูสินค้า ข้อมูลเหล่านี้สามารถนำมาสร้างระบบแนะนำสินค้าหรือบริการ เพื่อให้ตรงกับความต้องการของผู้ใช้รายบุคคลได้ โมดูลนี้จะช่วยให้การวิเคราะห์ข้อมูลเหล่านั้น เพื่อนำมาสร้างระบบแนะนำที่มีประสิทธิภาพอย่างง่ายดายโดยใช้เครื่องมือสำหรับการจัดการข้อมูลขนาดใหญ่ รวมถึงเรียนรู้เกี่ยวกับวิธีการประเมินและเลือกกฏความสัมพันธ์ที่เหมาะสมเพื่อให้เกิดประสิทธิภาพสูงสุด

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. Module DS03: การเตรียมข้อมูล (Data  Preprocessing)

เนื้อหา (Learning Contents) : 

1. หลักการวิเคราะห์กฎความสัมพันธ์
2. การวัดความถี่ ความมั่นใจ และความขึ้นต่อกันของกฏความสัมพันธ์
3. การเลือกกฏความสัมพันธ์เพื่อนำไปใช้ในระบบแนะนำ
4. การประเมินประสิทธิภาพของระบบแนะนำ
5. เครื่องมือและการแปลงข้อมูล
6. ไปป์ไลน์ของการทำระบบแนะนำโดยใช้การวิเคราะห์กฏความสัมพันธ์
7. แนวทางการนำไปใช้ในอนาคต

โมดูลนี้จะเรียนรู้วิธีการสร้างระบบแนะนำโดยใช้วิธีการกรองร่วมแบบต่าง ๆ ซึ่งนิยมใช้ในการสร้างระบบแนะนำเมื่อมีข้อมูลการปฏิสัมพันธ์ระหว่างผลิตภัณฑ์และลูกค้า เช่นความระดับความพึงพอใจของลูกค้าต่อผลิตภัณฑ์ เป็นต้น ซึ่งสามารถนำใช้งานได้ทั้งข้อมูลทั่วไปและข้อมูลขนาดใหญ่

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. Module DS03: การเตรียมข้อมูล (Data  Preprocessing)

เนื้อหา (Learning Contents) : 

1. การทำนายความชอบโดยใช้พฤติกรรมของผู้ใช้ที่เหมือนกันเป็นฐาน 
2. การทำนายความชอบโดยใช้ผลตอบรับของสินค้าจากผู้ใช้เป็นฐาน
3. การทำนายความชอบโดยใช้แบบจำลองการเรียนรู้ของเครื่อง
4. การวัดประสิทธิภาพของระบบแนะนำ
5. ไปป์ไลน์สำหรับการวิเคราะห์ข้อมูลของระบบแนะนำโดยใช้วิธีการกรองร่วม
6. แนวทางการนำไปใช้

ในโมดูลนี้จะเป็นการวิเคราะห์ unstructured data โดยการวิเคราะห์ข้อความ ซึ่งจะได้เรียนรู้วิธีการสกัดคุณลักษณะเพื่อแปลงข้อความให้อยู่ในรูปของตัวเลขในรูปแบบต่าง ๆ ซึ่งสามารถนำไปใช้ในการสร้างแบบจำลองในการทำนายอารมณ์ หรือแม้แต่นำไปเป็น feature  ประกอบกับข้อมูลอื่น เพื่อใช้ในการเพิ่มประสิทธิภาพการสร้างแบบจำลองการเรียนรู้ของเครื่อง หรือนำไปใช้สำหรับการสร้างแชทบอทเบื้องต้นได้ โมดูลนี้มีการฝึกปฏิบัติการสร้างแบบจำลองการทำนายอารมณ์โดยใช้เครื่องมือทั่วไปและเครื่องมือที่ใช้กับ Big Data

ความรู้ก่อนเรียน (Prerequisite knowledge)

1. Module DS03: การเตรียมข้อมูล (Data  Preprocessing)

เนื้อหา (Learning Contents) : 

1. การเตรียมข้อมูลให้อยู่ในรูปแบบข้อมูลแบบมีโครงสร้าง
2. การแปลงข้อความเป็นเวกเตอร์ของตัวเลข
3. การเลือกฟีเจอร์ที่สำคัญกับการวิเคราะห์
4. ไปป์ไลน์ของการวิเคราะห์ข้อความ
5. การใช้ Machine Learning model  ช่วยในการวิเคราะห์ข้อความ
6. แนวทางการนำไปใช้กับข้อมูลใหม่ในอนาคต