งานวิจัยเรื่อง The Illusion of Explanatory Depth ของ Rozenblit & Keil (2002) ชี้ว่ามนุษย์มักเชื่อว่าตัวเองเข้าใจระบบซับซ้อนดีกว่าที่เป็นจริง จนกว่าจะถูกขอให้อธิบายรายละเอียด ปรากฏการณ์นี้อันตรายเป็นพิเศษเมื่อ Claude ช่วยเขียนโค้ด Spark ที่ซับซ้อนให้ เพราะทำให้รู้สึกเข้าใจมากกว่าที่เข้าใจจริง คอร์สนี้ใช้เลนส์ศาสตร์แห่งเมตรัย (Metraiology) มองว่าความเสี่ยงที่แท้จริงของวิศวกรกลุ่มนี้ไม่ใช่การใช้ AI ช่วยเขียนโค้ด แต่คือการไม่รู้ว่าตัวเองไม่เข้าใจ ผสานหลักการพื้นฐานของ Apache Spark กับงานวิจัยจริงด้าน Cognitive Bias เพื่อสร้างวิศวกรที่ใช้ AI เร่งความเร็วได้โดยยังคง Debug งานจริงได้ด้วยตัวเอง

เข้าใจโมเดลความคิดพื้นฐานของ Spark (Partition, Shuffle, Lazy Evaluation) ที่ต้องมีก่อนใช้ AI ช่วยเขียนโค้ด

ใช้ Claude ช่วยเขียนและอธิบาย Spark Job ได้เร็วขึ้น โดยไม่ตกหลุมพราง Illusion of Explanatory Depth

อ่าน Spark UI และ Log เพื่อ Debug ปัญหาด้วยตัวเองได้ ไม่ต้องพึ่ง AI ทุกครั้งที่งานพัง

ประเมินคำแนะนำ Optimization จาก AI อย่างมีวิจารณญาณก่อนนำไปใช้กับ Production

มีนิสัยอธิบายโค้ดที่ AI เขียนด้วยคำพูดตัวเองก่อน Merge ทุกครั้ง

ทดสอบ Spark Job กับข้อมูลขนาดจริงอย่างมีระบบก่อนขึ้น Production