AI ช่วยให้งานดีขึ้น แต่ไม่ได้ทำให้คนเก่งขึ้นเสมอ การทดลอง 3 เดือนกับทนายสิทธิบัตรพบรุ่นพี่ได้ฝีมือ รุ่นน้องไม่ได้

ใช้ AI ช่วยทำงานแล้วงานออกมาดีขึ้น ไม่ได้แปลว่าคนใช้เก่งขึ้นตาม การทดลองภาคสนามนาน 3 เดือนกับทนายสิทธิบัตรในสหรัฐฯ 133 คน พบว่า ตอนมี AI ช่วย ทุกคนเขียนร่างได้ดีขึ้น และรุ่นน้องได้ประโยชน์มากที่สุด แต่พอต้องทำงานโดยไม่มี AI กลับมีแต่ทนายรุ่นพี่ที่เก่งขึ้นจริง รุ่นน้องเฉลี่ยแล้วไม่ต่างจากคนที่ไม่เคยใช้เลย งานนี้เผยแพร่เป็นเอกสารทำงานของสำนักงานวิจัยเศรษฐกิจแห่งชาติสหรัฐฯ (NBER) และยังไม่ผ่านผู้ทรงคุณวุฒิ

คำถามที่ยังไม่มีใครตอบชัด

งานวิจัยหลายชิ้นพบว่า AI ช่วยคนมือใหม่มากกว่าผู้เชี่ยวชาญ ช่องว่างระหว่างสองกลุ่มจึงแคบลง แต่ทำงานได้ดีขึ้นตอนมีตัวช่วย กับมีทักษะที่ติดตัวไปเมื่อตัวช่วยหายไป เป็นคนละเรื่องกัน บางงานพบว่าคนที่พึ่ง AI มากมีทักษะแก้ปัญหา เขียนโปรแกรม หรือวินิจฉัยโรคอ่อนลง บางงานกลับพบว่า AI ช่วยให้เรียนรู้ได้ ปัจจัยที่ดูสำคัญคือ "ใช้อย่างไร" คนที่ตรวจ ตีความ และตรวจสอบคำตอบของ AI มักเรียนรู้มากกว่าคนที่รับคำตอบไปเลย

วิธีศึกษา

เดวิด ออเทอร์ (David Autor) นักเศรษฐศาสตร์จาก MIT ร่วมกับนักวิจัยของ Google ชวนสำนักงานกฎหมายทรัพย์สินทางปัญญาที่ทำงานให้ Google เข้าร่วม 11 แห่ง ทนาย 133 คนถูกสุ่มในแต่ละสำนักงาน 90 คนได้ใช้เครื่องมือช่วยเขียนที่ Google Labs พัฒนาและยังไม่เปิดตัว ส่วน 43 คนใช้เครื่องมือปกติโดยไม่มี AI ทุกคนได้ค่าจ้างรายชั่วโมงตามปกติ และการศึกษาลงทะเบียนแผนไว้ล่วงหน้า

• วันที่ 10 ทุกคนเขียนร่างคำขอรับสิทธิบัตรจากข้อมูลสิ่งประดิษฐ์ที่ให้มา
• วันที่ 90 เขียนร่างที่ยากขึ้นอีกชิ้น และทำงาน "ตรวจแก้" ร่างสิทธิบัตรที่ AI เขียนไว้ โดย ห้ามใช้ AI งานนี้เลือกเพราะต้องใช้วิจารณญาณของผู้เชี่ยวชาญมาก

ทนายสิทธิบัตรจากสำนักงานอิสระที่ไม่รู้ว่าใครอยู่กลุ่มไหนเป็นผู้ให้คะแนน ทั้งความบังคับใช้ได้ ความถูกต้องทางเทคนิค ความครบถ้วน และความชัดเจน

ผลที่พบ

• ตอนมี AI งานดีขึ้นจริง กลุ่มที่ใช้ AI เขียนร่างได้ดีกว่ากลุ่มควบคุมราวหนึ่งในสามของส่วนเบี่ยงเบนมาตรฐาน ทั้งวันที่ 10 และ 90 ส่วนใหญ่มาจากร่างที่แย่น้อยลง ไม่ใช่ร่างที่ยอดเยี่ยมมากขึ้น และงานแรกเสร็จเร็วขึ้นราว 10 นาทีจากที่กลุ่มควบคุมใช้ราว 110 นาที
• รุ่นน้องดูได้ประโยชน์มากกว่าตอนมีตัวช่วย ทนายที่มีประสบการณ์ไม่ถึง 7 ปีได้คะแนนเพิ่มมากกว่ารุ่นพี่ แต่ความต่างนี้ยังไม่มีนัยสำคัญทางสถิติ
• พอไม่มี AI มีแต่รุ่นพี่ที่เก่งขึ้น ในงานตรวจแก้ กลุ่มที่ใช้ AI มา 3 เดือนทำได้ดีกว่ากลุ่มควบคุม แต่ข้อได้เปรียบทั้งหมดมาจากทนายรุ่นพี่ รุ่นน้องเฉลี่ยแล้วไม่ดีกว่ารุ่นน้องในกลุ่มควบคุม
• คะแนนรุ่นน้องกระจายตัว รุ่นน้องที่ใช้ AI มีคะแนนกลาง ๆ น้อยลงมาก แต่มีทั้งคะแนนแย่และคะแนนดีเพิ่มขึ้น ผู้วิจัยตีความว่า AI อาจเป็นทั้ง "แท่นกระโดด" ให้บางคน และ "เบาะรอง" ให้อีกบางคน แต่ไม่รู้ว่าเพราะอะไร
• รู้สึกว่าเก่งขึ้น รุ่นน้องเชื่อว่าเครื่องมือทำให้งานตัวเองดีขึ้น ซึ่งจริงสำหรับงานที่มี AI ช่วย แต่ไม่จริงสำหรับงานที่ต้องทำเอง

ผู้วิจัยยังสังเกตว่ารุ่นน้องใช้ AI เพื่อทำงานให้เร็วขึ้น ส่วนรุ่นพี่ใช้เพื่อทำให้ดีขึ้นแต่แทบไม่เร็วขึ้น รูปแบบนี้เข้ากับแนวคิดว่าเวลาและความพยายามที่ลงไปกับงานเป็นส่วนหนึ่งของการเรียนรู้ แต่งานนี้ไม่ได้ทดสอบเรื่องนั้นโดยตรง

ข้อจำกัดที่ควรรู้

• ยังไม่ผ่านผู้ทรงคุณวุฒิ และ Google ทั้งสร้างเครื่องมือและให้ทุน ผู้เขียน 6 ใน 7 คนทำงานที่ Google
• จากทนาย 133 คน มีเพียง 91 คนที่ทำงานครบทุกชิ้น กลุ่มรุ่นน้องเล็ก และทั้งหมดมาจากสำนักงานที่ทำงานให้ลูกค้าระดับสูง
• ไม่มีการวัดทักษะก่อนเริ่ม จึงอาศัยการสุ่มเพื่ออนุมานว่าความต่างตอนจบมาจากการเรียนรู้
• ตรวจไม่ได้แน่ชัดว่าไม่มีใครแอบใช้ AI ในงานตรวจแก้ การตรวจพบว่า 15 จาก 91 ชิ้นอาจใช้ AI เมื่อตัดออก ข้อได้เปรียบของรุ่นพี่ยังอยู่แต่อ่อนลง และความต่างของทั้งกลุ่มไม่มีนัยสำคัญอีกต่อไป
• 3 เดือนสั้นมากเมื่อเทียบกับหลายปีที่ต้องใช้สร้างความเชี่ยวชาญด้านสิทธิบัตร และผลอาจไม่ใช้กับอาชีพอื่น

มองจากคนทำงานไทย

ข้อสังเกตของ TheTham: ในที่ทำงานไทยหลายแห่ง เด็กจบใหม่เรียนงานจากการทำงานจริงที่รุ่นพี่ตรวจให้ ถ้า AI ทำร่างแรกแทนตั้งแต่วันแรก ขั้นที่เคยเป็นการฝึกมือก็อาจหายไปโดยไม่มีใครสังเกต เพราะผลงานที่ส่งออกไปยังดูดี งานนี้ยังเป็นหลักฐานเบื้องต้น แต่ชวนให้หัวหน้างานถามเพิ่มอีกหนึ่งข้อนอกจาก "งานเสร็จไหม" คือ "น้องเข้าใจไหมว่าทำไมต้องแก้ตรงนี้"

อ่านมุมของคนที่เลือกไม่ใช้ AI เลยได้ที่ ขอไม่ใช้ AI ในงานด้วยเหตุผลทางความเชื่อ