ฉบับร่าง:ซอฟต์แวร์ตรวจจับปัญญาประดิษฐ์

ซอฟต์แวร์ตรวจจับปัญญาประดิษฐ์(อังกฤษ: Artificial intelligence content detection)มีจุดมุ่งหมายเพื่อระบุว่าในบางเนื้อหา เช่น ข้อความ รูปภาพ วิดีโอ หรือเสียง ถูกสร้างขึ้นโดยใช้ปัญญาประดิษฐ์หรือไม่

อย่างไรก็ตาม ความน่าเชื่อถือของซอฟต์แวร์ดังกล่าวเป็นหัวข้อที่ถกเถียงกันอยู่[1]และมีความกังวลเกี่ยวกับการใช้ซอฟต์แวร์ตรวจจับ AI อย่างไม่เหมาะสมโดยผู้สอน

ปัญหาด้านความแม่นยำ

แก้

เครื่องมือตรวจจับ AI หลายตัวได้รับการพิสูจน์แล้วว่าไม่น่าเชื่อถือในแง่ของการตรวจจับข้อความที่สร้างโดย AI อย่างแม่นยำและครอบคลุม ในการศึกษาโดย Weber-Wulff และคณะ ที่ตีพิมพ์ในปี ค.ศ.2023 นักวิจัยได้ประเมินเครื่องมือตรวจจับ 14 ตัว รวมถึง Turnitin และ GPT Zero และพบว่าทั้งหมดมีคะแนนต่ำกว่า 80% ในด้านความแม่นยำ และมีเพียง 5 ตัวเท่านั้นที่มีคะแนนเกิน 70%[2]

การตรวจจับข้อความ

แก้

สำหรับข้อความ การตรวจจับนี้มักทำเพื่อป้องกันข้อกล่าวหาเรื่อง การคัดลอกผลงาน โดยมักตรวจจับการซ้ำของคำซึ่งเป็นสัญญาณบ่งชี้ว่าข้อความถูกสร้างขึ้นโดย AI รวมถึง การหลอนของ AI ด้วย โดยทั่วไปแล้ว ซอฟต์แวร์เหล่านี้มักถูกใช้โดยครูในการตรวจงานของนักเรียน โดยใช้เป็นครั้งคราว เมื่อมีการเปิดตัว ChatGPT และซอฟต์แวร์สร้างข้อความ AI อื่น ๆ สถาบันการศึกษาหลายแห่งได้ออกนโยบายต่อต้านการใช้ AI โดยนักเรียน[3] ซอฟต์แวร์ตรวจจับข้อความที่สร้างโดย AI ยังถูกใช้โดยผู้ที่ประเมินผู้สมัครงาน รวมถึง เครื่องมือค้นหาออนไลน์ ด้วย[4]

ตัวตรวจจับในปัจจุบันอาจไม่น่าเชื่อถือในบางครั้ง และมีการระบุผลงานที่มนุษย์สร้างขึ้นอย่างไม่ถูกต้องว่าเป็นผลงานที่มาจาก AI[5][6][7] ขณะเดียวกันก็ล้มเหลวในการตรวจจับผลงานที่สร้างโดย AI ในบางกรณี[8] MIT Technology Review กล่าวว่า เทคโนโลยีนี้ "มีความยากลำบากในการตรวจจับข้อความที่สร้างโดย ChatGPT ที่ถูกเรียงลำดับใหม่เล็กน้อยโดยมนุษย์และถูกทำให้ลำดับเปลี่ยนไปโดยเครื่องมืออ้างอิงในที่อื่น"[9] ซอฟต์แวร์ตรวจจับข้อความ AI ยังแสดงให้เห็นว่าแยกแยะกับผู้พูดภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา[4]

นักศึกษาสองคนจากมหาวิทยาลัยแคลิฟอร์เนีย เดวิสเกือบต้องเผชิญกับการถูกไล่ออก หลังจากที่อาจารย์ของพวกเขาสแกนบทความของพวกเขาด้วยเครื่องมือตรวจจับข้อความที่เรียกว่าTurnitinซึ่งทำเครื่องหมายว่าบทความนั้นถูกสร้างขึ้นโดย AI อย่างไรก็ตาม หลังจากการรายงานข่าวของสื่อ[10] และการสอบสวนอย่างละเอียดถี่ถ้วน นักเรียนก็พ้นจากความผิดใด ๆ[11][12]

ในเดือนเมษายน 2023 มหาวิทยาลัยเคมบริดจ์และสมาชิกอื่นในกลุ่มรัสเซล ของมหาวิทยาลัยในสหราชอาณาจักร ได้เลือกที่จะไม่ใช้เครื่องมือตรวจจับข้อความที่ใช้ปัญญาประดิษฐ์ของ Turnitin หลังจากแสดงความกังวลว่ามันไม่เชื่อถือได้[13] มหาวิทยาลัยเท็กซัส ออสตินเลือกออกจากระบบหกเดือนต่อมา[14]

ในเดือนพฤษภาคม ค.ศ. 2023 อาจารย์ที่มหาวิทยาลัยเท็กซัสเอแอมแอนด์เอ็ม-คอมเมิร์ซใช้ ChatGPT เพื่อตรวจสอบว่าเนื้อหาของนักศึกษาเขียนขึ้นโดย ChatGPT หรือไม่ ซึ่ง ChatGPT กล่าวว่าเป็นเช่นนั้น ด้วยเหตุนี้ เขาทำให้เสียใจต่อชั้นนำแม้ว่า ChatGPT[15] ไม่มีนักเรียนคนใดถูกขัดขวางไม่ให้สำเร็จการศึกษาเนื่องจากปัญหานี้ และนักเรียนทั้งหมดยกเว้นนักเรียนเพียงคนเดียวที่ยอมรับว่าใช้ซอฟต์แวร์ ก็พ้นผิดจากข้อกล่าวหาว่าใช้ ChatGPT ในเนื้อหาของตน[16]

ซอฟต์แวร์ป้องกันการตรวจจับข้อความ

แก้

มีซอฟต์แวร์ที่พร้อมใช้งานออกแบบมาเพื่อหลีกเลี่ยงการตรวจจับข้อความที่ใช้ปัญญาประดิษฐ์[17]

การศึกษาที่ตีพิมพ์ในเดือนสิงหาคม ค.ศ. 2023 วิเคราะห์ข้อมูลจาก 20 บทคัดย่อจากงานวิจัยที่ตีพิมพ์ในวารสาร Eye Journal ซึ่งได้ถูกเรียบเกรียงใหม่โดยใช้ GPT-4.0 ในฐานะ AI-paraphrased abstracts บทคัดย่อที่ถูกเรียบเกรียงใหม่โดย AI จากนั้นถูกตรวจสอบเพื่อค้นหาการลอกเลียนโดยใช้ QueText และการสร้างเนื้อหาโดย AI โดยใช้ Originality.AI ข้อความจากนั้นถูกประมวลผ่านซอฟต์แวร์ Adversarial ที่ชื่อ Undetectable.ai เพื่อลดคะแนนการตรวจจับของ AI การศึกษาพบว่า เครื่องมือตรวจจับ AI ชื่อ Originality.AI ระบุข้อความที่สร้างโดย GPT-4 ได้ด้วยความแม่นยำเฉลี่ยที่ 91.3% อย่างไรก็ตาม หลังจากที่ประมวลผ่าน Undetectable.ai ความแม่นยำในการตรวจของ Originality.AI ลดลงมาเป็นเฉลี่ย 27.8%[18][19]

บางผู้เชี่ยวชาญเชื่อว่าเทคนิคเช่น digital watermarking ไม่ได้มีประสิทธิภาพเพราะสามารถถอดหรือเพิ่มเข้าไปเพื่อสร้างผลบวกเท็จ[20]

การตรวจจับภาพ วิดีโอ และเสียง

แก้

มีซอฟต์แวร์ตรวจจับภาพที่ถูกบอกว่าใช้ปัญญาประดิษฐ์หลายตัว ซึ่งตั้งเป้าหมายเพื่อตรวจจับภาพที่สร้างขึ้นโดย AI (ตัวอย่างเช่นจาก Midjourney หรือ DALL-E นั้น) แต่พวกเขาไม่ได้มีความน่าเชื่อถืออย่างสมบูรณ์[21][22]

บางคนอ้างว่าสามารถระบุ deepfake ในวิดีโอและเสียงได้ แต่เทคโนโลยีนี้ยังไม่มีความเชื่อถืออย่างสมบูรณ์แบบ[23]

ถึงแม้จะมีการโต้แย้งเกี่ยวกับประสิทธิภาพของการใส่ watermark จากนั้น Google DeepMind กำลังพัฒนาซอฟต์แวร์ตรวจจับที่ชื่อ SynthID ซึ่งทำงานโดยการแทรก watermark ดิจิตอลที่มองไม่เห็นได้ด้วยตามนิ้วของภาพ[24][25]

อ้างอิง

แก้
  1. "'Don't use AI detectors for anything important,' says the author of the definitive 'AI Weirdness' blog. Her own book failed the test". Fortune (ภาษาอังกฤษ). สืบค้นเมื่อ 2023-10-21.
  2. Weber-Wulff, Debora; Anohina-Naumeca, Alla; Bjelobaba, Sonja; Foltýnek, Tomáš; Guerrero-Dib, Jean; Popoola, Olumide; Šigut, Petr; Waddington, Lorna (2023-12-25). "Testing of detection tools for AI-generated text". International Journal for Educational Integrity (ภาษาอังกฤษ). 19 (1): 26. arXiv:2306.15666. doi:10.1007/s40979-023-00146-z. ISSN 1833-2595.
  3. Hern, Alex (31 December 2022). "AI-assisted plagiarism? ChatGPT bot says it has an answer for that". The Guardian. สืบค้นเมื่อ 11 July 2023.
  4. 4.0 4.1 Sample, Ian (10 July 2023). "Programs to detect AI discriminate against non-native English speakers, shows study". The Guardian. สืบค้นเมื่อ 10 July 2023.
  5. Fowler, Geoffrey A. (2 June 2023). "Detecting AI may be impossible. That's a big problem for teachers". The Washington Post. สืบค้นเมื่อ 10 July 2023.
  6. Tangermann, Victor (9 January 2023). "There's a Problem With That App That Detects GPT-Written Text: It's Not Very Accurate". Futurism. สืบค้นเมื่อ 10 July 2023.
  7. "We tested a new ChatGPT-detector for teachers. It flagged an innocent student". The Washington Post. 1 April 2023. สืบค้นเมื่อ 10 July 2023.
  8. Taylor, Josh (1 February 2023). "ChatGPT maker OpenAI releases 'not fully reliable' tool to detect AI generated content". The Guardian. สืบค้นเมื่อ 11 July 2023.
  9. Williams, Rhiannon (7 July 2023). "AI-text detection tools are really easy to fool". MIT Technology Review. สืบค้นเมื่อ 10 July 2023.
  10. "AI Detection Apps Keep Falsely Accusing Students of Cheating". Futurism. 6 June 2023. สืบค้นเมื่อ 2023-10-21.
  11. Jimenez, Kayla. "Professors are using ChatGPT detector tools to accuse students of cheating. But what if the software is wrong?". USA TODAY (ภาษาอังกฤษแบบอเมริกัน). สืบค้นเมื่อ 2023-10-21.
  12. Klee, Miles (2023-06-06). "She Was Falsely Accused of Cheating With AI -- And She Won't Be the Last". Rolling Stone (ภาษาอังกฤษแบบอเมริกัน). สืบค้นเมื่อ 2023-10-21.
  13. Staton, Bethan (3 April 2023). "Universities express doubt over tool to detect AI-powered plagiarism". Financial Times. สืบค้นเมื่อ 10 July 2023.
  14. Carter, Tom. "Some universities are ditching AI detection software amid fears students could be falsely accused of cheating by using ChatGPT". Business Insider (ภาษาอังกฤษแบบอเมริกัน). สืบค้นเมื่อ 2023-10-21.
  15. Verma, Prashnu (18 May 2023). "A professor accused his class of using ChatGPT, putting diplomas in jeopardy". The Washington Post. สืบค้นเมื่อ 10 July 2023.
  16. "College instructor put on blast for accusing students of using ChatGPT". NBC News. 18 May 2023. สืบค้นเมื่อ 10 July 2023.
  17. Beam, Christopher. "The AI Detection Arms Race Is On—and College Students Are Building the Weapons". Wired (ภาษาอังกฤษแบบอเมริกัน). ISSN 1059-1028. สืบค้นเมื่อ 2023-12-02.
  18. Taloni, Andrea; Scorcia, Vincenzo; Giannaccare, Giuseppe (2023-08-02). "Modern threats in academia: evaluating plagiarism and artificial intelligence detection scores of ChatGPT". Eye (ภาษาอังกฤษ). 38 (2): 397–400. doi:10.1038/s41433-023-02678-7. ISSN 1476-5454. PMID 37532832.
  19. Thompson, David (November 30, 2023). "Researchers Say Undetectable AI May Be a 'Modern Threat to Academia'". The Science Times.
  20. Knibbs, Kate. "Researchers Tested AI Watermarks—and Broke All of Them". Wired (ภาษาอังกฤษแบบอเมริกัน). ISSN 1059-1028. สืบค้นเมื่อ 2023-10-21.
  21. Thompson, Stuart A.; Hsu, Tiffany (28 June 2023). "How Easy Is It to Fool A.I.-Detection Tools?". The New York Times. สืบค้นเมื่อ 10 July 2023.
  22. Rizwan, Choudhury (October 15, 2023). "Expert debunks AI tool's claim that Israel's photo is fake". Interesting Engineering. สืบค้นเมื่อ October 22, 2023.
  23. Hsu, Tiffany; Myers, Steven Lee (18 May 2023). "Another Side of the A.I. Boom: Detecting What A.I. Makes". The New York Times. สืบค้นเมื่อ 10 July 2023.
  24. Pierce, David (2023-08-29). "Google made a watermark for AI images that you can't edit out". The Verge. สืบค้นเมื่อ 2023-10-21.
  25. Wiggers, Kyle (2023-08-29). "DeepMind partners with Google Cloud to watermark AI-generated images". TechCrunch. สืบค้นเมื่อ 2023-10-21.