ผลต่างระหว่างรุ่นของ "เอนโทรปีของข้อมูล"
เนื้อหาที่ลบ เนื้อหาที่เพิ่ม
ลไม่มีความย่อการแก้ไข |
|||
บรรทัด 5:
==แนวคิดเบื้องต้น==
แนวคิดเบื้องต้นของเอนโทรปีใน[[ทฤษฎีข้อมูล]] คือ เป็นลักษณะที่บ่งชี้ระดับการสุ่มของสัญญาณหรือเหตุการณ์สุ่ม ว่ามีมากน้อยเพียงใด หรือเราอาจมองอีกมุมหนึ่งว่าเป็นตัวบ่งบอกว่าสัญญาณอันหนึ่งบรรจุข้อมูลอยู่เท่าไร
ตัวอย่างเช่น พิจารณาข้อความในภาษาอังกฤษ ซึ่งประกอบด้วยตัวอักษรและเครื่องหมายต่างๆ (ซึ่งสัญญาณของเราในที่นี้ก็คือลำดับของตัวอักษรและเครื่องหมายนั่นเอง) สังเกตว่าตัวอักษรบางตัวมีโอกาสปรากฏขึ้นมาน้อยมาก (เช่น z) แต่บางตัวกลับปรากฏบ่อยมาก (เช่น e) ดังนั้นข้อความภาษาอังกฤษนั้นก็ไม่ได้เรียกว่าสุ่มซะทีเดียว (ถ้าสุ่มจริง ข้อความน่าจะออกมาเป็นคำมั่วๆ อ่านไม่ได้ใจความ) อย่างไรก็ตาม ถ้าเราได้คำชุดหนึ่งมา เราก็ไม่อาจคาดเดาได้ว่าคำต่อไปเป็นคำว่าอะไร แสดงว่ามันก็มี'ความสุ่ม'อยู่บ้าง ไม่ได้เที่ยงแท้ซะทีเดียว เอนโทรปีก็คือการวัดระดับความสุ่มนี้นั่นเอง โดยกำเนิดมาจากผลงานของ [[เคลาด์ อี แชนนอน]] ในปี[[พ.ศ.2491]](ค.ศ.1948) ชื่อ [http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html A Mathematical Theory of Communication]
แชนนอนสร้างบทนิยามของเอนโทรปีขึ้นจากข้อสมมติฐานว่า
* ค่านี้จะต้องมีสัดส่วน (ที่ต่อเนื่อง) นั่นคือ หากเปลี่ยนค่าของความน่าจะเป็นอันหนึ่งเพียงเล็กน้อย ค่าเอนโทรปีก็ควรเปลี่ยนเพียงเล็กน้อยเช่นกัน
* หากผลลัพธ์ (เช่น ตัวอักษรและเครื่องหมายในตัวอย่างข้างต้น) ทุกอันมีโอกาสเกิดเท่าๆกันแล้ว การเพิ่มจำนวนตัวอักษร(และเครื่องหมาย)จะต้องทำให้ค่าเอนโทรปีเพิ่มขึ้นด้วยเสมอ
* เราต้องสามารถใช้วิธีเลือกผลลัพธ์(ตัวอักษร)โดยทำเป็นสองขั้นตอน และในกรณีนี้ค่าเอนโทรปีของผลลัพธ์สุดท้ายต้องเท่ากับเอนโทรปีของทั้งสองขั้นตอนบวกกัน(โดยมีการถ่วงน้ำหนัก)
==นิยามทางการ==
| |||