ความหมายของ Web Spidering และ Web Crawlers

แมงมุมเป็นโปรแกรม (หรือสคริปต์อัตโนมัติ) ที่ 'รวบรวมข้อมูล' ผ่านทางเว็บเพื่อหาข้อมูล แมงมุมเดินทางผ่าน URL ของเว็บไซต์และสามารถดึงข้อมูลจากหน้าเว็บต่างๆเช่นที่อยู่อีเมล แมงมุมยังใช้ในการป้อนข้อมูลที่พบในเว็บไซต์ไปยังเครื่องมือค้นหา

แมงมุมซึ่งเรียกว่า 'โปรแกรมรวบรวมข้อมูลเว็บ' จะค้นหาเว็บและไม่ทั้งหมดมีความเป็นมิตรในความตั้งใจของพวกเขา

ผู้ส่งอีเมลขยะ Spider เว็บไซต์เพื่อรวบรวมข้อมูล

Google, Yahoo!

และเครื่องมือค้นหาอื่น ๆ ไม่ได้เป็นเพียงคนเดียวที่สนใจในการรวบรวมข้อมูลเว็บไซต์ - เพื่อเป็นนักสแปมเมอร์และสแปมเมอร์

แมงมุมและเครื่องมืออัตโนมัติอื่น ๆ ถูกใช้โดยผู้ส่งอีเมลขยะเพื่อหาที่อยู่อีเมล (บนอินเทอร์เน็ตการปฏิบัตินี้มักเรียกว่า 'harvesting') บนเว็บไซต์แล้วใช้เพื่อสร้างรายชื่อสแปม

แมงมุมเป็นเครื่องมือที่เครื่องมือค้นหาใช้เพื่อค้นหาข้อมูลเพิ่มเติมเกี่ยวกับเว็บไซต์ของคุณ แต่ไม่ได้เลือกใช้เว็บไซต์ที่ไม่มีคำแนะนำ (หรือ 'สิทธิ์') ในการรวบรวมข้อมูลไซต์ของคุณ ความเสี่ยงด้านความปลอดภัยข้อมูล แมงมุมเดินทางโดยทำตามลิงก์และพวกเขาเชี่ยวชาญในการค้นหาลิงก์ไปยังฐานข้อมูลไฟล์โปรแกรมและข้อมูลอื่น ๆ ที่คุณอาจไม่ต้องการให้พวกเขาเข้าถึงได้

ผู้ดูแลเว็บสามารถดูบันทึกเพื่อดูว่าสไปเดอร์และหุ่นยนต์คนอื่น ๆ ได้เยี่ยมชมเว็บไซต์ของตนหรือไม่ ข้อมูลนี้ช่วยให้ผู้ดูแลเว็บทราบว่าใครเป็นผู้จัดทำดัชนีไซต์ของตนและบ่อยแค่ไหน

ข้อมูลนี้มีประโยชน์เพราะช่วยให้เว็บมาสเตอร์สามารถปรับแต่ง SEO และอัปเดตหุ่นยนต์ได้ txt เพื่อห้ามไม่ให้โรบอตบางรุ่นรวบรวมข้อมูลไซต์ของตนในอนาคต

เคล็ดลับในการปกป้องเว็บไซต์ของคุณจากซอฟต์แวร์รวบรวมข้อมูลหุ่นยนต์ที่ไม่พึงประสงค์

มีวิธีง่ายๆในการเก็บซอฟต์แวร์รวบรวมข้อมูลที่ไม่ต้องการออกจากเว็บไซต์ของคุณ แม้ว่าคุณจะไม่กังวลเกี่ยวกับแมงมุมที่เป็นอันตรายที่รวบรวมข้อมูลไซต์ของคุณก็ตาม (การซ่อนที่อยู่อีเมลจะไม่ปกป้องคุณจากโปรแกรมรวบรวมข้อมูลส่วนใหญ่) คุณยังคงต้องให้เครื่องมือค้นหาพร้อมคำแนะนำที่สำคัญ

เว็บไซต์ทั้งหมดควรมีไฟล์อยู่ในไดเรกทอรีรากที่เรียกว่าโรบ็อต ไฟล์ txt ไฟล์นี้ช่วยให้คุณสามารถแนะนำโปรแกรมรวบรวมข้อมูลเว็บที่คุณต้องการให้ดูหน้าดัชนี (เว้นแต่จะมีการระบุไว้เป็นอย่างอื่นในข้อมูลเมตาของหน้าที่เฉพาะเจาะจงเพื่อไม่จัดทำดัชนี) ถ้าเป็นเครื่องมือค้นหา

เช่นเดียวกับที่คุณสามารถบอกได้ว่าโปรแกรมรวบรวมข้อมูลที่ต้องการที่คุณต้องการเรียกดูคุณยังสามารถบอกได้ว่าพวกเขาอาจไม่ไปและแม้แต่บล็อกโปรแกรมรวบรวมข้อมูลเฉพาะจากเว็บไซต์ของคุณทั้งหมด

เป็นสิ่งสำคัญที่ต้องจำไว้ว่าให้รวบรวมหุ่นยนต์ไว้ด้วยกัน txt จะมีมูลค่ามหาศาลสำหรับเครื่องมือค้นหาและอาจเป็นองค์ประกอบสำคัญในการปรับปรุงประสิทธิภาพของเว็บไซต์ของคุณ แต่ซอฟต์แวร์รวบรวมข้อมูลของหุ่นยนต์บางส่วนจะไม่สนใจคำแนะนำของคุณ ด้วยเหตุนี้คุณจำเป็นต้องทำให้ซอฟต์แวร์ปลั๊กอินและแอปของคุณอัปเดตอยู่เสมอตลอดเวลา

บทความและข้อมูลที่เกี่ยวข้อง

เนื่องจากความชุกของการเก็บเกี่ยวข้อมูลที่ใช้เพื่อวัตถุประสงค์ที่ไม่เป็นธรรม (สแปม) จึงได้มีการออกกฎหมายในปี 2546 เพื่อทำให้การปฏิบัติบางอย่างผิดกฎหมาย กฎหมายคุ้มครองผู้บริโภคเหล่านี้อยู่ภายใต้พระราชบัญญัติ CAN-SPAM ปีพ. ศ. 2546

เป็นเรื่องสำคัญที่คุณต้องใช้เวลาในการอ่านพระราชบัญญัติ CAN-SPAM หากธุรกิจของคุณดำเนินการเกี่ยวกับการส่งจดหมายหรือการรวบรวมข้อมูลเป็นจำนวนมาก

CAN-SPAM Act 2003

• CAN-SPAM Act 2003
• คุณสามารถหาข้อมูลเพิ่มเติมเกี่ยวกับกฎหมายต่อต้านสแปมและวิธีการจัดการกับผู้ส่งอีเมลขยะและสิ่งที่คุณเป็นเจ้าของธุรกิจไม่สามารถทำได้โดยอ่านบทความต่อไปนี้ < กฏกติกาของสแปมสำหรับองค์กรที่ไม่แสวงหาผลกำไร
• 5 กฎของ CAN-SPAM เจ้าของธุรกิจขนาดเล็กจำเป็นต้องทำความเข้าใจกับ