Robots.txt คืออะไร? คู่มือสร้าง “ชุดคำสั่ง” สำหรับ Search Engine Bot

สมมติว่าเว็บไซต์ของคุณคือ “อาคารสำนักงาน” และ Search Engine Bot คือ “ผู้มาเยือน” ที่ต้องการจะเข้ามาสำรวจพื้นที่ทั้งหมด ไฟล์ Robots.txt ก็เปรียบเสมือน “กฎระเบียบและป้ายบอกทาง” ที่ติดไว้หน้าประตูทางเข้า ซึ่งจะบอกผู้มาเยือนอย่างชัดเจนว่า “พื้นที่ไหนเข้าชมได้” และ “พื้นที่ไหนเป็นเขตส่วนตัว ห้ามเข้า”

มันคือไฟล์แรกที่ Bot จะมองหาเมื่อมาถึงเว็บไซต์ของคุณ และเป็นเครื่องมือพื้นฐานที่สำคัญอย่างยิ่งในการสื่อสารกับ Bot บทความนี้จะอธิบายทุกอย่างที่คุณต้องรู้เกี่ยวกับไฟล์นี้แบบเข้าใจง่ายที่สุด

1. ทำความเข้าใจ Robots.txt

Robots.txt คืออะไร? Robots.txt คือ ไฟล์ข้อความธรรมดา (Text File) ที่ถูกวางไว้ในตำแหน่งบนสุดของเว็บไซต์ (Root Directory) เช่น yourdomain.com/robots.txt โดยภายในไฟล์จะบรรจุ “ชุดคำสั่ง” ที่เราเขียนขึ้นเพื่อแนะนำ Web Robots (หรือ Bot/Crawler) ว่ามีหน้า, ไฟล์, หรือโฟลเดอร์ใดบ้างในเว็บไซต์ที่เจ้าของเว็บ ไม่อนุญาต ให้เข้ามาเก็บข้อมูล

2. Robots.txt ทำงานอย่างไร?

โดยปกติแล้ว เมื่อ Bot ของ Search Engine (เช่น Googlebot) เดินทางมาถึงเว็บไซต์ของคุณ สิ่งแรกที่มันจะทำก่อนจะเริ่มเก็บข้อมูลก็คือ การเข้าไปตรวจสอบไฟล์ yourdomain.com/robots.txt เพื่ออ่าน “กฎ” ที่เจ้าของเว็บได้ตั้งไว้ จากนั้นมันก็จะปฏิบัติตามกฎเหล่านั้นในการเก็บข้อมูลต่อไป

3. ทำไม Robots.txt ถึงมีความสำคัญ?

1. ช่วยบริหารจัดการ Crawl Budget: Bot มีโควต้าพลังงานในการเข้ามาเก็บข้อมูลในแต่ละเว็บอย่างจำกัด การใช้ Robots.txt เพื่อบล็อกหน้าเว็บที่ไม่สำคัญ จะช่วยให้ Bot ไม่ต้องเสียเวลา และนำพลังงานไปใช้กับหน้าที่สำคัญๆ ของคุณแทน
2. ช่วยป้องกันการเข้าถึงหน้าที่ไม่ต้องการให้แสดงผล: คุณสามารถใช้มันเพื่อบล็อกหน้าเว็บที่ไม่ต้องการให้คนทั่วไปค้นหาเจอได้ เช่น หน้าแอดมินสำหรับเข้าระบบ, หน้าตะกร้าสินค้า, หรือไฟล์เอกสารภายใน
3. ช่วยป้องกันปัญหา Duplicate Content เบื้องต้น: ใช้บล็อก URL ที่มี Parameter ซึ่งอาจทำให้เกิดเนื้อหาซ้ำซ้อนได้

4. ข้อจำกัดของ Robots.txt ที่ต้องรู้

• ไม่สามารถ “บังคับ” Bot ได้ 100%: Bot ที่ดี (เช่น Googlebot, Bingbot) จะปฏิบัติตามคำสั่งของคุณเสมอ แต่ Bot ที่ไม่ดี (เช่น Bot ของสแปมเมอร์) อาจจะเมินคำสั่งของคุณและเข้ามาเก็บข้อมูลอยู่ดี
• “ไม่สามารถ” ป้องกันการ Index ได้: นี่คือข้อที่สำคัญที่สุดและคนมักเข้าใจผิด การใช้คำสั่ง Disallow เป็นแค่การ “ห้ามเข้ามาดู” แต่ “ไม่ได้ห้ามนำไปจัดเก็บในฐานข้อมูล (Index)” หากหน้าที่คุณบล็อกไว้ ได้รับ Backlink จากเว็บไซต์อื่น Google อาจจะยังคงนำ URL นั้นไป Index ได้อยู่ (แต่จะไม่มีข้อมูลเนื้อหา) หากคุณต้องการบล็อกหน้าเว็บไม่ให้ถูก Index อย่างเด็ดขาด ต้องใช้ Meta Tag Noindex เท่านั้น

5. รู้จักคำศัพท์และโครงสร้างพื้นฐาน (Syntax)

ไฟล์ Robots.txt ประกอบด้วยคำสั่งง่ายๆ ดังนี้:

• User-agent: คือการระบุ “ชื่อของ Bot” ที่เราต้องการจะออกคำสั่ง
  • User-agent: * (ดอกจันหมายถึง Bot ทุกตัว)
  • User-agent: Googlebot (หมายถึงเฉพาะ Bot ของ Google)
• Disallow: คือคำสั่ง “ห้ามเข้า” ตามด้วย Path ของไฟล์หรือโฟลเดอร์
  • Disallow: /private/ (ห้ามเข้าทุกอย่างที่อยู่ในโฟลเดอร์ private)
  • Disallow: / (ห้ามเข้าทั้งเว็บไซต์ ซึ่งเป็นคำสั่งที่อันตรายมาก)
• Allow: คือคำสั่ง “อนุญาต” ใช้ในกรณีที่ซับซ้อนขึ้น เช่น การบล็อกทั้งโฟลเดอร์แต่ต้องการอนุญาตให้เข้าถึงแค่ไฟล์เดียวในนั้น
• Sitemap: ใช้เพื่อบอกตำแหน่งของไฟล์ Sitemap ของคุณ ทำให้ Bot หาเจอได้ง่ายขึ้น
  • Sitemap: https://www.yourdomain.com/sitemap.xml

ตัวอย่างไฟล์ Robots.txt ที่สมบูรณ์:

User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://www.yourdomain.com/sitemap.xml

6. วิธีการสร้างและตรวจสอบไฟล์ Robots.txt

• วิธีสร้างไฟล์:
  1. เปิดโปรแกรม Text Editor (เช่น Notepad)
  2. พิมพ์คำสั่งที่คุณต้องการลงไป
  3. บันทึกไฟล์โดยตั้งชื่อว่า robots.txt
  4. อัปโหลดไฟล์นี้ไปไว้ที่ Root Directory ของเว็บไซต์คุณ
• วิธีตรวจสอบ:
  • คุณสามารถทดสอบไฟล์ของคุณได้ด้วยเครื่องมือออนไลน์ต่างๆ หรือใช้เครื่องมือ Robots.txt Tester ที่มีใน Google Search Console เวอร์ชันเก่า
• วิธีหาไฟล์ Robots.txt ของเว็บเรา:
  • เพียงแค่พิมพ์ URL ของคุณตามด้วย /robots.txt ในเบราว์เซอร์ (เช่น https://www.yourdomain.com/robots.txt)

7. ข้อผิดพลาดที่พบบ่อยและควรหลีกเลี่ยง

• การบล็อกทั้งเว็บไซต์โดยไม่ตั้งใจ (Disallow: /): เป็นความผิดพลาดร้ายแรงที่สุดที่จะทำให้เว็บของคุณหายไปจาก Google
• การบล็อกไฟล์ CSS หรือ JavaScript: อาจทำให้ Google ไม่สามารถแสดงผลหน้าเว็บของคุณได้อย่างถูกต้อง และส่งผลเสียต่อการจัดอันดับ

บทสรุป

Robots.txt คือเครื่องมือพื้นฐานแต่ทรงพลังในการสื่อสารกับ Search Engine Bot เพื่อกำหนด “กฎ” ภายในเว็บไซต์ของคุณ การใช้งานอย่างถูกต้องจะช่วยให้การทำ SEO มีประสิทธิภาพมากขึ้น