Tìm hiểu về Robot.txt

Trong quá trình tìm hiểu về SEO cho blogspot chắc chắn bạn sẽ bắt gặp khái niệm Robot.txt, và ai cũng rất đề cao về tầm quan trọng của nó. 

Vậy Robot.txt là gì? và tại sao nó lại quan trọng đến vậy.

Hôm nay chúng ta sẽ cùng tìm hiểu một chút về nó nhé!

1. KHÁI NIỆM ROBOT.TXT

File robot.txt là tập tin text đơn giản, có thể tạo bởi notepad, để các bộ máy tìm kiếm biết được quyền truy cập của nó vào nội dung website hay blog của bạn. Tập tin này được đặt trong thư mục gốc của website và ngang cấp với tập tin Index.html

File Robot.txt chứa các câu lệnh điều hướng để admin của website hay blog cho phép hay không cho phép bot của các công cụ tìm kiếm lập chỉ mục hay không lập chỉ mục thành phần nào trong website của mình.

2. TẦM QUAN TRỌNG CỦA ROBOT.TXT

Khi bot của các search energy lần mò vào website của bạn thì người đầu tiên tiếp khách là robot.txt. Em nó sẽ chỉ dẫn cho chú bot kia chỗ nào trong web của bạn chú ấy được ngó tới, chỗ nào không được phép. Vì vậy mà em nó rất quan trọng :D

3. TẠO FILE ROBOT.TXT CHUẨN SEO

Cấu trúc cơ bản của một file Robot.txt như sau:

User-Agent:*
Allow:
Disallow:
Sitemap:

- User-Agen: Tên tuổi của chú bot  :D
- Allow: Cho phép chú ấy vào góc nào của nhà bạn.
- Disallow: Không cho phép vào xó nào :D
- Sitemap: Sơ đồ nhà :D (bạn muốn chỉ đường cho ai thì cũng phải có sơ đồ phải không nào :D )

Ví dụ luôn 1 kiểu robot.txt cho dễ hiểu:

User-Agent:googlebot-mobile
Disallow:/
User-agent:*
Disallow:/search
Allow:/

Giải thích :

 User-Agent:googlebot-mobile Kêu chú bot có tên là googlebot-mobile lại nói chuyện và nói với chú ấy rằng Disallow:/ Nghĩa là các chú ấy không được vào :D

User-agent:* Còn tất cả các chú còn lại  Disallow:/search không được chui vào góc tên là search cón các góc khác thì Allow:/ được phép :D

Thật ra thì đối với blogspot, các bạn search file robot.txt chuẩn sẽ có rất nhiều, nên ở đây mình nói sơ qua với các bạn để chúng ta hiểu hơn nó là cái gì :D

Còn phần thêm robot.txt cho blog các bạn có thể ghé thăm tại bài viết :

File robot.txt chuẩn SEO cho blogspot

Mình là dân không chuyên, kiến thức do tìm hiểu và chắt lọc mà có, nên có thể ngôn từ không chuẩn với các bạn IT và sẽ có nhiều sai sót. Vì vậy mong được các bạn góp ý để mình hoàn thiện hơn. Cám ơn các bạn đã quan tâm!