अपने ब्लॉग में Robots.txt फाइल को कैसे Add करें ? Robots.txt फाइल क्या होता है ? Blog

यहाँ हम आपको बतलाने वाले हैं की Robots.txt क्या होता है , इसे हम अपने ब्लॉग में कैसे जोड़े तथा अपने साईट का Robots.txt फाइल कैसे बनाये | यह हमारे लिए बेहद जरुरी है क्युकी अगर आप अपने साईट को Google पर दिखाना चाहते हैं तो आपको अपने ब्लॉग के सेटिंग में इस Robots.txt फाइल को जरुरी से जोड़ना होगा |

हम नीचे इसके बारे में आपको विस्तार से बतलाये हुए हैं ताकि आपको Robots.txt फाइल से जुडी सारी समस्या दूर हो सके और आप इसके बारे में जान समझ सके 👇👇

Robots.txt क्या होता है ?

Robots.txt एक तरह का text फाइल होता है जिसमें आपके साईट से संबंधित कुछ परमिशन और कुछ ब्लॉक का आदेश लिखा होता है , जो गूगल या कोई और अन्य search इंजन को आदेश देता है की हमारे साईट के इस चीज को आप index करे यानी की लोगों को दिखाए और इस चीज को index न करें यानी की लोगों को न दिखाए |

Robots.txt , text कोड है जो आपको copy करके , अपने साईट के सेटिंग में paste करना होता है |

Robots.txt के text फाइल को अच्छी तरह समझे

Example :--

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.yoursite.com/atom.xml?redirect=false&start-index=1&max-results=500

ऊपर दिया गया यह एक Robots.txt फाइल है इसमें किसे क्या कहा जाता है आइये नीचे जानते हैं --------

User-agent: * इसका मतलब यह होता है की आप सारे Search engine को परमिशन देते हैं की वो आपकी साईट को अपने search में दिखा सकता है |

Disallow: /search इसका मतलब यह होता है की आप सभी search engine को यह आदेश देते हैं की मेरे साईट के tag , category , label , page number etc. को आप index नहीं कर सकते हैं यानी इसे आप अपने search में नहीं दिखा सकते हैं |

Allow: / इसका मतलब यह होता है की आप सभी Search engine को यह परमिशन देते हैं की वो आपकी साईट के प्रत्येक post और पेज को index करे यानी की आपकी साईट के post को वो अपने search में दिखा सकते हैं |

अपने साईट का Robots.txt कैसे बनाये ?

यहाँ हम आपको Robots.txt फाइल बनाने का दो तरीका बतलाने वाले हैं , इनमें से जो आपको पसंद आये , उसका उपयोग कर आप अपनी ब्लॉग में Robots.txt को जोड़ सकते हैं --------

Robots.txt बनाने का पहला तरीका

1. सबसे पहले Generate XML Sitemaps पर क्लिक करें 

2. अब थोडा नीचे आपको Blog URL लिखा हुआ मिलेगा , उसके नीचे वाले box में अपना साईट का यूआरएल डाले |

जैसे माना साईट का यूआरएल https://www.yoursite.com है |

3. अब  Generate XML Sitemap  पर क्लिक करें |

4. अब आपके सामने एक text फाइल बन कर आ चूका होगा , उसमें आप User-agent: * से लेकर अंतिम तक कोड को copy कर ले |

# Blogger Sitemap created on Fri, 29 Oct 2021 07:09:47 GMT
# Sitemap built with https://www.labnol.org/blogger/sitemap

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.yoursite.com/atom.xml?redirect=false&start-index=1&max-results=500

इस तरह से आपका Robots.txt फाइल बन गया |

नोट :--- अगर आपके साईट के पोस्ट की संख्या 500 से अधिक हो जाए तो आप अपने blogger के settings में जाकर robots.txt में sitemap में नीचे दिया गया एक और कोड paste कर ले |

Sitemap: https://www.yoursite.com/atom.xml?redirect=false&start-index=501&max-results=1000

याद रखे की yoursite.com की जगह पर अपने साईट का डोमेन रखना है |

Robots.txt बनाने का दूसरा तरीका

1. नीचे दिए गए Robots.txt file code को डाउनलोड करें |

Download File

2. अब डाउनलोड txt फाइल को open करें |

3. अब उसमें your site URL के जगह पर अपने साईट का यूआरएल लगा दे |

नोट :--- अपने साईट के यूआरएल में https://www. शुरू में जरुर लगाये |

4. अब सभी कोड को copy कर ले |

इस तरह से आपका Robots.txt फाइल बन गया |

नोट :--- अगर आपके साईट के पोस्ट की संख्या 500 से अधिक हो जाए तो आप अपने blogger के settings में जाकर robots.txt में sitemap में नीचे दिया गया एक और कोड paste कर ले |

Sitemap: https://www.yoursite.com/atom.xml?redirect=false&start-index=501&max-results=1000

याद रखे की yoursite.com की जगह पर अपने साईट का डोमेन रखना है |

अपने ब्लॉग में Robots.txt फाइल को कैसे जोड़े ?

1. सबसे पहले blogger.com को open करें |

2. अब Settings में जाए |

3. अब नीचे जाए , आपको Crawlers and indexing लिखा हुआ heading मिलेगा |

4. उसमें अगर Enable custom robots.txt के सामने वाला बटन on है तो ठीक है , अगर on नहीं है तो आप उसे on कर ले |

5. अब Custom robots.txt पर आप क्लिक कर ऊपर दिए गए विधि द्वारा अपना साईट का Robots.txt बना हुआ कोड को यहाँ paste कर दे |

6. अब कोड paste करने के बाद Save बटन पर क्लिक करे |

इस तरह से आपके ब्लॉग में Robots.txt फाइल add हो गया |

अपने या दुसरो के साईट का Robots.txt फाइल कैसे देखे ?

1. सबसे पहले जिस साईट का Robots.txt फाइल देखना है उसका यूआरएल copy कर ले या अगर खुद का देखना है तो खुद के साईट का यूआरएल copy कर ले |

2. अब copy किये हुए यूआरएल में / के बाद robots.txt लिखकर उसे गूगल में search करे |

जैसे --  https://www.infoshashikant.com/robots.txt लिखकर को copy कर आप गूगल में जहाँ साईट को लिखकर open करते हैं , वही इसे लिखकर search करे |

3. आपको उस साईट का robots.txt फाइल दिखने लगेगा |

ब्लॉग में Robots.txt फाइल जोड़ने के फायदे

• ब्लॉग में Robots.txt फाइल जोड़ने से आपकी SEO setting में सुधार आती है |
  
• ब्लॉग में Robots.txt फाइल जोड़ने के बाद ही गूगल के bot आपकी साईट को index करते हैं , तभी आपका साईट गूगल पर आता है |
  
  
• Robots.txt जोड़ने से आपके साईट के वो सारे चीज जिन्हें आप index नहीं कराना चाहते हैं , वो index नहीं होते हैं |
  
  
• Robots.txt में आप अलग से और कुछ भी जोड़कर गूगल के bot को बतला सकते हैं की वो आपकी साईट के किन किन चीजो को index करे और न करे | इसके लिए आपको Robots.txt का ज्ञान होना चाहिए |
  
  
• Robots.txt जोड़ने से गूगल के bot को आपकी प्रत्येक post के बारे में पता चलता रहता है |

निष्कर्ष

यहाँ दी गयी जानकारी के बारे में नीचे कमेंट बॉक्स में जरुर बताये ताकि हमें पता चल सके की यह post आपको कैसा लगा |

नीचे दिए गए शेयर बटन के द्वारा इस post को सभी जगह अवश्य शेयर करे ताकि दुसरो को भी इसका लाभ मिल सके |