Custom Robots.txt क्या है? क्यों जरुरी है? कैसे Use करे?

Custom Robots.txt क्या है? क्यों जरुरी है? कैसे Use करे?

robots.txt sitemap, robots txt file
अगर आपका कोई ब्लॉग या वेबसाइट है और आपको पता नहीं है की robots.txt क्या है? तो जानना बहुत जरुरी है. इसमें हम आपको अच्छे तरह से robots.txt के बरे में जानकरी दिए है.

robots.txt के सही जानकारी नहीं होने के कारन हमारे ना चाहते हुए भी ब्लॉग की सारे इनफार्मेशन सर्च रिजल्ट में show हो जाता है. 

इस पोस्ट में हम इन सभी के बारे में बिस्तार से जानकारी देने बाले है की कैसे आप अपनी मर्जी के अनुसर जो चाहते है वो ही सर्च रिजल्ट में पोस्ट के साथ दिखा सकते है.

robots.txt को custom robots.txt भी कहा जाता है. यह एक छोटा सा text फाइल होता है जो ब्लॉग पर सर्च इंजन की bots को बताता है की ब्लॉग की किस जानकारी को crawl या index करना है.

जैसे की आप इस सेटिंग से अपने ब्लॉग की सिर्फ आर्टिकल show कराना चाहते है तो सिर्फ आर्टिकल ही show करा पाएंगे.

सर्च इंजन की bots या robots ने robots.txt फाइल को follow करने के बाद दिखता है. ऐसे में अगर ब्लॉग में txt फाइल add नहीं किये है तो वह अपनी मर्जी से जो चाहे वो दिखायेगा.

Robots.txt क्या है?

custom robots txt content

सर्च इंजन का bots या robots आपके द्वारा ब्लॉग के robots.txt फाइल में दिया गया command पर निर्भर करता है. की आप सिर्फ अर्टिक दिखाना चाहते है या इसके साथ कुछ और भी. आप जिस तरह से robots.txt फाइल में command देंगे उसी के अनुसार दिखायेगा.

जैसे की अगर आप ब्लॉग में category या tags को index कराना नहीं चाहते है. यानि छुपाना चाहते है तो ऐसा command देकर कर सकते है. उसके बाद किसी भी सर्च इंजन जैसे की google,yahoo,bing पर category और tags नहीं दिखेगा.

आप अगर यह जानना चाहते है की किस ब्लॉग का robots.txt क्या है तो किसी भी browser में आपको उस ब्लॉग या वेबसाइट का url address के बाद /robots.txt टाइप करने होंगे. इस तरह से आप अपना भी देख सकते है. ध्यान रहे की जिस ब्लॉग में robots.txt add नहीं किया गया होगा उसमे show नहीं करेगा.

Robots.txt File के फायदे.

custom robots txt

ब्लॉग में robots.txt file add करने के बहुत सारे फायदे होते है.

robots.txt की मदद से अपने ब्लॉग के किसी भी पोस्ट या कंटेंट को सर्च इंजन से प्राइवेट पाएंगे.

किसी भी टाइप की डाटा जैसे की फाइल, फोल्डर, इमेज, pdf आदि को सर्च इंजन में Index /show होने से रोक पाएंगे.

सर्च इंजन क्रॉलर द्वारा सर्च रिजल्ट में ब्लॉग की आर्टिकल सिर्फ आर्टिकल ना दिखकर उसी में सब कुछ दिखाने लगता है. जिसे आप robots txt के माध्यम से क्लियर और क्लीन सिर्फ आर्टिकल देखा पाएंगे.

robots txt फाइल के माध्यम से आप sensitive information को भी प्राइवेट रख सकेंगे.

Robots txt के द्वारा ब्लॉग की sitemap से सर्च इंजन की bots को स्पस्ट पता चलता है. जिससे ब्लॉग को अच्छा इंडेक्स करा पाएँगे.

अपने अनुसार ब्लॉग के categories, labels, tags, images, document, etc. को index होने से रोक पाएंगे.

search engine में index होने से पहले ही ब्लॉग की duplicate page को ignore करा कर सर्च रिजल्ट में show होने से पहले ही रोक सकेंगे.

Robots.txt की Syntax क्या है? 

robots txt की सेटिंग में काम आने बाले कुछ syntax के बारे में जानना बहुत जरुरी है. क्योकि सभी command की सही जानकारी होने के बाद ही अपने ब्लॉग पर अच्छे से command देकर add कर पाएंगे.

अब एक-एक कर सभी command के बारे में डिटेल्स में जानेंगे की कौन से command का क्या मतलब है.

Allow :- आप robots txt के text file के अन्दर जिस तरह की command देंगे या allow करेंगे उसी के अनुसार सर्च इंजन की bots ब्लॉग की content को crawl या index करेगा. और सर्च रिजल्ट में show करेगा.

Disallow :- ब्लॉग address के बाद आया हुआ Unwanted वर्ड या Categories, Labels, Tags को Search Engine में Index करने से रोक सकेंगे. 

User-Agent:- यह एक bots को दिया जाने बाला command होता है जैसे की Google Bot, Google Bot-Image, AdsBot Google, Mediapartners-Google इत्यादि. इस command को user-agent के सामने लिखेंगे.

User-Agent : * :- सभी Search Engine Robots को Same Command देने की स्थिति में User-Agent के सामने * चिन्ह का उपयोग करेंगे.

User-Agent : Mediapartner-GoogleUser :- ब्लॉग पर AdSense का ads लगा होने पर user-Agent के सामने Mediapartner-GoogleUser जैसे command का प्रयोग करेंगे. इसके प्रयोग से ब्लॉग पर ads दीखते समय उसमे ads code नहीं दिखेगा.

Sitemap.xml :- यह xml file होता है. sitemap.xml के माध्यम से Google को ब्लॉग की सभी पोस्ट को जानकारी होती है. जिससे search engine आपके blog की posts को आसानी से index और रैंक करा सकता है.

Custom Robots.txt File कैसे add करे?

custom robots txt generator for blogger

अपने blogger में custom robot.txt add करने के बारे में हम बताने बाले है की किस तरह से अपने ब्लॉग के लिए एक robots txt फाइल generate और add कर पायेगे.

इसके लिए निचे दिए गए सभी steps को अच्छे से समझे. क्योकि robot.txt file में गलत कोड add करने यानि गलत command से आपके ब्लॉग के ranking पर गलत effect पड़ता है.

robots txt फाइल generate करने के लिए कई वेबसाइट उपलब्ध है. जिसके द्वारा फ्री में generate कर सकते है.

आप निचे दिए गए robots.txt फाइल code को भी कॉपी करके अपने ब्लॉग में add कर सकते है. add अकरने से पहले इसमें से http://www.example.com के स्थान पर अपना blog का url address रिप्लेस कर दे.

Robot.txt file code

robot.txt example
Generallly सभी लोग निचे दिए गए दो टाइप की code का ही प्रयोग करता है. जिसमे अपने अनुसार और command दे सकते है.

User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.example.com/atom.xml?redirect=false&start-index=1&max-results=500. 

या 

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml

अगर ब्लॉग पर गूगल ads use करते है तो इस तरह की command add हो जायेगा जैसे की निचे दिया गया है.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml

अब इस robots.txt text को अपने ब्लॉग पर पेस्ट करना है. यह कैसे और कहाँ पर add करना है जिसके बारे में हम निचे बताने बाले है.

ब्लॉग में Robots.txt File को add करने की सेटिंग को जाने.

add custom robots.txt file in blogger, custom robots.txt for blogger, custom robots txt

यह सेटिंग करने के लिए सबसे पहले अपने ब्लॉग की dashboard में जाकर सेटिंग पर क्लिक करेंगे.

custom robots.txt, robots.txt generator, robots.txt sitemap, robots.txt no index, custom robots.txt for blogger, robots txt file, txt file, dtechin

उसके बाद पेज को उपर की तरफ scroll करके “Crawlers and indexing” लिखा हुआ head सेक्शन में जायेंगे.

उसके बाद अब Enable custom robots.txt पर क्लिक करके उसे इनेबल करेंगे.

फिर अब Custom robots.txt पर क्लिक करेंगे.

उसके बाद Custom robots.txt को add करने के लिए एक छोटा सा पेज open होगा. जिसमे इस text को paste करने है.

अब अंत में save पर क्लिक करके उसे save करे.

अब आपके ब्लॉग में Custom robots.txt add हो गया.

हमें आशा है की आप बिलकुल ही अच्छे से समझ गए होंगे की custom robots.txt क्या है. ब्लॉग के लिए क्यों जरुरी है. और यह ब्लॉग में कैसे add किया जाता है. और अपने ब्लॉग में अच्छे से add कर पाएंगे. अगर यह जानकरी अच्छी लगी हो तो कृपया ब्लॉग के लिए इस useful जानकारी को सोशल साईट पर जरुर शेयर करे.