Robots.txt File Kya Hoti Hai: अपनी वेबसाइट के लिए कैसे बनायें

अगर आप Blogger या SEO Person है तो आपने Robots.txt File का नाम जरुर सुना होगा. पर क्या आप जानते हैं Robots.txt File Kya Hoti Hai? इसे क्यों बनाया जाता है ? इसे बनाने के क्या फायदे होते हैं? और इसे कैसे बनायें?

अगर आप ऊपर पूछे गए सभी प्रश्नों का जवाब जानना चाहते हैं तो इस लेख को पूरा पढ़िए. इसमें मैंने आपको Robots.txt File की पूरी जानकारी विस्तार से बताई है .मुझे पूरी उम्मीद है कि इस लेख को पढने के बाद आपको Same Information के लिए किसी दूसरे किसी वेबसाइट पर जाने की जरुरत नहीं पड़ेगी.

तो चलिए बिना देरी किये शुरू करते हैं आज का यह लेख और जानते हैं Robots.txt फाइल क्या है की पूरी जानकारी आसान शब्दों में.

Robots.txt File क्या है

Robots.txt File एक ऐसी फाइल होती है जिसके द्वारा वेबमास्टर सर्च इंजन क्रॉलर को निर्देश देते हैं कि वेबसाइट के कौन से पेज को क्रॉल करना है और किस पेज को क्रॉल नहीं करना है.

जब भी हम कोई ब्लॉग या वेबसाइट बनाते हैं तो सर्च इंजन के Robot या क्रॉलर हमारे वेबसाइट के हर एक पेज को Crawl करते हैं और फिर Index करते हैं. पर वेबसाइट में कुछ ऐसे पेज भी होते हैं जिन्हें हम चाहते हैं कि ये पेज प्राइवेट ही रहे. मतलब सर्च इंजन के क्रॉलर इन्हें क्रॉल ना करें. सर्च इंजन के क्रॉलर को यह निर्देश देने के लिए Robots.txt File का प्रयोग किया जाता है.

Definition of Robots.txt File in Hindi

किसी वेबसाइट में Robots.txt File वह फाइल होती है जिसके माध्यम से सर्च इंजन क्रॉलर को यह निर्देश दिया जाता है कि वेबसाइट के किस पेज को क्रॉल करना है और किस पेज को नहीं.

Robots.txt File कैसे काम करती है ?

मैंने एक पिछले लेख में आपको बताया था कि Search Engine काम कैसे करते हैं. इसके दो प्रमुख काम हैं एक तो Crawling और दूसरा Indexing .

जब भी कोई सर्च इंजन बोट्स हमारी वेबसाइट पर आता है तो वह सबसे पहले Robots.txt File को ढूंढता है और देखता है कि उसे क्या निर्देश मिले हैं. और फिर उसी के अनुसार वह वेबसाइट की Crawling और Indexing करता है. अगर सर्च इंजन बोट्स को Robots.txt File बनी नहीं मिलती है तो वह वेबसाइट के सभी पेज को Crawl कर लेता है.

जितने भी भरोसेमंद सर्च इंजन हैं वह सभी Robots.txt File के निर्देशों का सख्ती के साथ पालन करते हैं. जैसे Google, Bing आदि.

Robots.txt File क्यों बनाई जाती है ?

एक सवाल आप सभी के मन में आ रहा होगा कि हम ऐसा चाहते ही क्यों हैं कि हमारी वेबसाइट के कुछ पेज Index न हो? क्योकि जब भी ब्लॉगर नया ब्लॉग बनाता है तो वह चाहता है कि मेरी वेबसाइट के सभी पेज जल्दी से जल्दी Index हो .

चलिए इस प्रश्न का जवाब भी जानते हैं. जब भी सर्च इंजन क्रॉलर किसी वेबसाइट को क्रॉल करने आते हैं तो उनके पास निश्चित समय और संसाधन होते हैं एक वेबसाइट को Crawl करने के लिए, जिसे की Crawl Budget कहते हैं.

इसलिए हम चाहते हैं कि क्रॉलर उस सीमित समय और संसाधनों के साथ हमारे वेबसाइट के सभी महत्वपूर्ण पेज को जल्दी इंडेक्स करें, जो हमारी वेबसाइट के रैंकिंग को प्रभावित कर सकते हैं. इसी काम के लिए Robots.txt File का इस्तेमाल किया जाता है.

Robots.txt File बनाने से सर्च इंजन बोट्स वेबसाइट के उस पेज को क्रॉल नहीं करेंगे जो वेबपेज वेबसाइट के लिए उतने महत्वपूर्ण नहीं हैं. आप Category, Tags , Author, Admin etc. पेजों की Indexing को Robots.txt फाइल से ब्लॉक कर सकते हैं.

इसके अलावा हर किसी वेबसाइट में कुछ प्राइवेट वेबपेज भी होते हैं जिन्हें हम इंडेक्स नहीं करवाना चाहते हैं. इन वेबपेजों की Indexing को रोकने के लिए भी Robots.txt File का इस्तेमाल किया जाता है.

Robots.txt के फायदे

Robots.txt File बनाने के अनेक सारे फायदे आपको मिलते हैं, जैसे कि –

• वेबसाइट के महत्वपूर्ण पेज जल्दी से इंडेक्स हो जाते हैं .
• किसी प्राइवेट पेज की Crawling को रोक सकते हैं .
• वेबसाइट में किसी Low Value Page को ब्लॉक कर सकते हैं.
• आप Crawl Budget का सही इस्तेमाल कर सकते हैं.

Robots.txt File Format in Hindi

Robots.txt File का जो Format होता है वह कुछ इस प्रकार होता है –

User Agent – *
Allow : /
Disallow : /

इस फॉर्मेट में User Agents का मतलब होता है सर्च इंजन क्रॉलर. जैसे अगर हम केवल Google Bots को निर्देश देंगे तो User Agents में Googlebot लिखेंगे, इसी प्रकार Bing को निर्देश देने के लिए Bingbot का प्रयोग करेंगे. लेकिन अगर हम सभी सर्च इंजन बोट्स को निर्देश देना चाहते हैं तो * चिन्ह का प्रयोग करते हैं .

Allow वाले सेक्शन में हम अपने उन वेबपेज को क्रॉल करने का निर्देश देते हैं, जिन्हें हम चाहते हैं कि सर्च इंजन इंडेक्स करें.

Disallow के सेक्शन में हम उन वेबपेज को ऐड करते हैं जिन्हें हम चाहते हैं कि सर्च इंजन बोट्स इन्हें क्रॉल न करें. तो यह था Robots.txt File का Basic Format जिसे समझना बहुत आसान है.

Robots.txt File Kaise Banaye

मैं आपको Blogger.com और WordPress दोनों में बताऊंगा कि Robots.txt File कैसे बनाई जाती है .

Robots.txt File For Blogger

Blogger में Robots.txt File बनाने के लिए नीचे बताए गए स्टेप को फॉलो करें –

• सबसे पहले ब्लॉगर डैशबोर्ड के Setting वाले विकल्प में आ जाइये .
• इसके बाद स्क्रोल डाउन करें और Crawlers and Indexing वाले विकल्प में जाइये.
• अब यहाँ पर आपको Custom Robots.txt को Enable करना है .
• इसके बाद आपको Custom Robots.txt File बनाकर अपनी Blogger वेबसाइट में Add कर लेना है.

Robots.txt File For WordPress

WordPress पर Robots.txt File बनाने के लिए नीचे बताये गए स्टेप को फॉलो करें. यह Yoast SEO प्लगइन के लिए है.

• WordPress Dashboard में SEO वाले विकल्प पर जाइये .
• अब Tool वाले विकल्प पर क्लिक कीजिए.
• यहाँ पर आपके सामने File Editor का आप्शन आएगा .
• File Editor के आप्शन पर क्लिक करके आप अपने WordPress वेबसाइट में Robots.txt File ऐड कर सकते हैं.

Rank Math प्लगइन में आपको साइडबार में ही Robots.txt का विकल्प मिल जाएगा, इस पर क्लिक करते ही आप Robots.txt को एडिट कर सकते हैं.

वेबसाइट की Robots.txt File Check कैसे करें?

इस नीचे दिए गए URL की मदद से आप किसी भी Website का Robots.txt File देख सकते हैं –

• https://example.com/robots.txt.

example.com में उस वेबसाइट का Domain Name डालना है जिस वेबसाइट की आप Robots.txt File देखना चाहते हैं . जैसे हमारी वेबसाइट का Robots.txt File https://hinditechdr.com/robots.txt है.

FAQ For Robots.txt File in Hindi

यह लेख भी पढ़ें –

• Canonical Tag क्या होते हैं
• Redirection क्या है
• Google AMP क्या है
• Bounce Rate क्या होता है
• SSL certificate क्या होता है
• Sitemap क्या होता है
• Robot Tag क्या होते हैं

अंतिम शब्द: Robots.txt File Kya Hoti Hai हिंदी में

इस लेख के माध्यम से हमने आपको बताया है कि Robots.txt File Kya Hoti hai, Robots.txt फाइल क्यों बनाते हैं, कैसे बनाते हैं तथा Robots.txt से जुडी लगभग सभी अहम् चीजों के बारे में आपको जानकारी दी. इस लेख को पढने के बाद आप किसी भी वेबसाइट के लिए Robots.txt File की अहमियत समझ गए होंगे .

अभी भी आपके मन में Robots.txt File को लेकर कोई संदेह है तो कमेंट बॉक्स में लिखकर पूछ सकते हैं. अगर आपको यह जानकारी पसंद आई तो इसे सोशल मीडिया के द्वारा अपने दोस्तों के साथ शेयर करना न भूलें .

लेख को अंत तक पढने के लिए धन्यवाद||