Robots.txt File Kya Hoti hai : इसे बनाने के फायदे क्या हैं

अगर आप ब्लॉगर है तो आपने Robots.txt File का नाम जरुर सुना होगा . पर क्या आप जानते हैं Robots.txt File Kya Hoti Hai ? इसे क्यों बनाया जाता है ? इसे बनाने के क्या फायदे होते हैं ? और इसे कैसे बनायें ?

अगर आप ऊपर बताये गए सभी प्रश्नों का जवाब जानना चाहते हैं तो इस लेख को पूरा पढ़िए . इसमें मैंने आपको  Robots.txt File की पूरी जानकारी विस्तार से बताई है .

इस लेख को पढने के बाद आपको दुसरे किसी वेबसाइट पर जाने की जरुरत नहीं पड़ेगी . तो आइये जानते हैं Robots.txt File  Kya Hai की पूरी जानकारी आसान शब्दों में.

Robots.txt File Kya Hoti Hai ?

जब भी हम कोई वेबसाइट या ब्लॉग बनाते हैं तो Search Engine के Robot हमारे वेबसाइट के हर एक पेज को Crawl करते हैं और फिर Index करते हैं .

पर वेबसाइट में कुछ ऐसे पेज भी होते हैं जिन्हें हम चाहते हैं कि ये पेज Privet ही रहे . मतलब Search Engine के Bots इन्हें Crawl ना करें . Search Engine के Bots को यह निर्देश देने के लिए Robots.txt File का प्रयोग किया जाता है .

Definition of  Robots.txt File

Robots.txt File के माध्यम से हम Search Engine के Bots को यह निर्देश देते हैं कि हमारे वेबसाइट के किस पेज को Crawl करें और किस पेज को Crawl नहीं करें .

यह भी पढ़ें –

Robots.txt File कैसे काम करती है ?

मैंने एक पिछले लेख में आपको बताया था कि Search Engine काम कैसे करते हैं . इसके दो प्रमुख काम हैं एक तो Crawling और दूसरा Indexing .

जब भी कोई Search Engine Bots हमारी वेबसाइट पर आता है तो वह सबसे पहले Robots.txt File को ढूंढता है और देखता है कि उसे क्या निर्देश मिले हैं . और फिर उसी के अनुसार वह वेबसाइट की Crawling और Indexing करता है .

अगर Search Engine Bots को Robots.txt File बनी नहीं मिलती है तो वह हमारे सभी पेज को Crawl कर लेता है . Robots.txt File के निर्देश को कुछ Search Engine के Robots फॉलो नहीं करते हैं , पर जो अच्छे Search Engine हैं जैसे Google , Bing आदि ये Robots.txt File के निर्देशों का सख्ती के साथ पालन करते हैं .

Robots.txt File क्यों बनाई जाती है ?

पर एक सवाल आप सभी के मन में आ रहा होगा कि हम ऐसा चाहते ही क्यों हैं कि हमारी वेबसाइट के कुछ पेज Index न हो ? क्योकि जब भी हम कोई ब्लॉग या वेबसाइट बनाते हैं तो हम चाहते हैं कि हमारी वेबसाइट के सभी पेज Index हो .

चलिए इस प्रशन का जवाब जानते हैं . जब भी Search Engine Bots हमारी वेबसाइट को Crawl करने आते हैं तो उनके पास कुछ ही समय होता है एक वेबसाइट को Crawl करने का . तो Bots के उस सीमित समय में सभी अपनी वेबसाइट के महत्वपूर्ण पेज जल्दी से  Index कराने के लिए Robots.txt File का इस्तेमाल करते हैं .

Robots.txt File बनाने से Search Engine Bots हमारे उस पेज को Crawl नहीं करेंगे जो Page हमारे लिए उतने महत्वपूर्ण नहीं हैं . जैसे – Category , Tags , Author etc. इससे Search Engine Bots कम समय में हमारे महत्वपूर्ण पेज की Crawling और Indexing कर लेंगे .

यह भी पढ़े –

Robots.txt के फायदे

  • Website के Important Page जल्दी से Index हो जाते हैं .
  • किसी Privet Page की Crawling को रोक सकते हैं .
  • Website में किसी Low Value Page को ब्लाक कर सकते हैं , जिससे Ranking में फायदा मिलता है .

Robots.txt File Format

Robots.txt File का जो Format होता है वह कुछ इस प्रकार होता है –

User Agent – *

Allow : 

Disallow :

इस Format में User Agents का मतलब होता है Search Engine के Bots . जैसे अगर हम केवल Google Bots को निर्देश देंगे तो User Agents में Googlebot लिखेंगे , इसी प्रकार Bing को निर्देश देने के लिए Bingbot का प्रयोग करेंगे . लेकिन अगर हम सभी Search Engine के Bots को निर्देश देना चाहते हैं तो चिन्ह का प्रयोग करते हैं .

Allow वाले Section में हम अपने उन webpages को Crawl करने का निर्देश देते हैं , जिन्हें हम चाहते हैं कि Search Engine Index करें . Disallow के Section में हम चीजों को add करते हैं जिन्हें हम चाहते हैं कि Search Engine के Bots इन्हें Crawl न करें . तो यह था Robots.txt File का Basic Format जो कि बहुत ही Easy है .

किसी भी Website का Robots.txt File कैसे देखें ?

इस URL की मदद से आप किसी भी Website का Robots.txt File देख सकते हैं – https://example.com/robots.txt.

example.com में उस Website का Domain डालना है जिस Website की आप Robots.txt File देखना चाहते हैं . जैसे हमारी Website का Robots.txt File https://www.hinditechdr.com/robots.txt  है .

यह भी पढ़ें –

Robots.txt File Kaise Banaye

मैं आपको Blogger और WordPress दोनों में बताऊंगा कि Robots.txt File कैसे बनाई जाती है .

Robots.txt File For Blogger

Blogger में Robots.txt File बनाने के लिए निचे बताए गए Step को Follow करें –

  •  सबसे पहले Blogger Dashboard के Setting वाले Option में आ जाइये .
  • इसके बाद Crawlers and Indexing वाले Option में जाइये .
  • अब यहाँ पर आपको Custom Robots.txt को Enable करना है .
  • इसके बाद Custom Robots.txt File को अपनी Blogger Website में add कर लेना है .

Robots.txt File For WordPress

WordPress पर Robots.txt File बनाने के लिए ये Step Follow करें . यह Setup Yoast SEO Plugin का है .

  • WordPress Dashboard में SEO वाले Option पर जाइये .
  • अब Tool वाले Option पर आ जाइये .
  • यहाँ पर आपके सामने File Editor का option आएगा .
  • File Editor के Option पर Click करके आप अपने WordPress Website में Robots.txt File add कर सकते हैं .

FAQ For Robots.txt File in Hindi

किसी भी website की Robots.txt File कैसे देखें ? 

Robots.txt File देखने के लिए इस URL का प्रयोग करें – example.com/Robots.txt. example.com के साथं पर उस Domain का नाम लिखना है जिसका आप Robots.txt File देखना चाहते हैं.

Robots.txt File का प्रयोग क्यों किया जाता है ? 

हमारी Website का कौन सा Page Crawl करना है और कौन सा Page Crawl नहीं करना है यह निर्देश Search Engine Bots को देने के लिए Robots.txt File का प्रयोग किया जाता है.

किसी Website की Crawling को कैसे रोक सकते हैं ? 

Robots.txt File के इस्तेमाल से.

Index Though Block by Robots.txt का मतलब क्या होता है ? 

अगर आपको Index Though Block by Robots.txt की Warning मिलती है तो इसका मतलब होता है कि Google को आपका Webpage मिल तो गया है पर आपने Robots.txt File में उस Page को Ignore करने का निर्देश दिया है.

हमने क्या सीखा

इस लेख के माध्यम से हमने सीखा कि Robots.txt File Kya Hoti hai और इससे जुड़े सभी चीजों के बारे में जाना , इस लेख को पढने के बाद आप किसी Website के लिए Robots.txt File की अहमियत समझ गए होंगे .

अगर अभी भी आपके मन में Robots.txt File को लेकर कोई संदेह है तो Comment Box में जरुर बताए . और इसे अपने दोस्तों के साथ शेयर करना न भूलें . धन्यवाद ||

आगे पढ़े –

0Shares
Categories SEO

Hey Friends, I am Devendra Rawat. I am Blogger|| Hinditechdr.com Blog बनाने का मेरा यही मकसद है कि Hindi Readers को Blogging, SEO, Internet आदि की सटीक जानकारी हिंदी भाषा में प्रदान करा सकूँ. मेरे Blog पर आने के लिए धन्यवाद ||