Google Search कैसे काम करता है ? How Do Search Engine Works हिंदी में जानिए सर्च इंजन कैसे काम करते हैं

Google Kaise Kam Karta Hai? सर्च इंजन कैसे काम करता है? How Do Search Engine Works, दोस्तों हमने अपने पिछले लेख में यह जाना की सर्च इंजन ऑप्टिमाइजेशन क्या है। हम यह तो जान गए की What is Search Engine Optimization, पर search engine खुद क्या है और किस प्रकार कार्य करता है इसको भी जानना आवश्यक है। जैसा की हमने पहले ही बताया सर्च इंजन एक कंप्यूटर प्रोग्राम होते हैं, यह डेस्कटॉप सॉफ्टवेयर भी हो सकते हैं और इंटरनेट पर मौजूद कोई वेबसाइट भी हो सकते हैं।

मगर मुख्य रूप से सर्च इंजन इंटरनेट पर उपस्थित गूगल , याहू और बिंग इत्यादि जैसी वेबसाइट को ही कहा जाता है जिनके कार्य करने की प्रणाली लगभग एक जैसी है। समान कार्य प्रणाली होने के बावजूद भी Google Search Engine अन्य किसी भी सर्च इंजन की तुलना में सर्वाधिक लोकप्रिय है। पूरे विश्व में कुल 40% इंटरनेट के यूजर हैं जिसमें Google लगभग 86% लोगों के द्वारा इस्तेमाल किया जाता है। How Do Search Engine Works का विषय गूगल को केंद्रित करके ही लिखा गया है। पखेरू पर आज के इस लेख को पढ़कर आप यह निश्चित रूप से जान जाएंगे की सर्च इंजन कैसे कार्य करते हैं।

सर्च इंजन से सम्बंधित मुख्य बिंदु:

1 – Search Engine एक Software Program है जिसके अंदर 3 कंपोनेंट्स हैं – Crawler , Spider और Bot.
2 – Crawler , Spider और Bot ये तीन कंपोनेंट्स असल में function हैं जिनको प्रोग्राम के अंतर्गत बनाया गया है।
3 – Bot को दूसरी भाषा में Robot या Search Engine Bot भी कहते हैं जो की एक सॉफ्टवेयर प्रोग्राम है।
4 – असल में Robot, Bot या Spider को ही Crawler Process के नाम से जाना जाता है।
5 – Robot, Bot या Spider मिलकर ही Search Engine के Crawling Process को आगे बढ़ाते हैं।

शायद आप ऊपर लिखे पाँच बिंदुओं को पढ़कर confused हो गए, बस आप इतना समझिये की किसी वेबसाइट को क्रॉल करने की जिम्मेदारी Robot, Bot, Spider जैसे सॉफ्टवेयर की होती है जिनके द्वारा पूर्ण की गयी प्रक्रिया को ही Crawling Process के नाम से जाना जाता है या संछिप्त में इसे Crawling भी कहते हैं। “Crawler” सर्च इंजन का सबसे अभिन्न अंग है जिसके बिना सर्च इंजन को इंटरनेट पर उपस्थित किसी वेबसाइट अथवा फाइल की जानकारी को जुटाकर उसे संकलित करना संभव नहीं।

क्या होता है क्रॉलर (What is Crawler)?

यह एक automated computer program है जो Robot, Bot, Spider जैसे जरूरी अन्य सॉफ्टवेयर प्रोग्राम के साथ मिलकर काम करता है; जिसके माध्यम से सम्पूर्ण सर्च इंजन क्रियांवित होता है। Crawler का कार्य World Wide Web अर्थात W.W.W पर पहले से मौजूद या आने वाली सभी Websites, Files, Documents, Videos इत्यादि को Scan करना है। सर्च इंजन की भाषा में Crawler के द्वारा Documents Scan करने की क्रिया को Crawling करना कहते हैं।

Crawler Program एक-एक कर World Wide Web की सभी Websites/Documents को पढता है, उनको जाँचता है और फिर उनकी प्रतिलिपि अर्थात copy को सर्च इंजन के Index Server पर रखता चला जाता है। यह हमेशा याद रखें की crawler, वर्ल्ड वाइड वेब पर उपस्थित सभी वेबसाइट अथवा फाइल का संग्रह नहीं करता। World Wide Web या फिर इसे Internet ही कह लें, Crawler इसपर अधिकांश डेटा को कुछ ही सेकंड में पढ़ लेता है और उस डेटा की गुणवत्ता के आधार पर उसकी कॉपी तैयार कर सर्च इंजन के इंडेक्स सर्वर में संकलित करता रहता है। वर्ल्ड वाइड वेब को क्रॉल करने की क्रिया बिना रुके लगातार चलती रहती है फलस्वरूप सर्च इंजन में संकलित सभी वेबसाइट या फाइलें समय-समय पर अपडेट होती रहती हैं ताकि यूजर को सही और ताज़ा जानकारी मिल सके।

Crawling Process को अंजाम देने के लिए Robot, Bot, Spider पहले कुछ वेबसाइट तक पहुँचते हैं फिर उन वेबसाइट पर लगे अन्य लिंक से कूदते हुए – दूसरी , तीसरी , चौथी…..हज़ार , लाख , करोड़ website का डेटा fetch कर उसकी एक-एक प्रतिलिपि बनाते हैं। क्रॉलर के द्वारा सभी वेबसाइट की प्रतिलिपि बनाने के मानकों को हम अपने अगले लेख में अच्छे से जानेंगे। सर्च इंजन BOT या ROBOT या SPIDER (तीनों का मतलब एक ही है) किसी वेबसाइट अथवा वेब डेटा को क्रॉल करने के दौरान एक algorithmic process का इस्तेमाल करते हैं जो की एक कंप्यूटर प्रोग्राम है या फिर आप उसे self intelligence machine भी कह सकते हैं, जो ये तय करता है की किस डेटा अथवा वेबसाइट को क्रॉल करना है, कितनी बार क्रॉल करना है, उसके कितने पेज को क्रॉल करना है, किस तरह का डेटा नहीं क्रॉल करना है।

इंडेक्सिंग क्या होती है (What is Indexing or Index)?

ऊपर यह हमने जाना की कैसे Robot, Bot या Spider मिलकर search engine के crawling process को अंजाम देते हैं। क्रॉलिंग प्रक्रिया के दौरान तमाम वेबसाइटों के इकट्ठा किये गए Copies को सर्च इंजन अपने Index Server (जिसे डेटा स्टोरेज और सर्च इंडेक्स भी कह सकते हैं) पर Save करता चला जाता है। इसको हम यूँ जान सकते हैं – एक तरफ search engine “BOT” वर्ल्ड वाइड वेब पर मौजूद डेटा को Scan या Crawl करता है तो दूसरी ओर वह उस डेटा की Copy तैयार कर वापस Index Server पर सुरक्षित करने के लिए भेजता रहता है। जिस प्रकार क्रॉल करने की प्रक्रिया कभी बंद नहीं होती उसी प्रकार डेटा इंडेक्स होने की प्रक्रिया भी कभी बंद नहीं होती। नए डेटा को Fetch करने के साथ-साथ, सर्वर पर पहले से मौजूद डेटा को पुनः इंडेक्स (re-index or refresh) करने का कार्य भी जारी रहता है।

सर्च इंजन रैंकिंग (What is Search Engine Ranking)?

गूगल सहित अन्य किसी भी सर्च इंजन पर जब हम कोई इनफार्मेशन सर्च करते हैं तो सर्च इंजन सेकंड से भी कम समय में हमारे द्वारा इनपुट किये गए सवाल का सबसे उचित जवाब खोजकर अपने मुख्य पृष्ठ पर दिखा देता है। अपने मुख्य पृष्ठ पर दिखाए गए जवाब को गूगल बढ़ते हुए क्रम में रखता है अर्थात सबसे पहला जवाब , फिर दूसरा जवाब , फिर तीसरा जवाब और फिर अंत में दसवां जवाब। बढ़ते हुए क्रम में दिखाए गए जवाबों को हम सर्च इंजन रैंकिंग का नाम देते हैं।

सर्च इंजन के रिजल्ट पेज भी बढ़ते हुए क्रम में होते हैं जैसे – 1 , 2 , 3 , 4 , 5 …. और अंत में यह 40, 50 या फिर उससे अधिक 100 तक भी जा सकते है। हम ये जान चुके हैं की search bot या spider या robot द्वारा crawl किया गया डेटा वापस search index में सेव होता है। हमारे द्वारा search box में डाली गयी query का जवाब खोजने के लिए search bot अपने ही द्वारा पहले से, सर्च इंडेक्स में सेव की गयी document copies में से बेहतर copies चुन कर सर्च इंजन के पृष्ट पर दिखाता है। बेहतर copies चुनने व दिखाने का अर्थ ये है की search bot का search index में से पूछे गए सवाल के लिए उचित जवाब तलाश करना फिर उसे सर्च इंजन के मुख्य पृष्ट पर प्रदर्शित करना। आप यह बात हमेशा ध्यान रखें की search indexing तो करोड़ों वेबसाइट की होती है पर रिजल्ट उसी वेबसाइट का दिखता है जिसे सर्च बॉट करोड़ों इंडेक्स वेबसाइट में से सबसे अच्छा मानता है जिसे हम seo की तकनीकि भाषा में Match Result कहते हैं। अमूमन तौर पर किसी एक query के लिए सर्च इंजन का रिजल्ट पेज 100 के अंदर ही समाप्त हो जाता है, अर्थात हमारे द्वारा इनपुट की गयी query का उचित जवाब 100 या 100 के अंदर आने वाले रिजल्ट पेज में ही मिल जाता है।

सर्च इंजन के 1 Result Page में कुल 10 जवाब होते हैं, इस प्रकार यदि गूगल एक query के लिए 100 रिजल्ट पेज दिखाता है तो कुल जवाबों की संख्या 10 गुणे 100 = 1000 होती है, जो की पर्याप्त है। सर्च इंजन रिजल्ट पेज की सेटिंग पहले से अधिकतम 10 जवाबों के लिए सेट की गयी होती है पर आप इसे अपनी आवश्यकता के अनुसार बढ़ा सकते हैं, ऐसा करके आप सर्च इंजन के 1 रिजल्ट पेज पर 100 जवाब भी पा सकते हैं।

सर्च इंजन पर आने वाले जवाबों को हम SEO की भाषा में SERP यानि Search Engine Result Page कहते हैं। हमने पहले ही बता दिया की search engine result page भी बढ़ते हुए क्रम में होते हैं। इस प्रकार कौन सी वेबसाइट, कितने SERP के किस Number पर Rank करेगी यह पूरी तरह से Website के Optimized किये गए मानकों पर आधारित है जिनको हम अपने अगले लेख में how to get top search engine ranking in Hindi में जानेंगे।

जो website, SERP की संख्या 1 के पहले पायदान पर है उसे TOP RANKING या FIRST RANKING कहते हैं। यदि कोई वेबसाइट, सर्च इंजन के पहले रिजल्ट पेज के पहले पायदान पर आती है तो वह वेबसाइट quality website कहलाती है जिसे गूगल नें उस लायक समझा की उसे प्रथम स्थान प्रदान किया जाय। यहाँ मैं यह कहना चाहूंगा की Ranking के कई मानक होते हैं जिसे हम SEO की तकनीकी भाषा में Ranking Signals के नाम से जानते हैं। Google स्वयं यह कहता है की किसी भी वेबसाइट की रैंकिंग, 200 से ज्यादा Signals पर आधारित है।

सर्च किये गए सवाल का जवाब (Search Engines Information Retrieval)

किसी विषय की उत्तम जानकारी प्राप्त करने का सबसे सरल माध्यम सर्च इंजन है। परन्तु क्या हमने ये सोचा की सर्च इंजन के पास इतनी जानकारी आती कहाँ से है ? और वह कैसे सेकंड से भी कम समय में आपको अनगिनत जानकारियां आपके द्वारा पूछे गए सवाल के आधार पर देता है।

इस लेख में हमने यह जाना की search engine अपने software program जिसे हम search bot के नाम से जानते हैं के माध्यम से world wide web पर उपस्थित डेटा या उसपर आने वाले नए डेटा को crawl करता है। Crawling प्रक्रिया के साथ साथ search bot उस डेटा की copy बना index server पर save करता चलता है जिसे search index भी कहते हैं।

जब मैं और आप, किसी विषय से सम्बंधित search query, search engine के box में enter करते हैं तब search bot फिर अपने द्वारा ही search index में save किये गए records को दर्ज की गयी searched query के आधार पर खोजने लगता है। चूँकि search index में records की संख्या बहुत ज्यादा होती है इसलिए search bot कुछ algorithmic process को follow करते हुए search query के लिए उचित जवाब खोजने लगते हैं। यह algorithmic process कुछ गणितीय संरचनाओं पर आधारित होते हैं जो यह तय करते हैं की search index में मौजूद तमाम records के बीच वह कौन कौन से उपयुक्त records हैं जो user द्वारा दर्ज की गयी query से अच्छा मेल खाते हैं। अतः यह जटिल प्रक्रिया सेकंड से भी कम समय लेते हुए पूरी हो जाती है और search bot अपने search engine के पृष्ठ पर उन उत्तम records को दर्शा देता है जिसे हम searched result या searched query information retrieval भी कहते हैं। इसी information retrieval प्रक्रिया से SERP के Page पर दिखने वाली websites को Ranking जैसे शब्द से संबोधित किया जाता है।

कुलमिलाकर सर्च इंजन कुछ इस तरह से कार्य करता है:

Crawling > Indexing > Information Retrieval

इस लेख के माध्यम से हमने यह जाना की कैसे search engine work करता है। सर्च इंजन के कार्य में तीन बिंदु ही महत्वपूर्ण हैं जिन्हें हम क्रमशः क्रॉलिंग, इंडेक्सिंग और इनफार्मेशन रिट्रीवल कहते हैं। ध्यान रहे रैंकिंग प्राप्ति एक अलग प्रक्रिया है जिसके मानक अलग हैं और उसकी पूर्ति हेतु search engine optimization का होना अनिवार्य है। search engine optimization से सम्बंधित guidelines, Google नें पहले से ही दे रखें हैं जिनको ध्यान में रख webmaster ऑप्टिमाइजेशन की क्रिया को अंजाम देता है ताकि उसकी वेबसाइट सर्च इंजन के पहले पृष्ठ पर दिख सके।

यूँ तो सभी webmasters अपनी योग्यता के आधार पर सर्च इंजन ऑप्टिमाइजेशन करते हैं परन्तु इसके बाद भी crawler अथवा search bot अपने algorithmic process यानि गणितीय संरचनाओं के आधार पर उत्तम वेबसाइट का चुनाव search index से करते हैं फिर उनको सर्च इंजन के पेज पर बढ़ते हुए क्रम में रख देते हैं जिन्हें हम सर्च की गयी क्वेरी के बाद इनफार्मेशन रिट्रीवल के रूप में प्राप्त करते हैं।

इस विषय से संबंधित यदि कोई प्रश्न आपके मन में है तो कृपया उसे कमेंट बॉक्स में जरूर पूछें या फिर आप मुझसे फेसबुक पर भी जुड़ सकते हैं।

लेखक:
रवि प्रकाश शर्मा