موتورهای جستجو
موتورهای جستجو
موتورهای جستجو
امروزه بر روی اينترنت صدها ميليون صفحه حاوی اطلاعات وجود دارد. کاربران اينترنت با آگاهی از آدرس يک سايت ، قادر به اتصال به سايت مورد نظر و استفاده از منابع اطلاعاتی موجود بر روی سايت خواهند بود. ما با دريائی از اطلاعات مواجه هستيم ، در صورتيکه قصد يافتن اطلاعاتی خاص را داشته باشيم ، از چه امکاناتی در اين زمينه می توان استفاده کرد. ؟ برای جستجو و يافتن اطلاعات مورد نياز از مراکز جستجوی اطلاعات در اينترنت استفاده می گردد . به مراکز فوق Search engines نيز گفته می شود .
مراکز جستجو در اينترنت ، نوع خاصی از سايت های موجود در وب بوده که با هدف کمک برای يافتن اطلاعات ، ايجاد شده اند. مراکز جستجو در اينترنت به منظور پاسخگوئی به کاربران متقاضی و جستجوکنندگان اطلاعات از سه روش متفاوت استفاده می نمايند. نحوه عملکرد سه روش با يکديگر مشابه بوده و تنها تفاوت موجود ميدان انتخاب شده برای عمليات جستجو است .
• اينترنت و يا بخشی از آن بر اساس کلمات مهم ، جستجو می گردد.
• از کلمات پيدا شده يک ايندکس بهمراه محل مربوط به هر يک ، ايجاد می نمايند.
• به کاربران امکان جستجو برای کلمات خاص و يا ترکيبی از آنها که در فايل ايندکس موجود می باشند ، داده می شود.
مراکز جستجوی اوليه در اينترنت ، صرفا" اطلاعات مربوط به چندين هزار صفحه وب را ايندکس و روزانه دو تا سه هزار کاربر متقاضی به آنها مراجعه می کردند. مراکز جستجوی فعلی در اينترنت اطلاعات مربوط به صدها ميليون صفحه را ايندکس نموده و روزانه به بيش از دهها ميليون متقاضی پاسخ می دهند.
قبل از اينکه يک مرکز جستجو قادر به ارائه آدرس و محل فايل مورد نظر باشد ، می بايست فايل مورد نظر پيدا شود. به منظور يافتن اطلاعات مربوط به صدها ميليون صفحه وب موجود ، مراکز جستجو می بايست از يک نرم افزار خاص با نام Spider ( عنکبوت ) برای ايجاد ليست های شامل کلمات موجود در هر يک از صفحات وب ، استفاده نمايند. فرآيند ايجاد ليست های مربوطه توسط Spider ، اصطلاحا" web crawling ناميده می شود. برای ايجاد و نگهداری يک ليست مفيد از کلمات ، Spider های مراکز جستجو می بايست تعداد زيادی از صفحات وب را بررسی و مشاهده نمايند. نحوه حرکت Spider در وب به چه صورت است ؟ نقاط شروع ، ليستی از سرويس دهندگان با ترافيک و اطلاعات بالا و صفحات وب متداول است . Spider از يک سايت رايج عمليات خود را آغاز و پس از ايندکس نمودن کلمات موجود در صفحات وب ، هر يک از لينک های موجود در صفحات را برای ادامه حرکت خود انتخاب خواهد کرد. بدين ترتيب سيستم مبتنی بر Spider بسرعت حرکت خود در طول وب را آغاز خواهد کرد.
• کلمات موجود در صفحه
• محلی که کلمات پيدا شده اند.
از کلمات موجود در عنوان (title) ، زيرعناوين (Subtitles) ، تگ های متا و ساير مکانهای مهم ياداشت برداشته شده تا در آينده با توجه به خواسته کاربر ، امکان پاسخگوئی مناسب به آنها فراهم گردد. Spider مربوط به Google ، از کلمات موجود در هر يک از صفحات وب ايندکس ايجاد و کلماتی نظير : "a" ، "an" و "the" را حذف می نمايند. ساير Spider ها هر يک دارای رويکردهای خاص خود در اين زمينه می باشند.
سياست های استفاده شده در رابطه با نحوه ايندکس نمودن اطلاعات صفحات وب ، مستقيما" بر سرعت عملکرد spider ها تاثير گذاشته و به کاربران امکان جستجوی قدرتمندتر و کارآ را خواهد داد. مثلا" برخی از Spider ها ، علاوه بر نگهداری اطلاعات مربوط به عناوين و لينک ها ، يکصد کلمه با فرکانس تکرار بيشتر در صفحه وب و کلمات موجود در بيست خط اوليه را نيز نگهداری خواهند کرد. مرکز جستجوی Lycos از رويکرد فوق استفاده می نمايد.
سيستم های ديگر نظير " Altavista ، از روش خاص خود در اين زمينه استفاده می نمايند. در سيستم فوق برای هر يک از کلمات موجود در صفحه شامل "a" ، "an" و "the" و ساير کلمات مشابه نيز ايندکس ايجاد می گردد.
تمام موارد فوق مفروض به حالتی است که ايجاد کننده صفحه وب قصد معرفی صفحه ايجاد شده خود را به مراکز جستجو دارد. در برخی موارد ممکن است تمايلی به انجام اين کار وجود نداشته باشد.
• اطلاعات بهمراه داده ذخيره گردند.
• با استفاده از روشی اطلاعات ايندکس گردند.
در ساده ترين حالت ، يک مرکز جستجو می تواند صرفا" کلمه و آدرس URL آن را ذخيره نمايد. روش فوق در بازيابی اطلاعات و جستجو توسط کاربران ايجاد محدوديت خواهد کرد. با استفاده از روش فوق نمی توان جايگاه و وزن يک کلمه در يک صفحه وب را مشخص نمود. مثلا" نمی توان تشخيص داد که کلمه مورد نظر چند مرتبه در صفحه تکرار شده و يا لينک های موجود در صفحه نيز شامل کلمه مورد نظر می باشند يا خير . بدين ترتيب امکان ارائه يک ليست از صفحات وب که شامل کلمه مورد نظر بر اساس ميزان تکرار می باشند ، وجود نخواهد داشت .
به منظور ارائه نتايج مفيدتر توسط مراکز جستجو ، اکثر مراکز جستجو صرفا" کلمه و آدرس URL را ذخيره نمی نمايند . در اين حالت مواردی نظير : تعداد تکرار کلمه در صفحه نيز ذخيره خواهد شد. مراکز جستجو همچنين به هر entry يک وزن را نسبت خواهند داد. وزن نسبت داده شده، نشاندهنده جايگاه کلمه در صفحه است ( ابتدای صفحه ، در لينک ها ، در تگ های متا و يا در عنوان صفحه ) هر يک از مراکز جستجو برای اختصاص يک وزن مناسب به کلمه مورد نظر از يک فورمول استفاده می نمايند. موضوع فوق يکی از دلايلی است که جستجو يک کلمه توسط دو مرکز جستجو ، نتايج مشابه ای را بدنبال نخواهد داشت .
مراکز جستجو بدليل استفاده بهينه از فضای ذخيره سازی ، اطلاعات مورد نظر را بصورت رمز شده ذخيره می نمايند. مثلا" در نسخه اوليه سايت Google از دو بايت به منظور ذخيره سازی اطلاعات مربوط به کلمات در يک صفحه استفاده می کردند. کلمات بصورت حروف بزرگ بهمراه اندازه فونت ، وزن و موقعيت آن ذخيره می گرديد. هر يک از فاکتورهای فوق دو ويا سه بيت از دو بايت اشاره شده را به خود اختصاص می دادند. بدين ترتيب اطلاعات گسترده ای بصورت فشرده ذخيره و سپس عمليات ايجاد ايندکس انجام می گيرد.
ايندکس دارای صرفا" يک هدف است : امکان يافتن اطلاعات با سرعت بالا . برای ايجاد ايندکس از روش های متعددی استفاده می گردد. يکی از بهترين روش های موجود ، ايجاد يک جدول Hash است . در روش hashing ، از يک فورمول برای اختصاص يک عدد به يک کلمه استفاده می گردد. توزيع عددی با توزيع کلمات بصورت الفبائی با يکديگر متفاوت بوده و همين امر ، موثر بودن جداول hash را بدنبال خواهد داشت . در زبان انگليسی حروفی وجود دارد که کلمات زيادی با آنان آغاز می گردد. مثلا" بخش حرف "M" ، در يک ديکشنری بمراتب قطورتر از حرف "X" است . بدين ترتيب جستجو و يافتن کلماتی که با حرف M شروع می گردند زمان بمراتب بيشتری نسبت به يافتن کلماتی که با حرف "X" آغاز می گردند ، را طلب می کند. در روش hashing ، با آگاهی از موارد فوق، بگونه ای رفتار می گردد که متوسط زمان بازيابی هر کلمه کاهش يابد. در روش فوق ايندکس از داده واقعی متمايز می گردد. جدول hash ، شامل شماره hash بهمراه اشاره گری است که به داده مورد نظر اشاره می نمايد. با ايجاد يک سيستم ايندکس مناسب و ذخيره سازی مطلوب اطلاعات ، امکان ارائه نتايج مفيد برای کاربران را فراهم خواهد کرد.
• AND . تمام کلماتی که توسط AND بيکديگر ملحق شده اند ، می بايست در صفحه موحود باشند. در برخی از مراکز جستجو از عملگر "+" بعنوان عملگر جايگزين AND نيز استفاده می شود.
• OR . حداقل يکی از کلماتی که توسط OR بيکديگر ملحق شده اند ، می بايست در صفحه موجود باشد .
• NOT . کلمه بعد از NOT نبايد در صفحه موجود باشد. برخی از مراکز جستجو از عملگر "-" نيز استفاده می نمايند.
• Followed by . يکی از کلمات می بايست مستقيما" پس از کلمه ديگر وجود داشته باشد.
يکی از موارديکه اخيرا" توسط محققين متفاوتی در مراکز جستجو دنبال می گردد ، جستجو بر اساس مفهوم است .در روش فوق با استفاده از آناليزهای آماری بر روی صفحات شامل کلمات سعی در ارائه نتايج مطلوبتری وجود دارد. در برخی موارد ديگر استفاده از زبانهای طبيعی برای جستجو دنبال می گردد. در روش فوق برای طرح سوال خود از يک مرکز جستجو از روشی که توسط انسان برای طرح سوالات مربوطه استفاده می گيرد، استفاده خواهد شد. در اين راستا ضرورتی به استفاده از عملگرهای منطقی و يا query های پيچيده نخواهد بود.
مراکز جستجو در اينترنت ، نوع خاصی از سايت های موجود در وب بوده که با هدف کمک برای يافتن اطلاعات ، ايجاد شده اند. مراکز جستجو در اينترنت به منظور پاسخگوئی به کاربران متقاضی و جستجوکنندگان اطلاعات از سه روش متفاوت استفاده می نمايند. نحوه عملکرد سه روش با يکديگر مشابه بوده و تنها تفاوت موجود ميدان انتخاب شده برای عمليات جستجو است .
• اينترنت و يا بخشی از آن بر اساس کلمات مهم ، جستجو می گردد.
• از کلمات پيدا شده يک ايندکس بهمراه محل مربوط به هر يک ، ايجاد می نمايند.
• به کاربران امکان جستجو برای کلمات خاص و يا ترکيبی از آنها که در فايل ايندکس موجود می باشند ، داده می شود.
مراکز جستجوی اوليه در اينترنت ، صرفا" اطلاعات مربوط به چندين هزار صفحه وب را ايندکس و روزانه دو تا سه هزار کاربر متقاضی به آنها مراجعه می کردند. مراکز جستجوی فعلی در اينترنت اطلاعات مربوط به صدها ميليون صفحه را ايندکس نموده و روزانه به بيش از دهها ميليون متقاضی پاسخ می دهند.
وب
قبل از اينکه يک مرکز جستجو قادر به ارائه آدرس و محل فايل مورد نظر باشد ، می بايست فايل مورد نظر پيدا شود. به منظور يافتن اطلاعات مربوط به صدها ميليون صفحه وب موجود ، مراکز جستجو می بايست از يک نرم افزار خاص با نام Spider ( عنکبوت ) برای ايجاد ليست های شامل کلمات موجود در هر يک از صفحات وب ، استفاده نمايند. فرآيند ايجاد ليست های مربوطه توسط Spider ، اصطلاحا" web crawling ناميده می شود. برای ايجاد و نگهداری يک ليست مفيد از کلمات ، Spider های مراکز جستجو می بايست تعداد زيادی از صفحات وب را بررسی و مشاهده نمايند. نحوه حرکت Spider در وب به چه صورت است ؟ نقاط شروع ، ليستی از سرويس دهندگان با ترافيک و اطلاعات بالا و صفحات وب متداول است . Spider از يک سايت رايج عمليات خود را آغاز و پس از ايندکس نمودن کلمات موجود در صفحات وب ، هر يک از لينک های موجود در صفحات را برای ادامه حرکت خود انتخاب خواهد کرد. بدين ترتيب سيستم مبتنی بر Spider بسرعت حرکت خود در طول وب را آغاز خواهد کرد.
• کلمات موجود در صفحه
• محلی که کلمات پيدا شده اند.
از کلمات موجود در عنوان (title) ، زيرعناوين (Subtitles) ، تگ های متا و ساير مکانهای مهم ياداشت برداشته شده تا در آينده با توجه به خواسته کاربر ، امکان پاسخگوئی مناسب به آنها فراهم گردد. Spider مربوط به Google ، از کلمات موجود در هر يک از صفحات وب ايندکس ايجاد و کلماتی نظير : "a" ، "an" و "the" را حذف می نمايند. ساير Spider ها هر يک دارای رويکردهای خاص خود در اين زمينه می باشند.
سياست های استفاده شده در رابطه با نحوه ايندکس نمودن اطلاعات صفحات وب ، مستقيما" بر سرعت عملکرد spider ها تاثير گذاشته و به کاربران امکان جستجوی قدرتمندتر و کارآ را خواهد داد. مثلا" برخی از Spider ها ، علاوه بر نگهداری اطلاعات مربوط به عناوين و لينک ها ، يکصد کلمه با فرکانس تکرار بيشتر در صفحه وب و کلمات موجود در بيست خط اوليه را نيز نگهداری خواهند کرد. مرکز جستجوی Lycos از رويکرد فوق استفاده می نمايد.
سيستم های ديگر نظير " Altavista ، از روش خاص خود در اين زمينه استفاده می نمايند. در سيستم فوق برای هر يک از کلمات موجود در صفحه شامل "a" ، "an" و "the" و ساير کلمات مشابه نيز ايندکس ايجاد می گردد.
تگ های متا
تمام موارد فوق مفروض به حالتی است که ايجاد کننده صفحه وب قصد معرفی صفحه ايجاد شده خود را به مراکز جستجو دارد. در برخی موارد ممکن است تمايلی به انجام اين کار وجود نداشته باشد.
ايجاد ايندکس
• اطلاعات بهمراه داده ذخيره گردند.
• با استفاده از روشی اطلاعات ايندکس گردند.
در ساده ترين حالت ، يک مرکز جستجو می تواند صرفا" کلمه و آدرس URL آن را ذخيره نمايد. روش فوق در بازيابی اطلاعات و جستجو توسط کاربران ايجاد محدوديت خواهد کرد. با استفاده از روش فوق نمی توان جايگاه و وزن يک کلمه در يک صفحه وب را مشخص نمود. مثلا" نمی توان تشخيص داد که کلمه مورد نظر چند مرتبه در صفحه تکرار شده و يا لينک های موجود در صفحه نيز شامل کلمه مورد نظر می باشند يا خير . بدين ترتيب امکان ارائه يک ليست از صفحات وب که شامل کلمه مورد نظر بر اساس ميزان تکرار می باشند ، وجود نخواهد داشت .
به منظور ارائه نتايج مفيدتر توسط مراکز جستجو ، اکثر مراکز جستجو صرفا" کلمه و آدرس URL را ذخيره نمی نمايند . در اين حالت مواردی نظير : تعداد تکرار کلمه در صفحه نيز ذخيره خواهد شد. مراکز جستجو همچنين به هر entry يک وزن را نسبت خواهند داد. وزن نسبت داده شده، نشاندهنده جايگاه کلمه در صفحه است ( ابتدای صفحه ، در لينک ها ، در تگ های متا و يا در عنوان صفحه ) هر يک از مراکز جستجو برای اختصاص يک وزن مناسب به کلمه مورد نظر از يک فورمول استفاده می نمايند. موضوع فوق يکی از دلايلی است که جستجو يک کلمه توسط دو مرکز جستجو ، نتايج مشابه ای را بدنبال نخواهد داشت .
مراکز جستجو بدليل استفاده بهينه از فضای ذخيره سازی ، اطلاعات مورد نظر را بصورت رمز شده ذخيره می نمايند. مثلا" در نسخه اوليه سايت Google از دو بايت به منظور ذخيره سازی اطلاعات مربوط به کلمات در يک صفحه استفاده می کردند. کلمات بصورت حروف بزرگ بهمراه اندازه فونت ، وزن و موقعيت آن ذخيره می گرديد. هر يک از فاکتورهای فوق دو ويا سه بيت از دو بايت اشاره شده را به خود اختصاص می دادند. بدين ترتيب اطلاعات گسترده ای بصورت فشرده ذخيره و سپس عمليات ايجاد ايندکس انجام می گيرد.
ايندکس دارای صرفا" يک هدف است : امکان يافتن اطلاعات با سرعت بالا . برای ايجاد ايندکس از روش های متعددی استفاده می گردد. يکی از بهترين روش های موجود ، ايجاد يک جدول Hash است . در روش hashing ، از يک فورمول برای اختصاص يک عدد به يک کلمه استفاده می گردد. توزيع عددی با توزيع کلمات بصورت الفبائی با يکديگر متفاوت بوده و همين امر ، موثر بودن جداول hash را بدنبال خواهد داشت . در زبان انگليسی حروفی وجود دارد که کلمات زيادی با آنان آغاز می گردد. مثلا" بخش حرف "M" ، در يک ديکشنری بمراتب قطورتر از حرف "X" است . بدين ترتيب جستجو و يافتن کلماتی که با حرف M شروع می گردند زمان بمراتب بيشتری نسبت به يافتن کلماتی که با حرف "X" آغاز می گردند ، را طلب می کند. در روش hashing ، با آگاهی از موارد فوق، بگونه ای رفتار می گردد که متوسط زمان بازيابی هر کلمه کاهش يابد. در روش فوق ايندکس از داده واقعی متمايز می گردد. جدول hash ، شامل شماره hash بهمراه اشاره گری است که به داده مورد نظر اشاره می نمايد. با ايجاد يک سيستم ايندکس مناسب و ذخيره سازی مطلوب اطلاعات ، امکان ارائه نتايج مفيد برای کاربران را فراهم خواهد کرد.
جستجو
• AND . تمام کلماتی که توسط AND بيکديگر ملحق شده اند ، می بايست در صفحه موحود باشند. در برخی از مراکز جستجو از عملگر "+" بعنوان عملگر جايگزين AND نيز استفاده می شود.
• OR . حداقل يکی از کلماتی که توسط OR بيکديگر ملحق شده اند ، می بايست در صفحه موجود باشد .
• NOT . کلمه بعد از NOT نبايد در صفحه موجود باشد. برخی از مراکز جستجو از عملگر "-" نيز استفاده می نمايند.
• Followed by . يکی از کلمات می بايست مستقيما" پس از کلمه ديگر وجود داشته باشد.
آينده مراکز جستجو
يکی از موارديکه اخيرا" توسط محققين متفاوتی در مراکز جستجو دنبال می گردد ، جستجو بر اساس مفهوم است .در روش فوق با استفاده از آناليزهای آماری بر روی صفحات شامل کلمات سعی در ارائه نتايج مطلوبتری وجود دارد. در برخی موارد ديگر استفاده از زبانهای طبيعی برای جستجو دنبال می گردد. در روش فوق برای طرح سوال خود از يک مرکز جستجو از روشی که توسط انسان برای طرح سوالات مربوطه استفاده می گيرد، استفاده خواهد شد. در اين راستا ضرورتی به استفاده از عملگرهای منطقی و يا query های پيچيده نخواهد بود.
مقالات مرتبط
تازه های مقالات
ارسال نظر
در ارسال نظر شما خطایی رخ داده است
کاربر گرامی، ضمن تشکر از شما نظر شما با موفقیت ثبت گردید. و پس از تائید در فهرست نظرات نمایش داده می شود
نام :
ایمیل :
نظرات کاربران
{{Fullname}} {{Creationdate}}
{{Body}}