صفحات سايت ها و مقالات مخفي اينترنت را چگونه بياييم؟
نويسنده: عليرضا قاسمي
اين عنوان يکي از مقالاتي بود که چند روز گذشته در وب سايت HELPERO ارسال شده بود.
عنوان صفحه طوري بود که کاربر را کنجکاو کند تا به متن مقاله نگاهي بياندازد. من نيز از روي همين کنجکاوي، مقاله نه چندان بلند آن را مطالعه کردم. نويسنده در 5 مرحله کاربر را راهنمايي مي کند تا بتواند صفحاتي را که تحت وب به صورت مخفي در آمده اند را بيابد. در اينجا منظور از مخفي بودن، به صفحاتي اشاره مي شود که به وسيله ROBOTS.TXT از ديد موتورهاي جستجو پنهان مي شوند. متن زير ترجمه ( برداشت ) آزادي است از اين نوشته که براي اين پست آن را در نظر گرفته ام.
در اينترنت صاحبان وب سايت هاي زيادي وجود دارند که بعضي از صفحات سايت خود را از ديد موتورهاي جستجو پنهان مي کنند. اما حالا به وسيله ROBOTS.TXT
شما توانايي اين را داريد که اينگونه صفحه ها را به سادگي پيدا کنيد.
ROBOTS.TXT همانطور که از پسوند آن پيداست، فايلي است متني که در ريشه اصلي سايت قرار مي گيرد و به وسيله آن مي توان فهرست شدن صفحات را توسط روبوت هاي جستجو کنترل کرد. اگر در اين فايل از خاصيت DISALLOW استفاده شود، صفحات مورد اشاره از ديد موتورهاي جستجو مخفي مي ماند.
يک: وب سايت گوگل را باز کنيد و اين کلمه کليدي را در آن جستجو کنيد:
ROBOTS.TXT" " DISALLOW:" FILETYPE:TXT"
دو: پس از آن شما نتايج فايل هاي ROBOTS.TXT که در آن ها از فرمان DISALLOW استفاده شده را خواهيد ديد.
سه: به عنوان نمونه، نتيجه اول که سايت کاخ سفيد است را باز مي کنيم. طبق آن چيزي که مشاهده مي شود، مي توان ديد که صفحات زيادي به حالت پنهان در آمده اند.
چهار: براي باز کردن يکي از آن صفحات ممنوعه کافي است که فرمان مقابل عبارات DISALLOW را بدون کلمه TEXT انتهايي کپي کنيد.
پنج: حالا متن کپي شده را در انتهاي آدرس اصلي وب سايت قرار بدهيد و وارد آن صفحه شويد.
اين يکي از صفحات پنهان شده کاخ سفيد است! حالا چه احساسي مي توانيد داشته باشيد، يک شرلوک هلمز مدرن اينترنتي....؟!
عنوان صفحه طوري بود که کاربر را کنجکاو کند تا به متن مقاله نگاهي بياندازد. من نيز از روي همين کنجکاوي، مقاله نه چندان بلند آن را مطالعه کردم. نويسنده در 5 مرحله کاربر را راهنمايي مي کند تا بتواند صفحاتي را که تحت وب به صورت مخفي در آمده اند را بيابد. در اينجا منظور از مخفي بودن، به صفحاتي اشاره مي شود که به وسيله ROBOTS.TXT از ديد موتورهاي جستجو پنهان مي شوند. متن زير ترجمه ( برداشت ) آزادي است از اين نوشته که براي اين پست آن را در نظر گرفته ام.
در اينترنت صاحبان وب سايت هاي زيادي وجود دارند که بعضي از صفحات سايت خود را از ديد موتورهاي جستجو پنهان مي کنند. اما حالا به وسيله ROBOTS.TXT
شما توانايي اين را داريد که اينگونه صفحه ها را به سادگي پيدا کنيد.
ROBOTS.TXT همانطور که از پسوند آن پيداست، فايلي است متني که در ريشه اصلي سايت قرار مي گيرد و به وسيله آن مي توان فهرست شدن صفحات را توسط روبوت هاي جستجو کنترل کرد. اگر در اين فايل از خاصيت DISALLOW استفاده شود، صفحات مورد اشاره از ديد موتورهاي جستجو مخفي مي ماند.
يک: وب سايت گوگل را باز کنيد و اين کلمه کليدي را در آن جستجو کنيد:
ROBOTS.TXT" " DISALLOW:" FILETYPE:TXT"
دو: پس از آن شما نتايج فايل هاي ROBOTS.TXT که در آن ها از فرمان DISALLOW استفاده شده را خواهيد ديد.
سه: به عنوان نمونه، نتيجه اول که سايت کاخ سفيد است را باز مي کنيم. طبق آن چيزي که مشاهده مي شود، مي توان ديد که صفحات زيادي به حالت پنهان در آمده اند.
چهار: براي باز کردن يکي از آن صفحات ممنوعه کافي است که فرمان مقابل عبارات DISALLOW را بدون کلمه TEXT انتهايي کپي کنيد.
پنج: حالا متن کپي شده را در انتهاي آدرس اصلي وب سايت قرار بدهيد و وارد آن صفحه شويد.
اين يکي از صفحات پنهان شده کاخ سفيد است! حالا چه احساسي مي توانيد داشته باشيد، يک شرلوک هلمز مدرن اينترنتي....؟!
