موتورهای جستجوی پیشتاز همچون Yahoo! ،Google و Bing از خزنده ها جهت یافتن صفحات برای نتایج جستجوی الگوریتمیک استفاده می کنند.صفحاتی که از داخل باقی صفحات ایندکس شده توسط موتورهای جستجو Link شده اند نیاز به ارسال به موتور جستجو نداشته و بصورت خودکار پیدا می شوند.بعضی از موتور های جستجو ازجمله !Yahoo سرویس پولی ارسال را پیاده می کنند که استفاده از خزنده ها را هم بصورت مجموعه ای از قیمت ها و نیز بصورت سیستم بها به ازاء هر Click، اجرا می کند.این برنامه ها معمولا قرارگیری در بانک اطلاعاتی موتور جستجو را ضمانت کرده و در قبال رتبه ای مشخص برای صفحه در لیست نتایج جستجو ضمانتی نمی کنند.دو فهرست اصلی اینترنتی یعنی Yahoo Directory و Open Directory Project، هردو نیاز به ارسال دستی و بررسی انسانی دارند.Google ابزاری به نام Google Webmaster Tools ارائه می دهد که در آن می توان نقشه سایت را توسط خوراک XML ایجاد کرده و بصورت رایگان ارسال نمود تا از یافته شدن تمام صفحات حتی صفحاتی که بصورت خودکار از طریق دنبال کردن Link ها پیدا نمی شوند، اطمینان حاصل نمود. خزنده های موتور های جستجو می توانند به عوامل مختلفی در هنگام خزیدن در یک سایت توجه کنند.تمامی صفحات ایندکس نمی شوند.همچنین فاصله یک صفحه از ریشه سایت می تواند عاملی در پیدا شدن یا عدم آن توسط خزنده های موتورهای جستجو باشد.