Что бы роботы проиндыксировали ваш сайт быстрее нужны эти маленькие, но очень полезные вещи.
И так начнём с Robots: Для того чтобы создать Robots создайте блокнот и назавите его Robots в формате txt.
и всунте туда следуюший код:
User-agent: *
Disallow: /panel/
Disallow: /admin/
Disallow: /search
Host: http://cылка на сайт
Sitemap:http://домен/ sitemap.xml
Sitemap:http://домен/sitemap-forum.xml
И загрузите в файловый менеджер. Желательно сразу в корень, но не в другие папки.
Это значительно ускоряет индексацию сайта.

SiTemap-это карта вашего сайта также неотемная часть в индексации. Sitemap можно создать тут http://www.htmlweb.ru/analiz/sitemap.php
Выбираем формат xml и генерируем, ждём, скачиваем его и также загружаем в файловый менеджер,и нужно вынести сылку на SiteMap
SiteMap
Что бы сообшить поисковику о новом сайтмапе нужно подобавлять его в поисковики.
Вот сылки на сообщения нового SiteMap.

Google http://google.com/webmasters/sitemaps/ping?sitemap=
Яндекс http://webmaster.yandex.ru/wmconsole/sitemap_list.xml?host=
http://search.yahooapis.com/SiteExplorerService/V1/ping?sitemap=
Ask.com http://submissions.ask.com/ping?sitemap=
Live Search http://webmaster.live.com/ping.aspx?siteMap=