Я принимал участие в конкурсе «5 причин, почему должны читать Ваш блог».
Ну что ж… Надеюсь на победу!)) В этом мне можете помочь только Вы, мои читатели. Чтобы поддержать меня на конкурсе, необходимо всего-лишь перейти по этой ссылке и проголосовать за “CMS-системы”. Буду Вам очень благодарен!регистрация там не нужна. Нужно только выбрать и нажать кнопочку.
Не обходите стороной! Спасибо! 
Наверное каждый в своей жизни множество раз сталкиваеться с этим файлом. Я расскажу Вам что это за файл, для чего он предназначен и как правильно его написать. И так…
robots.txt - это файл, который размещен в корне Вашего сайта на хостинге. Поисковые роботы Яндекса, Гугла и других поисковых систем, когда попадают на Ваш сайт, в первую очередь ищут этот файл, чтобы посмотреть, какие страницы Вы разрешаете проиндексировать, а какие нет.
Теперь перейдем к правилам создания файла.
Как Вы уже догадались, robots.txt - это текстовый файл. Его можно создать в обычном блокноте. Опять же советую для редактирования каких-либо файлов Вашего сайта использовать Notepad 2.
В robots.txt используеться 2 команды: “User-agent” и “Disallow“.
Знак “#” - комментарии.
User-agent - определяет робота, а Disallow - задает файл, который будет закрыт для индексации.
Пример с объяснениями:
User-agent: Aport
User-agent: Yandex
Disallow: /next
#запрещение индексации Апорту и Яндексу ссылок, которые начинаються с “/next”
#если запретов несколько, то каждый Disallow писать с новой строки
User-agent: Aport
Disallow:
#пустое поле разрешает Апорту индексировать все ссылки
User-agent: *
Disallow: /next
#Запретить всем роботам индексацию ссылок, которые начинаються с “/next”
И последнее:
User-Agent: Yandex
Disallow: /*.jpg$
#Запрещает Яндексу индексацию файлов с расширением .jpg
Переходим к мета-тегу:
Этот мета-тег предназначен для разрешения или запрещения индексации поисковым роботом текущей страницы. Продвинутые СЕОшники часто используют его.
Сначала напишу параметры:
NOINDEX - запрещает индексацию страницы;
INDEX - разрешает индексацию страницы;
NOFOLLOW - запрещает переход по ссылкам, которые есть на данной странице;
FOLLOW - переход по ссылкам, которые есть на данной странице;
ALL - индексировать все
NONE - не индексировать ничего
А теперь конкретный пример мета-тега:
<html>
<head>
<meta name=”robots” content=”index, follow”>
<meta name=”description” content=”Текущая страница”>
<title>…</title>
</head>
<body>
На сегодняшний день грузоперевозки считаются не только доходным, но и очень непростым видом бизнеса. Перевозчики имеют дело с целым рядом серьезных проблем, которые тормозят процесс доставки и ведут к его существенному удорожанию: это плохое состояние дорог, неразвитая транспортная инфраструктура и так далее. Впрочем при правильном планировании и создании логистических схем фирмы, занимающиеся перевозками грузов, могут достичь достаточно больших успехов. Любая грузоперевозка должна быть хорошо проработана - таким образом, чтобы доставка грузов была совершена в сроки, оговоренные в контракте, а на совершение заказа не имели возможность отрицательно повлиять такие причины как плохие дороги, сложные погодные условия, задержки на таможне, а также задержки при погрузке и выгрузке или же оформлении документов.
В наши дни стандарты обслуживания на рынке услуг становятся более строгими, и от возможности соответствовать им будет зависеть положение организации, ориентированной на грузоперевозки. В подобных условиях наличие современной технической базы и парка своего автотранспорта, предназначенного для доставки грузов различных классов на любые расстояния, даже не обсуждается, это является обязательным по умолчанию. Немалые требования предъявляются и к профессионализму персонала, занятого оформлением таможенной документации и отслеживающего перемещение товара на протяжении всего маршрута. К сотрудникам фирмы предъявляются высокие требования по вопросам умения не только профессионально осуществить процесс качественной и выполненной во время перевозки груза в пункт назначения, но и просчитать все ситуации, которые могут возникнуть в пути следования груза. Обычно, организации, которые занимаются перевозками грузов, предоставляют весь спектр сопутствующих услуг, так при необходимости ее работниками организуется перегрузка, хранение и таможенное оформление груза в любом пункте маршрута следования. В течении всего процесса грузоперевозки они осуществляют непрерывный контроль за перемещением груза, следовательно, в любой момент заказчик может не только получить сведения о местонахождении груза, но и дать соответствующие инструкции. Автомобильные перевозки используются для широкого спектра товаров: это могут быть негабаритные, длинномерные либо тяжеловесные грузы, ядовитые, легковоспламеняющиеся либо взрывоопасные вещества. Любой такой груз требует выбора специального типа транспортного средства, оформление требуемой сопроводительной документации и страховки груза, составленные с учетом всех законодательных нормативов, в некоторых случаях может понадобиться охрана и сопровождение груза автоинспекцией.
Международные грузоперевозки - один из наиболее распространенных видов транспортировки грузов в международном сообщении. Такие автоперевозки в особенности подходят для работы со странами Европы, СНГ и ближнего Востока. Сегодня достаточно востребованы на межконтинентальных направлениях, а также при доставке грузов в удаленные и труднодоступные места нашей планеты мультимодальные перевозки. По этой причине более экономически выгодным является транспортировка грузов в контейнерах. Контейнерные перевозки грузов характеризуются тем, что имеют стандартные размеры и, соответственно, просто транспортируются всяким видом транспорта, что позволяет существенно сокращать транспортные издержки и время грузоперевозки.
Международные автоперевозки, а тем более мультимодальные контейнерные перевозки, имеют определенные отличительные черты, например в оформлении разрешительных документов.
Выполнение международных перевозок нереально без участия компетентных специалистов, с их помощью можно отследить груз, его состояние и организовать дальнейшие действия на различных участках перевозки. На протяжении всего времени доставки груза до места назначения экспедиторы должны непрерывно отслеживать груз, координировать всех участников перевозки, с целью избежать простоев транспорта, долгого хранения груза в портах или же на складе, а помимо этого обеспечить беспрепятственное прохождение таможенного оформления.
Благополучие компании, представляющей себя на рынке услуг транспортировки грузов, обуславливается, главным образом, слаженной работой всех участников процесса транспортировки, благодаря этому организация всегда находится в состоянии готовности реализовать какой угодно заказ на довольно привлекательных для клиента условиях.