- А где ваш ИНН?
- Я у вас всегда плачу по паспорту.
- У нас так платежи не принимаются.
- Проверьте по компьютеру. Я там есть. Есть и история платежей.
Банку деньги нужны. И оператор согласился, напоследок отдав приказ:
- У нас сейчас изменились условия приёма оплат. Вам нужна карточка. Подойдите к девочке возле выхода – она вам выдаст!
Ну да, ну да… Карточку взять легко, закрыть – невозможно. Чтобы не делал, на счёте будет 1 коп. А с одной копейкой они не закрывают. Поэтому, карточка будет обслуживаться всегда. «Вечный кайф!», - как говорилось в одном неприличном анекдоте.
Всё это мне напомнило давнишнюю историю после кончины Союза. Работал тогда на заводе. Однажды начальник управления провёл собрание и объявил, что всем надо подписаться на «Аска-Днепр». Большинство подписалось сразу. Остальным стали «выкручивать руки»: кто не подпишется – не получит зарплату. Деньги тогда платили плохо – наполняли свой банк, вкладывали в «бизнес» и «зарабатывали» от прокрутки «задержанного». В итоге, из всего управления не подписались трое: начальник, я и один упрямый коммунист. А когда «пирамида» упала и люди пошли с вопросами, на собрании всё тот же начальник сообщил, что никто никого не заставлял – выбор был за нами.
Капитализм он такой. Даже дети знают, что рекламу смотреть не надо:
- Папа, реклама это обман?
- Да, это обман.
- А зачем её показывают?
- Денег хотят. Кто поверит, тот им денежку отдаст.
В наше время виртуальных «ценностей», практически все, кто хочет заработать – собирают информацию. Эти данные – «ключ», с которым можно «подойти» к человеку, заставить сделать опрометчивый шаг, и получить искомое. Поэтому, защита себя любимого – это давать о себе как можно меньше информации. И главное – не бери то, что тебе не нужно. Сейчас это всегда приманка: «возьмите карточку нашего банка», «бесплатный» сервис «гудок» на вашем телефоне, «Скажите, библия нас чему-то учит? Хотите, мы её вам подарим?», «сегодня у нас акция – мы бесплатно пылесосим в вашей квартире»…
Конечно, люди, работающие в Интернете, более подготовлены. Практически все пытаются при регистрации указывать минимум правды о себе, а ещё лучше – ложь. Защищают свою информацию, свои ресурсы. Создают правила посещения сайтов, включают защитные модули, настраивают robots.txt и .htaccess. И всё это, чтобы поисковые роботы собирали лишь ту информацию, которую мы хотим.
Абсолютная защита? Нет, правила – для «лохов». Всегда есть сайты, чьи «чёрные» роботы их презирают. Эти Crawler Bot-ы, ведут себя как гусеницы, которые попав на куст, сгрызут всё на своём пути. Чей приход временами напоминает DDoS-атаку. Добавим образности. Представьте себе такую ситуацию: утром, открывая дверь, вы впускаете в свой дом огромную толпу галдящих людей, которые тщательно исследуют ваше жильё, пробуют на прочность, ковыряя щели, попутно раскидывая принесённый мусор. А через месяц к вам приходит человек и сообщает, что всё у вас неправильно. А если не хотите неприятностей – зайдите в контору, где вам всё объяснят.
Не догадались? Рассказываю одну из летних историй. Где-то весной (как и у большинства) сайт накрыла волна посетителей из Бразилии (уже весело). Первые два дня я банил «обезьян» по IP-адресу, а потом решил отключить «банановоз» Semalt.com, по трапу которого они спускались колоннами. Это и спасло ситуацию. Правда, потом была ещё попытка пришвартоваться у Semalt.Semalt.com. Да вовремя обнаружил и «прибил». Говорят, у некоторых ещё пытались зайти с crawler.semalt.com, kambasoft.com. Лечение простое – перехват обращения с возвратом странички «403». С человеком, говорящим «нет» - беседовать бесполезно. Дешевле найти другого «барашка».
Что же это было? Сразу пошли разговоры, что этот платный сервис нарочно сделал такое нашествие спам-ботов, которое занижает позиции сайтов в поисковых системах, заставляя владельцев прийти к ним на сайт, на котором ваш компьютер может ещё и подхватить нехорошее ПО.
Что здесь правда – не суть. Это «чёрное» SEO. Фактически, их многоплановая акция обошлась дешевле любой рекламы. Итог: добровольно-принудительным способом привлекли к себе клиентов. Идея проста: предварительное тотальное исследование сайтов (ошибки, недостатки, данные о социальных метриках, позиции в поисковиках и т.п.), а потом – настоятельное предложение исправить, направить, улучшить... Вот такие мы «Робин Гуды».
Нарушение правил? Попутное нарушение чьих-то рейтингов, позиций? А кто за это осудит? «Победителей не судят, горе – побеждённому». Это, детка – рынок: «что не запрещено, то разрешено». Как-то так думают в англоязычном сервисе с украинским руководством. Да-да, эти технологии уже где-то были отработаны. Только там за это можно получить неприятности, а здесь – «море разливное».
Что ж, «спасение утопающих – дело рук самих утопающих». Предлагаю кардинальное решение проблемы с Semalt и им подобными: так как заблокировать по IP или через настройки robots.txt – не получится, мы можем обратиться к возможностям .htaccess и «обрубить» их по референту. Для этого, в корневом файле .htaccess, в самом его конце, находим текст:
# Various rewrite rules.
<IfModule mod_rewrite.c>
RewriteEngine on
Если там написано «RewriteEngine off» - включаем его, заменив на «RewriteEngine on».
И дописываем наши условия:
# Semalt.com: для их клиентов немедленно отправлять ответ с http-статусом 403 (ЗАПРЕЩЕНО).
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semalt\.semalt\.com [NC]
RewriteRule .* – [F]
</IfModule>
Краткое пояснение:
[NC] – это игнорирование регистра букв
[OR] – логическое «или»
[F] – запрет (запрос вернётся с HTTP-статусом 403)
, а обратная косая (слэш) применяется для «экранирования» символа точки, иначе она будет пониматься по-другому.
При появлении аналогичных сайтов, в последней строке RewriteCond, меняем «[NC]» на «[NC,OR]» и дописываем новую, с очередным «клиентом».
Очень часто подобные сайты «размножаются», сохраняя родственные названия. Можно ли, например, как-то объединить «semalt.com» и «semalt.semalt.com» и записать это одной строкой? Можно:
RewriteCond %{HTTP_REFERER} (semalt\.)?semalt\.com [NC]
Здесь: круглые скобки выделяют группу символов, а знак вопроса обозначает, что эта группа может быть, а может – и не быть.
Если включение модуля «RewriteEngine on» приведёт к появлению ошибки 500 (Internal Server Error), то стоит проверить .httaccess на наличие строк:
# Follow symbolic links in this directory.
Options +FollowSymLinks
Обычно, они находятся в начале файла. Если их нет – добавить.
Карандаш 31.10.2014 г.
P.S.: А вам уже приходили письма «счастья» с сообщением о тысяче проблем? Я уже получил:
Тема: We found 1013 issues on mustang-soft.com
< преамбулу пропускаю :)) >
Show complete report for free
|
There are 1.013 issues problems waiting for you in your free report.
Best regards,
Your Optimizr-Team
Да-да, бесплатно! Нажав на неё, ваш адрес автоматически зарегистрируют, а потом популярно объяснят, что за подробности – надо платить.
P.S.: (актуально на 21.02.2017 г.)
Всё течёт и изменяется. Одни домены Semalt исчезают, а вместо них – тут же возникают другие. Ради интереса, предлагаю мой актуальный список Semalt-а и ему подобных (вместо «hxxp», естественно, имеется ввиду – «http»):
# Semalt
hxxp://semalt.com
hxxp://rankings-analytics.com
hxxp://top1-seo-service.com
# S.Project, SemaltProject
hxxp://semaltproject.com
hxxp://semalt.semalt.com
# Semalt Media
hxxp://semaltmedia.com
# ShareButton
hxxp://sharebutton.net
hxxp://buttons-your-website.com
P.S.: (21.02.2017)
Вроде бы с прошлого года этот способ ссылочного (реферального) спама перестал быть актуальным. Активность - около нуля. Но, на всякий случай я пока ещё держу эти ограничения...
Комментарии
Your mustang-soft.com - immense resource
It agree with you
Thanks!