Как скопировать любой сайт целиком и переделать под себя?

Даже начинающий веб знает, что для арбитража ему будут нужны добротные сайты Создавать их с нуля, тем более если целевые сайты нужны постоянно, это слишком хлопотно: целесообразнее будет скопировать сайт, уже созданный кем-то из конкурентов.

Причём речь идёт как о лендосах, так и о многостраничниках (например, интернет-магазин) — скачать можно всё. Только посадочные страницы загружаются в несколько кликов, а на копирование полноценных сайтов могут уйти дни и даже недели. Арбитражник должен это понимать перед тем, как браться за работу.

Как скопировать сайт? Какие способы для этого существуют? Можно ли упростить себе задачу, используя сторонние сервисы? Сегодня расскажем всё, погнали!

Риски копирования сайтов для арбитражников

Во-первых, это защита авторского права. Владелец сайта может подать в суд на арбитражника, который решил воспользоваться наработками конкурентов для собственного обогащения.

Это как со спай-сервисами:  работу конкурентов можно использовать как заготовку, материал для собственного вдохновения, но не более того. Грубая копипаста чужого труда не только чревата неприятностями — она попросту не принесёт вебмастеру ни трафика, ни денег. Невозможно переманить ЦА с оригинального сайта на копию, к тому же если она сделана на тяп-ляп. 

Вебмастер, понимающий своё дело, никогда не станет полностью копировать чужую работу: он заменит логотип, поработает над цветами, разместит свой контент — словом, проведёт работу, которая поможет ему создать оригинальный продукт.

А уж тогда будьте уверены, что трафик польётся рекой.

Итак, какие существуют способы скопировать чужой веб-ресурс?

Скопировать сайт через браузер (CTRL + S)

+ Быстро;

– Скопируется не всё: динамические файлы страницы и скрипты могут не загрузиться, в результате будут ошибки в вёрстке.

Самый простой способ: нажать CTRL + S (на MacOS это cmd + S) и выбрать способ скачки — только страница HTML, страница одним файлом или веб-страница полностью. Подойдёт тем, кто хочет иметь доступ к странице оффлайн. Но простота — единственный плюс копирования через браузер, так как клонируется только визуальная часть сайта, тогда как остальное в процессе копирования просто отвалится. Баннеры, скрипты, формы обратной связи — всё это придётся настраивать вручную, так как частично эта кухня работает на стороне сервера. Для допиливания копированного сайта и его адекватного запуска всё равно придётся искать программиста и платить ему деньги.

Альтернатива — сделать это самостоятельно, если есть навык. В помощь такому арбитражнику будут Notepad++, Visual Studio Code или Sublime Text.

Вариант для арбитражников, которые любят иметь в своём арсенале несколько вариантов решения задачи — браузерное расширение Save Page WE. В отличие от обычного Save As, упаковывает сайт в более упорядоченную структуру и имеет ещё несколько интересных функций, которые бывалым вебмастерам точно понравятся.

Wget — как скачать сайт через консоль

Этот способ тоже подразумевает копирование сайта без графических элементов. Но функционал у утилиты довольно широкий, а именно:

• скан и копирование сайтов по протоколам http, https, ftp и ftps;
• упаковывание исходного кода + контента в один файл mhtml с локальным доступом;
• создание зеркал с возможностью загрузки оных на новый сервер.

Утилита доступна на Linux (изначально) и на Windows (позднее). Для копирования необходимо ввести в консоль команду типа “wget -r -k -l 7 -p -E -nc http:/tvoi.site/”.

Параметры обозначают следующее:

• -r — переход по ссылкам на сайте, скачивание подкаталогов и всех файлов в этих подкаталогах;
• -k — преобразование скачанных урлок для работы с ними в автономном режиме;
• -l — параметр глубины вложенности страницы. Если вы парсите не одностраничник, а целый интернет-магазин, то последний будет иметь глубину вложенности, и благодаря этому параметру утилита будет знать насколько глубоко ей копать; 
• -p — команда для загрузки всех «визуальных» файлов — изображений, css и проч.;
• -E — преобразует скачанные файлы в .html;
• -nc — указывает на то, что утилита не будет перезаписывать текущие файлы — например, если загрузка была прервана.

Клонировать сайт через скрипт

+ Бесплатно; можно подкрутить скрипт под свои задачи;

– Скорее всего, придётся разбираться в PHP; если сайт защищён протоколом HTTPS, то с выгрузкой могут быть проблемы; формы обратной связи тоже работать не будут, так что и тут придётся идти к программисту.

В данном случае речь идёт о скрипт-парсерах, с помощью которых вебмастер может не только скопировать весь сайт, но и выгрузить данные с него в excel-таблицу. Такие библиотеки для парсинга чаще всего делаются программистами под конкретные задачи, поэтому в интернете вы найдёте огромное их количество. По этой причине многие подобные программы бесплатны, это их главное преимущество.

А если вы арбитражник, ещё и немножечко умеющий в веб-разработку, то сможете докрутить ту или иную библиотеку для парсинга под свои задачи.  Фактически, умея кодить, арб может выкачивать любые данные с сайта на свой выбор, будь то текстовые страницы сайта, контакты, базы email, каталоги товаров и проч.

Скачать сайт через сторонний софт

+ Ручные настройки: можно выбирать между копированием как отдельных элементов (фото, тексты, каталоги товаров), так и всего сайта; есть разнообразие возможностей, в зависимости от выбранного софта;

– Функционал = стоимость: чем его больше, тем дороже программа;

А ещё с помощью таких инструментов можно останавливать и возобновлять скачку. Некоторые софтины для клонирования сайтов довольно сложны в освоении и придётся потратить время, чтобы разобраться. Но разве этим напугаешь профессионального веба? Ведь каждый день нам приходится сталкиваться не только с многозадачностью, но и с необходимостью разбираться в том, как всё устроено. 

Ниже — несколько программ, дающих представление о том как скопировать сайт целиком.

WebScrapBook

Браузерное расширение, с помощью которого вебмастера могут скачать и зафиксировать  нужные страницы сайта, не покидая самой целевой страницы.

Функции сервиса включают: 

1. Захват веб-страницы с точными данными — такими, как урла источника, отметка времени и т.д.;
2. Захват страницы с данными, которые арбитражник выбирает сам: область страницы, сохранение исходное страницы, сохранение страницы в виде закладки. Сюда же относится скачка графического контента, шрифтов, стилей и рамок. Веб-мастер может сохранять скачанные страницы в виде zip-архива, папки или HTML-страницы;
3. Встроенное редактирование страницы. Это к вопросу о том как скопировать сайт и переделать под себя;
4. Доступ к данным с любого устройства. Скачанные страницы можно просматривать с любого ПК или смартфона, так как они хранятся на центральном сервере. Можно создать индекс статического сайта, который будет размещён на общем сервере;
5. Поддержка мобильных браузеров. Сюда относятся Firefox для Андроид и Kiwi browser.

Основное преимущество софтины в том, что она бесплатна.

Teleport Pro

Онлайн-сервис для скачивания сайта полностью, со всей его структурой и исходным кодом, или выборочных файлов.

Преимущества:

• Многопоточность, что ускоряет процесс скачки файлов;
• Несколько режимов клонирования, включая копию сайта для автономного просмотра;
• Возможность задать маску файлов;
• Ручная настройка глубины прохода по сайту и ограничение доменного имени;
• Автоматизация запуска, остановки и обновления процесса копирования сайта.

И многое другое.

Минусы:

• Дороговато. Месячная подписка стоит около $50;
• Обновления. Cофт довольно старый: он был создан в 2006, интерфейс у него нафталиновый. И увы, программа доступна только для Винды. Последний раз обновлялся аж в 2016 году, но олдфагам должно понравится.

Teleport Pro совместима с основными браузерами, включая Гугл Хром. Она во многом напоминает утилиту Wget, которую мы рассматривали выше.

Httrack Website Copier

Ещё одна старенькая софтина для клонирования сайта, которая тоже давно не обновлялась — с 2017 года. Интерфейс в лучших традициях начала нулевых. Функционал похож на Телепорт и Вгет.

Плюсы:

• Можно скачивать несколько сайтов одновременно;
• Упорядочивает ссылочную структуру скопированного сайта;
• Бесплатный.

Доступен только для Винды и Линукса. Пользователи, пробовавшие несколько решений, уверяют, что WebScrapBook и Teleport Pro будут поудобнее, чем Websire Copier.

Cyotek WebCopy

Программа, которая идеально подойдёт для скачивания небольших сайтов. Для арбитражников, которые регулярно работают с лендосами — то, что нужно.

Преимущества:

• Есть ручная конфигурация — парсить веб-ресурс полностью или частично;

• Простой;
• Бесплатный;

Недостатки:

• Требует установки;
• Клонирует контент и CSS, но теряет JavaScript.

В принципе это всё, что стоит знать о программе. Поскольку она тоже считается устаревшей, вебы могут использовать её как доп. средство для клонирования сайтов конкурентов вместе с другими сервисами, представленными в этой статье.

Копия сайта через WordPress

Вордпресс заслужил любовь вебов за свою простоту: чтобы создавать или копировать сайты на этой CMS, не нужно знать код. Пользоваться WordPress относительно просто, все базовые инструменты находятся внутри системы. К услугам арбов куча плагинов, с помощью которых можно в том числе и копировать сайты коллег-конкурентов. Ниже рассмотрим некоторые из них.

Scrapes

Плагин автоматического захвата контента, который позволяет срисовывать инфу с любого сайта и переносить её на другие источники. Фича парсера — автоматическое копирование: настроив его один раз, арбитражник будет регулярно получать обновления с копируемого сайта в онлайн-режиме. Минус софтины в том, что она запустится только на Windows, «яблочным» пользователям она недоступна.

WPGrabber

Этот плагин на движке Вордпресс заточен под автоматическое наполнение сайтов контентом разных видов. При этом арбитражник может парсить контент для своей площадки с любого количества источников — хоть с двух сайтов, хоть с тысячи. Главное разобраться как это всё настроить и автоматизировать, потому что помимо того как скопировать чужой сайт, плагин может парсить контент из соц. сетей, Youtube и блогов — всего он «знает» более 90 площадок, с которых может вытаскивать данные. WPGrabber фильтрует контент по ключевым словам или по изображениям, умеет переводить текстовое содержимое более чем с 20 языков и многое другое.

Онлайн-сервисы для копирования сайтов

+ Никаких требований к железу и ОС; можно скачать сайт на смартфон — как iOs, так и Android; простота и доступность — никаких инструкций и долгих копаний в настройках, всё автоматизировано максимально;

– Медленная скорость клонирования из-за нагрузки на сервер; ограниченность опций по сравнению с полноценными программами для скачки сайтов.

Вроде как всё просто и удобно — зашли на сайт, задали параметры копирования и начали скачку. Но обратная сторона медали — это ошибки, которые могут возникать при копировании: их может быть больше, чем при использовании полноценного софта. Тёртые арбитражники для клонирования веб-ресурсов используют несколько онлайн-сервисов одновременно, но на это уходить немало времени. И денег тоже, так как хорошие онлайн-сервисы для копирования сайтов редко бывают бесплатными, а вернуть средства, если инструмент не зайдёт, вряд ли получится.

На каком из способов клонирования сайта конкурента останавливаться, выбирать вам. Ниже мы обрисуем возможности нескольких онлайн-сервисов, чтобы вы могли выбрать для себя лучший вариант — или вернуться к одному из предыдущих способов копирования сайтов.

Saveweb2zip.com

Простой и доступный онлайн-сервис для копирования любого сайта — от скромного лендоса до огромных многостраничников. Арбы могут выкачивать содержимое сайта в несколько кликов. Оно загружается в архив, который содержит файл index.html. В отличие от других допотопных программ, таблицы стиля и javascript тоже скачиваются, так что при загрузке сайта с динамическими изображениями они скорее всего будут отображаться.

Как скачать сайт через saveweb2zip?

1. Заходим на сайт — saveweb2zip.com;
2. Вставляем ссылку на ресурс — обязательно в виде https://www.vashsite.com/;
3. Ждём, пока скачается, это занимает несколько секунд.

Всё. Инструмент на момент написания статьи бесплатный. Дополнительно можно настроить:

• Форму для получения заявок (для арбов предусмотрена интеграция с перечнем партнёрок, включая Adcombo и Aff1, но в том числе и с целой кучей российских сервисов, так что тут стоит быть бдительным);
• Мобильную версию сайта;
• Переименование скачанных файлов;

А ещё можно скачать сайт другим алгоритмом, если с первого раза что-то пошло не так.

WebsiteDownloader и Website Copier

Первый сервис, дело рук нидерландских разработчиков, также называется Wayback Machine Loader. Вебмастера могут скачать любой ресурс в несколько ctrl+c и ctrl+v:

1. Переходим на сайт сервиса;
2. Вставляем адрес сайта, который хотим скачать, в соответствующую строку;
3. Указываем почту, на которую хотим получить результат;
4. Выбираем что именно будем клонировать: пдфки, документы, эксельки, эксемельки, другие файлы — или всё вместе;
5. Ставим галочку, что мы не робот.

Скачиваем. Как и в предыдущих случаях, мы получим файл index.html. Это демо-версия скачанного сайта и её мы можем получить бесплатно. Получить доступ ко всем файлам можно за $15. Сервис также предлагает арбам восстановление доменов с archive.org, преобразование html-файлов в WordPress, неограниченное восстановление архива в HTML, генератор политики конфиденциальности и создание htaccess. Что-то из этого достанется бесплатно, а за что-то нужно будет оформить платную подписку.

Website Copier, который теперь называется Toolsbug.com, это целый набор инструментов: тут и скачка изображений из Инсты и Пинтереста, и генератор тегов для Ютуба, и конечно инструмент копирования сайтов. До 50 страниц можно скачать бесплатно, если больше, доплачиваем $12.50. Инструкция по скачиванию прилагается.

Как скопировать сайт с админкой

Клонирование веб-ресура с админкой, помимо скачивания самого сайта, обычно включает в себя:

• Настройку формы обратной связи;
• Установку текстового редактора;
• Очистку информации — удаление левых номеров телефонов, счётчиков, адресов и т.д.;
• Загрузку на хостинг.

И так далее. Многие сервисы из тех, что мы рассмотрели в этой статье — например, Httrack, имеют соответствующие настройки, но надо разбираться, так как они могут быть не выставлены по дефолту. Если делать это лень, то можно делегировать фрилансеру — услуга эта недорогая, адекватный спец сделает всё за 1-2 рабочих дня. Сюда же относится и вопрос как скопировать сайт на другой домен. Выполнение подобной задачи на украинских биржах фриланса на момент написания статьи стоило $20-30. 

Вывод

Что нужно знать арбитражнику о копировании сайтов конкурентов и о том, как их переделать под свои потребности?

1. Чужой сайт как объект интеллектуальной собственности может быть защищён авторским правом. В этом случае за его полное копирование вы как арбитражник можете попасть под уголовную ответственность. Но есть одно но;
2. Умный арбитражник будет использовать скопированный сайт как сырьё для собственного веб-ресурса. Он переделает шрифты, цвета, поменяет адреса, телефоны и емейлы, заменит текстовый, фото- и видеоконтент — словом, проведёт работу для того, чтобы его сайт выглядел уникальным;
3. Существует масса способов скопировать чужой сайт: от комбинации клавиш в браузере до сложных программ с кучей опций, в которых надо копаться. В некоторых случаях вебмастеру могут понадобиться навыки разработчика. Если их нет или не хочется осваивать код, то копирование сайта с админкой и перенос его на новый домен можно поручить фрилансеру, стоит эта услуга относительно недорого. Но опять же всё будет зависеть от размера сайта: за простенький лендинг фрилансер возьмёт $20-30, тогда как клонирование крупных интернет-магазинов может стоить сотни долларов;
4. Некоторые софтины по клонированию сайтов на сегодняшний день устарели. Тем не менее современные проги и онлайн-сервисы располагают широким функционалом — могут скачать сайт со всеми данными, включая динамический контент, CSS и т.д.