Очистка на стороне клиента на основе браузера

Интересно, можно ли очистить внешнюю (междоменную) страницу через IP-адрес пользователя?

Для сайта сравнения покупок мне нужно очистить страницы сайта электронной почты, но несколько запросов с сервера приведут к тому, что я буду забанен, поэтому я ищу способы выполнить очистку на стороне клиента - то есть запросить страницы с IP-адреса пользователя и отправить на сервер для обработки.

Author: 3zzy, 2015-07-23
Source

4 answers

Нет, вы не сможете использовать браузер своих клиентов для удаления контента с других веб-сайтов с помощью JavaScript из-за меры безопасности, называемой Политикой того же происхождения.

Не должно быть никакого способа обойти эту политику, и на то есть веская причина. Представьте, что вы могли бы дать указание браузеру ваших посетителей делать что угодно на любом веб-сайте. Это не то, что вы хотите, чтобы произошло автоматически.

Однако для этого вы можете создать расширение для браузера. Расширения браузера JavaScript могут быть оснащены большим количеством привилегий, чем обычный JavaScript.

Adobe Flash имеет аналогичные функции безопасности, но я думаю, вы могли бы использовать Java (не JavaScript) для создания веб-скребка, который использует IP-адрес вашего пользователя. Опять же, вы, вероятно, не захотите этого делать, так как плагины Java считаются небезопасными (и медленно загружаются!), и не все пользователи даже установят их.

Итак, теперь вернемся к вашей проблеме:

Мне нужно очистить страницы сайт электронной почты, но несколько запросов с сервера приведут к тому, что меня забанят.

Если владелец этого веб-сайта не хочет, чтобы вы использовали его услуги таким образом, вам, вероятно, не следует этого делать. В противном случае вы рискуете юридическими последствиями (смотрите здесь для получения подробной информации).

Если вы находитесь на "темной стороне закона" и вам все равно, незаконно это или нет, вы можете использовать что-то вроде http://luminati.io / для использования IP-адресов реальных людей.

 26
Author: Johann Bauer, 2018-02-01 13:39:05

В основном браузеры созданы для того, чтобы этого не делать...

Решение, о котором каждый думает в первую очередь:

JQuery/JavaScript: доступ к содержимому iframe

Но в большинстве случаев это не будет работать с "последними" браузерами (

Альтернативами являются:

  • Использование официальных API сервера (если таковые имеются)
  • Попробуйте найти, предоставляет ли сервер службу JSONP (удачи)
  • Находясь в том же домене, попробуйте пересечь написание сценариев для сайта (если возможно, не очень этично)
  • Использование доверенного ретранслятора или прокси-сервера (но при этом все равно будет использоваться ваш собственный ip-адрес)
  • Притворяется, что вы веб-искатель Google (почему бы и нет, но не очень надежный и никаких гарантий по этому поводу)
  • Используйте хак для настройки ретранслятора/прокси на самом клиенте, я могу подумать о java или, возможно, flash. (не будет работать на большинстве мобильных устройств, медленно, и у flash тоже есть свои собственные ограничения для разных сайтов)
  • Попросите Google или другой поиск механизм для получения контента (у вас могут возникнуть проблемы с поисковой системой, если вы злоупотребляете ею...)
  • Просто выполните эту работу самостоятельно и кэшируйте ответ, это для того, чтобы разгрузить их сервер и снизить риск быть забаненным.
  • Проиндексируйте сайт самостоятельно (ваш собственный веб-искатель), затем используйте свой собственный проиндексированный веб-сайт. (зависит от изменений источника частота) http://www.quora.com/How-can-I-build-a-web-crawler-from-scratch

[РЕДАКТИРОВАТЬ]

Еще одно решение, о котором я могу подумать, - это использование службы YQL, таким образом, это немного похоже на использование поисковой системы/публичного прокси-сервера в качестве моста для получения информации для вас. Вот простой пример, как это сделать, Короче говоря, вы получаете междоменные запросы на получение

 3
Author: Flavien Volken, 2017-05-23 11:33:24

Взгляните на http://import.io , они предоставляют пару сканеров, соединителей и экстракторов. Я не совсем уверен, как они обходят запреты, но они каким-то образом это делают (мы используем их систему уже более года без проблем).

 2
Author: Jan, 2015-07-29 14:37:09

Вы можете создать расширение для браузера с помощью artoo.

Http://medialab.github.io/artoo/chrome/

Это позволит вам обойти те же ограничения политики организации. Это все javascript и на стороне клиента.

 1
Author: user2816491, 2015-12-12 05:37:11