Полезная информация

Юристы зарабатывают огромные деньги и славу, оперируя хорошим знанием законов. Правила форума — простой путь к успешному общению.
  • Форумы
  •  » Разработка
  •  » Парсинг контента с удалённого ресурса в расширении (с выполнением JS)

№122-05-2015 16:01:39

init
Участник
 
Группа: Members
Зарегистрирован: 14-04-2012
Сообщений: 42
UA: Firefox 31.0

Парсинг контента с удалённого ресурса в расширении (с выполнением JS)

Всем привет!

Суть проблемы: необходимо распарсить контент со страницы (по условиям задачи, никакое API не доступно, приходится парсить то, что сайт отдаёт обычному пользователю). Если речь идёт о статичном контенте, то проблемы нет, вот этот код справляется на ура:

скрытый текст

Выделить код

Код:

var getRemoteDocument = function(url) {
    var remoteDoc = null;
    try {
        var request  = new XMLHttpRequest();
        request.open('GET', url, false);  
        request.setRequestHeader("Content-Type", "text/html");
        request.send(null);
        var responseHTML = request.responseText;
        remoteDoc = new DOMParser().parseFromString(responseHTML, "text/html");
    } catch(e) {
        handleError(e);
    }
    return remoteDoc;
};
var thatDoc = getRemoteDocument("http://remote-site.domain/url/");


Проблема в том, что сейчас все больше сайтов исопльзует AJAX и контент туда подгружается через скрипты (тот же document.appendChild(), например). Так вот эти скрипты естественно не работают, потому что выполняются в контексте chrome, и механизм безопасности просто не позволит такое сделать как оно и должно быть.

Возможное решение: Есть такая штука песочница, где эти скрипты можно безопасно исполнять. Вроде как получается, что нужно создать свой объект window, к которому ранее полученный thatDoc будет привязан, а уже в его контексте будут выполняться скрипты, для которых он и будет виден как document. Но вот чего я не могу понять, так это как туда засунуть документ, к которому они должны применяться и как потом оттуда этот контент получить, грубо говоря в каком контексте вызывать тот же .querySelectorAll(mySelector) чтобы собрать все нужные добавленные узлы?

Или может я вообще не туда копаю и можно сделать как-то по другому?

Отсутствует

 

№222-05-2015 17:26:23

IVIAKC
Участник
 
Группа: Members
Зарегистрирован: 22-05-2015
Сообщений: 4
UA: Yandex 15

Re: Парсинг контента с удалённого ресурса в расширении (с выполнением JS)

init
а так не подходит?

Выделить код

Код:

Run: function(event, type)
    {
        var url= "site.com";                
        window.content.document.location = url;        
        setTimeout( this.ParsePage.bind(this), 1000 );
    },
    ParsePage: function(){
        var doc = window.content.document;
        if(doc != null) {
            var res = doc.getElementById("tagid");
        }
    }

Отсутствует

 

№322-05-2015 17:55:51

init
Участник
 
Группа: Members
Зарегистрирован: 14-04-2012
Сообщений: 42
UA: Firefox 31.0

Re: Парсинг контента с удалённого ресурса в расширении (с выполнением JS)

IVIAKC
Насколько я понимаю это заменит содержимое текущей вкладки браузера. А мне нужно как-то в фоне это сделать, как бы отдельным потоком. Желательно без открытия каких-либо видимых окон или вкладок вообще.

Отсутствует

 

№422-05-2015 22:53:10

init
Участник
 
Группа: Members
Зарегистрирован: 14-04-2012
Сообщений: 42
UA: Firefox 31.0

Re: Парсинг контента с удалённого ресурса в расширении (с выполнением JS)

okkamas_knife пишет

просто тупо открывай во вкладке а саму вкладку скрой стилем чтоб не мешалась.ну и добавь автооткрытие пустой если закрывается предпоследняя вкладка чтоб ту не было видно.

Не, ну так тоже можно наверно. Но как-то это топорно немного получаеся. Хотелось как-то более "по фен шую" сделать :-)

Отсутствует

 
  • Форумы
  •  » Разработка
  •  » Парсинг контента с удалённого ресурса в расширении (с выполнением JS)

Board footer

Powered by PunBB
Modified by Mozilla Russia
Copyright © 2004–2020 Mozilla Russia GitHub mark
Язык отображения форума: [Русский] [English]