Полезная информация
№121-06-2016 16:39:27
скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией
собственно вот в чем вопрос: прогоняю аймакросом сайт на поиск по определенным параметрам, но страниц на сайте очень много \1, \2 , \3253248767245727683428345939,
такой вопрос к JS мастерам:
как мне указать правильно параметры диапазона.
скрипт листает страницы одна за другой по порядку. они буквально первая вторая и т.д. последняя site.com\115792089237316195423570985008687907852837564279074904382605163141518161494337 . когда число символов переваливает за какой -то ему одному понятный рубеж. он в панике начинает просто стопиться пытаясь крутить дальше и снова стопиться. страницы проверяет на соответствие заданному параметру.довольно шустро, за долисекунды. пообщался с джава верстальщиком -говорит прикручивай библиотеки больших чисел (с гитхаба), ума на это у меня не хватает)) и знаний тож. просто знойный бы парсер получился))
скрипт скину по запросу
Отредактировано El Barto (21-06-2016 18:59:54)
Отсутствует
№204-07-2016 00:32:01
Re: скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией
El Barto
любое число - можно перевести в строку и тогда с ним проблем не будет, естественно прибавлять нужно не к строке, а к числу, а потом переводить в строку.
на эту тему - много чего написано, так что google в помощь
Правила форума iMacros for Firefox
Мини FAQ по iMacros for Firefox
на почту, только с интересными предложениями по скриптам (iMacros/iMacros+JS)!
Отсутствует
№305-07-2016 21:15:38
Re: скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией
Насколько я понял вы перебираете эти страницы с помощью цикла c инкрементом и команды типа iimPlayCode('URL GOTO=mysite.com/' + i)
Возможно там есть что-то типа ссылочки NextPage, тогда не придётся городить велосипед с обработкой длинных чисел
Отсутствует
№405-07-2016 21:24:06
Re: скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией
Я так предполагаю, что тут попытка слить все данные с сайта, который имеет, как минимум, несколько разделов и next page тут, вполне возможно - не поможет
Во всяком случае, я не могу представить сайт с несколькими биллионами страниц, между которыми можно переключаться кнопкой next page
Правила форума iMacros for Firefox
Мини FAQ по iMacros for Firefox
на почту, только с интересными предложениями по скриптам (iMacros/iMacros+JS)!
Отсутствует
№505-07-2016 22:15:51
Re: скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией
Я так предполагаю, что тут попытка слить все данные с сайта, который имеет, как минимум, несколько разделов и next page тут, вполне возможно - не поможетВо всяком случае, я не могу представить сайт с несколькими биллионами страниц, между которыми можно переключаться кнопкой next page
Согласен, написал не думая, тогда выход только один работать со строками а не с числами. Например держать всё цифры в массиве и обрабатывать их там а потов проходит по массиву и формировать нужную строку
Отсутствует
№605-07-2016 23:28:26
Re: скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией
Максимальное целое число, которое можно безопасно использовать в JavaScript (2^53 - 1)=9007199254740991
Количество элементов в массиве - также ограниченно
Добавлено 05-07-2016 23:33:33
Разбейте номер на несколько валидных чисел и создайте, соответствующее количество вложенных циклов
Значения переменных из этих циклов объедините в строку
Отредактировано InfSub (05-07-2016 23:33:33)
Правила форума iMacros for Firefox
Мини FAQ по iMacros for Firefox
на почту, только с интересными предложениями по скриптам (iMacros/iMacros+JS)!
Отсутствует
Board footer
Powered by PunBB
Modified by Mozilla Russia
Copyright © 2004–2020 Mozilla Russia 
Язык отображения форума: [Русский] [English]