Полезная информация

Общайтесь со знакомыми и друзьями в нашем сообществе в Facebook.
  • Форумы
  •  » iMacros
  •  » скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией

№121-06-2016 16:39:27

El Barto
Участник
 
Группа: Members
Зарегистрирован: 21-06-2016
Сообщений: 1
UA: Firefox 47.0

скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией

собственно вот в чем вопрос: прогоняю аймакросом сайт на поиск по определенным параметрам, но страниц на сайте очень много \1, \2 , \3253248767245727683428345939,
такой вопрос к JS мастерам:
как мне указать правильно параметры диапазона.

скрипт листает страницы одна за другой по порядку. они буквально первая вторая и т.д. последняя site.com\115792089237316195423570985008687907852837564279074904382605163141518161494337 . когда число символов переваливает за какой -то ему одному понятный рубеж. он в панике начинает просто стопиться пытаясь крутить дальше и снова стопиться. страницы проверяет на соответствие заданному параметру.довольно шустро, за долисекунды. пообщался с джава верстальщиком -говорит прикручивай библиотеки больших чисел (с гитхаба), ума на это у меня не хватает)) и знаний тож. просто знойный бы парсер получился))

скрипт скину по запросу

Отредактировано El Barto (21-06-2016 18:59:54)

Отсутствует

 

№204-07-2016 00:32:01

InfSub
iMacroModer
 
Группа: Moderators
Откуда: DeepTown
Зарегистрирован: 13-05-2013
Сообщений: 3319
UA: Firefox 47.0
Веб-сайт

Re: скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией

El Barto
любое число - можно перевести в строку и тогда с ним проблем не будет, естественно прибавлять нужно не к строке, а к числу, а потом переводить в строку.
на эту тему - много чего написано, так что google в помощь


Правила форума iMacros for Firefox
Мини FAQ по iMacros for Firefox


на почту, только с интересными предложениями по скриптам (iMacros/iMacros+JS)!

Отсутствует

 

№305-07-2016 21:15:38

dvomaks
Участник
 
Группа: Members
Зарегистрирован: 01-07-2016
Сообщений: 33
UA: Firefox 45.0

Re: скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией

Насколько я понял вы перебираете эти страницы с помощью цикла c инкрементом и команды типа iimPlayCode('URL GOTO=mysite.com/' + i)
Возможно там есть что-то типа ссылочки NextPage,  тогда не придётся городить велосипед с обработкой длинных чисел

Отсутствует

 

№405-07-2016 21:24:06

InfSub
iMacroModer
 
Группа: Moderators
Откуда: DeepTown
Зарегистрирован: 13-05-2013
Сообщений: 3319
UA: Chrome 51.0
Веб-сайт

Re: скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией

Я так предполагаю, что тут попытка слить все данные с сайта, который имеет, как минимум, несколько разделов и next page тут, вполне возможно - не поможет
Во всяком случае, я не могу представить сайт с несколькими биллионами страниц, между которыми можно переключаться кнопкой next page


Правила форума iMacros for Firefox
Мини FAQ по iMacros for Firefox


на почту, только с интересными предложениями по скриптам (iMacros/iMacros+JS)!

Отсутствует

 

№505-07-2016 22:15:51

dvomaks
Участник
 
Группа: Members
Зарегистрирован: 01-07-2016
Сообщений: 33
UA: Firefox 45.0

Re: скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией

InfSub пишет

Я так предполагаю, что тут попытка слить все данные с сайта, который имеет, как минимум, несколько разделов и next page тут, вполне возможно - не поможетВо всяком случае, я не могу представить сайт с несколькими биллионами страниц, между которыми можно переключаться кнопкой next page

Согласен, написал не думая, тогда выход только один работать со строками а не с числами. Например держать всё цифры в массиве и обрабатывать их там а потов проходит по массиву и формировать нужную строку

Отсутствует

 

№605-07-2016 23:28:26

InfSub
iMacroModer
 
Группа: Moderators
Откуда: DeepTown
Зарегистрирован: 13-05-2013
Сообщений: 3319
UA: Chrome 51.0
Веб-сайт

Re: скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией

Максимальное целое число, которое можно безопасно использовать в JavaScript (2^53 - 1)=9007199254740991
Количество элементов в массиве - также ограниченно

Добавлено 05-07-2016 23:33:33
Разбейте номер на несколько валидных чисел и создайте, соответствующее количество вложенных циклов
Значения переменных из этих циклов объедините в строку

Отредактировано InfSub (05-07-2016 23:33:33)


Правила форума iMacros for Firefox
Мини FAQ по iMacros for Firefox


на почту, только с интересными предложениями по скриптам (iMacros/iMacros+JS)!

Отсутствует

 
  • Форумы
  •  » iMacros
  •  » скрипт-парсер по сайту захлёбывается на страницах с большой нумерацией

Board footer

Powered by PunBB
Modified by Mozilla Russia
Copyright © 2004–2020 Mozilla Russia GitHub mark
Язык отображения форума: [Русский] [English]