Полезная информация
№115-09-2010 14:36:24
Разработчики Mozilla представили Kraken, новый пакет для тестирования
Представлен первый общедоступный выпуск проекта Kraken, в рамках которого разработчики Mozilla подготовили набор тестов для оценки производительности JavaScript-движков современных web-браузеров. В отличие от существующих популярных тестовых пакетов SunSpider, V8 и Dromaeo, проект Kraken сфокусирован на создании максимально реалистичной нагрузки, свойственной типичным web-приложениям, а также для оценки некоторых возможностей, которые будут интенсивно использоваться в web-приложениях недалекого будущего.
По задумке разработчиков, результаты сравнения браузеров, выполненные с использованием Kraken, должны отражать действительное положение вещей, свойственных реальному миру, а не абстрактным гонкам производительности, основанными на оценке малораспространенных или вообще не встречающихся в практике web-программирования JavaScript-операций.
Для оценки качества тестов, разработчики Mozilla упомянули следующую шкалу:
Реальные приложения;
Модифицированные с целью измерения производительности приложения (например, исключено влияние ввода/вывода);
Использование для оценки производительности ключевых фрагментов реальных приложений;
Оценка производительности различных алгоритмов (например, оценка скорости нахождения всех простых чисел методом "Решето Эратосфена")
Синтетические тесты, которые измеряют скорость выполнения отдельных операций (например, тестовый пакет Dhrystone).Тестирование в Kraken показало, что Firefox 4 более чем в 2.5 раза быстрее Firefox 3.6 (в тесте V8 разрыв был в 4 раза, а в тесте SunSpider - в 2 раза).
Прогнал тест на своей ночнушке и дев-хроме, результат мне понравился.
Результаты ночнушки (см. мой UA):
Код:
http://krakenbenchmark.mozilla.com/kraken-1.0/results.html?%7B%22v%22:%20%22kraken-1.0%22,%20%22ai-astar%22:%5B798,763,893,806,765,900,800,770,795,919%5D,%22audio-beat-detection%22:%5B1571,1566,1423,1578,1580,1435,1580,1604,1619,1424%5D,%22audio-dft%22:%5B610,608,611,626,634,608,631,789,624,610%5D,%22audio-fft%22:%5B1459,1281,1435,1429,1437,1452,1436,1454,1297,1472%5D,%22audio-oscillator%22:%5B1282,1258,1275,1262,1281,1263,1266,1290,1291,1275%5D,%22imaging-gaussian-blur%22:%5B1110,1098,1111,1107,1085,1103,1093,1104,1101,1113%5D,%22imaging-darkroom%22:%5B390,402,399,399,399,396,400,395,397,402%5D,%22imaging-desaturate%22:%5B914,874,914,886,928,913,897,948,893,927%5D,%22json-parse-financial%22:%5B172,174,172,175,175,172,172,173,173,173%5D,%22json-stringify-tinderbox%22:%5B119,118,118,128,125,119,128,128,124,119%5D,%22stanford-crypto-aes%22:%5B409,403,414,412,405,402,408,411,405,404%5D,%22stanford-crypto-ccm%22:%5B496,481,492,488,494,490,496,488,491,498%5D,%22stanford-crypto-pbkdf2%22:%5B963,990,967,983,997,965,995,949,988,979%5D,%22stanford-crypto-sha256-iterative%22:%5B207,207,210,209,209,208,210,207,208,207%5D%7D
Total: 10473.5ms +/- 0.8%
И это при куче вкладок (а мы знаем, что с ними туго).
Результаты Хрома 7.0.517.5 dev:
Код:
http://krakenbenchmark.mozilla.com/kraken-1.0/results.html?%7B%22v%22:%20%22kraken-1.0%22,%20%22ai-astar%22:%5B702,702,703,737,708,712,707,706,700,741%5D,%22audio-beat-detection%22:%5B2151,2154,2157,2163,2145,2192,2154,2170,2163,2156%5D,%22audio-dft%22:%5B1738,1723,1726,1685,1709,1782,1681,1725,1805,1758%5D,%22audio-fft%22:%5B2081,2071,2063,2055,2077,2071,2059,2070,2058,2054%5D,%22audio-oscillator%22:%5B591,608,590,580,594,583,579,581,581,579%5D,%22imaging-gaussian-blur%22:%5B3568,3578,3582,3384,3614,3393,3437,3553,3555,3475%5D,%22imaging-darkroom%22:%5B1868,1852,1927,1898,1905,1904,1894,1860,1884,1903%5D,%22imaging-desaturate%22:%5B1904,1914,1902,1905,1922,1909,2032,1913,1897,1903%5D,%22json-parse-financial%22:%5B342,344,341,340,343,340,342,346,342,341%5D,%22json-stringify-tinderbox%22:%5B304,301,290,296,308,277,288,296,282,280%5D,%22stanford-crypto-aes%22:%5B332,336,330,332,340,325,335,332,320,318%5D,%22stanford-crypto-ccm%22:%5B308,306,309,309,319,305,306,306,304,302%5D,%22stanford-crypto-pbkdf2%22:%5B945,942,942,952,945,945,945,971,948,948%5D,%22stanford-crypto-sha256-iterative%22:%5B314,313,316,316,322,313,311,315,315,313%5D%7D
Total: 17116.3ms +/- 0.3%
С одной вкладкой теста.
Разрыв на реальных задачах оказался значительным и далеко не в пользу Хрома. ж)
Отсутствует
№315-09-2010 14:45:47
Re: Разработчики Mozilla представили Kraken, новый пакет для тестирования
Каждый разработчик свой тест нахваливает. Я согласен, что нужно тестировать производительность реальных приложений, но кто может подтвердить, что там действительно реальные приложения, а не сплошная синтетика? Думаю, разработчики других бенчмарков говорят о том же самом - что у них реальные приложения.
Но если этот тест действительно объективен, то оценка меня порадовала 
Отсутствует
№616-09-2010 08:27:24
Re: Разработчики Mozilla представили Kraken, новый пакет для тестирования
gobuline
Так в том то и смысл, что тесты разрабатывают для сравнения браузеров. То есть, необходимо протестировать несколько и посмотреть на результат.
Отсутствует
№816-09-2010 13:43:01
Re: Разработчики Mozilla представили Kraken, новый пакет для тестирования
Total: 35028.7ms +/- 1.2%
Отсутствует
Board footer
Powered by PunBB
Modified by Mozilla Russia
Copyright © 2004–2020 Mozilla Russia 
Язык отображения форума: [Русский] [English]