Share on Google+Share on FacebookTweet about this on Twitter

Me he quedado helado leyendo una noticia… más de lo que generalmente me quedo.

Estaba viendo un poco las noticias de actualidad de tecnología, cosa habitual, cuando me encuentro con este artículo de CNET (Ojo, el enlace ha sido eliminado ahora mismo, lo he enlazado por la caché de Google). No hace falta que lo leáis, yo lo resumo. Básicamente habla del supuesto rendimiento del iPad 2 en comparación con otros dispositivos portátiles como el Nexus S o el Samsung Galaxy S o el iPhone 4. Vamos a ver lo rigurosos que son las personas en cuanto a dar datos se refiere y la poca o nula profesionalidad de quien haya realizado el artículo, por no decir que además se han tenido que inventar los datos.

Los señores de CNET nos plantan la siguiente imagen:

Bueno, por lo que vemos han ejecutado SunSpider al navegador Safari y al navegador Chrome de Android cada uno de ellos con sus respectivo hardware y OS, hasta aquí en principio no hay mayor importancia y todo parece perfecto… por supuesto quien se quiera creer esos resultados, pero eso ya lo hablamos más adelante. Ellos plantan esa imagen los lectores y listo, tienen información para darle a los usuarios, y estos pues se la tragarán o no se la tragarán, y lo peor de todo es que la noticia vuela en Internet y numerosos medios hacen eco de la noticia. Y vamos a ver esta noticia como es en realidad, poquito a poquito.

 

Punto Primero:

El artículo que podéis leerlo (está en inglés lo siento) dice bien clarito que claro, han tomado SunSpider como un referente para saber el rendimiento de un dispositivo. A ver señores de CNET, yo no soy la persona más lista de mundo ni tengo un gran portal supuestamente de noticias de primer orden, pero no hace falta ser un genio para saber que jamás un benchmark sobre JS expresa la capacidad de un dispositivo!! Los test JS que existen a día de hoy no miden EN NADA lo rápido o lento que es un procesador, ni siquiera lo bien o lo mal que un navegador ejecuta JS!! Como veremos en el próximo artículo de navegadores, estos test son cuanto menos poco fiables, y solo suelen demostrar que navegador está más trampeado para sacar una mejor puntuación en dichos test. Vale, es cierto que CNET advierte sobre que el iPad 2 posee la verión 4.3 y que este tiene un navegador más optimizado y bla bla bla, pero es que ESE tendría que ser el único punto aquí, no nombrar rendimiento del hardware, no puedes comprar el rendimiento de dos dispositivos por un test en JS a menos que todos los dispositivos testeados usen el mismo sistema operativo (y versión), mismos drivers, mismos programas, mismo todo. Entonces a lo mejor puedes decir que si uno hace el test en 10 y otro en 20, uno es simplemente un 100% más eficiente que el otro EN PROCESAR DICHO TEST EN DICHO NAVEGADOR, NADA MAS.

 

Punto Segundo:

El artículo tampoco comenta, como veremos en el siguiente artículo de los navegadores web, que SunSpider es un benchmark creado curiosamente por Apple. Que quiere decir esto? Más de lo mismo. Actualmente (y curiosamente) cada desarrollador de navegadores web tiene su propio benchmark. Apple SunSpider, Mozilla Kraken y Google V8. Hasta hace muy poco evidentemente cada uno ganaba por mucho a todos los demás en sus propios test. Casualidad? JA. Actualmente es incluso peor para Apple, porque como ya veremos y no quiero adelantar nada, Safari no gana siquiera en SunSpider ;).

Con esto quiero decir que obviando el punto primero e imaginándonos que estos test son 100% fiables para medir el rendimiento del hardware, es absurdo que usen el benchmark de ellos!! Si estos señores hubiesen sido rigurosos, además de correr SunSpider 0.9.1 habrían ejecutado también V8 v6 y Kraken 1.0. ¿Alguien ha visto estos test realizados? Yo al menos no. Me gustaría ver como se comportan en V8, que es el benchmark de Google 🙂

 

Punto Tercero:

Uno puede pensar que soy demasiado riguroso, fanático o que odio a muerte a Apple y todo lo que traiga consigo, pero si el punto primero y el punto segundo no es suficiente, no pasa nada, porque tenemos un punto tercero, y aun más gracioso. Señores, da la casualidad que hace unos dias estaba terminando el artículo como digo de navegadores (recordemos que ahora es el lanzamiento de Firefox 4 e IE 9). Pues bien, evientemente entre otras MUCHAS PRUEBAS se usa SunSpider como benchark (no como único bencharmak, y menos para rendir la potencia de un procesador). Si bueno, prácticamente está todo terminado y bla bla bla, y por comparar, curiosamente ejecuté algunos benchmak en mi HTC Desire. Por rigurosidad igualmente, todos los resultados de los tests los realizo 3-5 veces y hago la media de ellos. Lo que tengo marcado para mi HTC Desire en SunSpider 0.9.1 es de 4154. Vale, esto no tiene nada que ver porque en dicha gráfica no aparece evidentemente el HTC Desire… si es cierto, pero salen los datos del Nexus S o el Galaxy Tab. Pongamos que el punto primero y el punto segundo tampoco existiesen, pongamos que podemos medir la potencia de un hardware por un test JS que no importa quien lo haya creado y que no importa el navegador ni nada…

Señores, el Nexus S corre con Gingerbread, posiblemente la versión 2.3.3, la misma que actualmente tengo yo en mi HTC Desire. Alguien me puede explicar como puede ser que siendo el hardware del Nexus S bastante superior al del HTC Desire (El procesador está basado en un ARM Cortex 8 Vs ARM Cortex 7 y es bastante más eficiente), como puede ser que usando exactamente el mismo navegador y versión mi HTC Desire obtenga un 4154 ms de media y el Nexus S que exponen ahí 6128 ms? Es que si ignoramos el punto primero y el punto segundo, según eso mi HTC Desire sería un 47% más rápido que el Nexus S!! Con los datos de mi HTC Desire, este sería igual a los datos que dan sobre el iPhone 4 con la versión beta de la 4.3 de Apple y usando un benchmark de Apple.

En fin, lo que me sorprende no es que mi HTC Desire tenga un 4154 ms de media en SunSpider, es que sinceramente es imposible que el Nexus S tenga 6128 ms, a menos que haya sido bajado de frecuencia o algún error raro absurdo, es imposible, sería al revés!! El Nexus S debe de ser del entorno de un 30-80% más rápido que el HTC Desire (sin test reales que hacer es imposible saberlo a ojo). Simplemente

Por cierto, para quien se lo esté preguntando, el kernel usado para mis test es prácticamente el mismo que el original, no hay OC ni historias extrañas. Y aquí tenéis también una captura de SunSpider 0.9.1 realizada hace unos minutos desde el Desire:

 

Punto Cuarto:

Como decía la canción “Y si todo esto te parece poco…” hay más. Si ninguno de los puntos anteriores sirviese para nada, solo puedo entonces reírme de Apple y de su procesador nuevo A5. Según los datos de CNET (que son completamente falsos por lo que hemos podido comprobar), el iPad 1 tiene una puntuación de 3261, el iPad 2 de 2097. Claro, siguiendo el juego de CNET podemos decir entonces que el procesador de doble núcleo maravilloso de Apple, que debería de ser más de el doble de rápido por ende (el doble por tener la misma frecuencia pero ser de doble núcleo y más del doble porque supuestamente es más eficiente), según su test es tan solo un 55% aproximadamente más rapido. Lo normal es que hubiese obtenido una puntuación inferior de 1630, pero no.

Lo gracioso es que la prensa que se hace eco de la noticia no ve esto, y los fanáticos de unos y otros cogen esta noticia que es desde mi punto de vista completamente falsa y sin ninguna rigurosidad, y hacen de ella lo que les de la gana. Algunos pro Apple que si se puede ver que el iPad es infinitamente más rápido, incluso el iPad 1. Otros pro Android que si que porquería de procesador que no es el doble de rápido.

 

Conclusión:

Pero es que nadie ha pensado que este test mide de todo menos el rendimiento del hardware del dispositivo?? Nadie se ha tomado la molestia de intentar comprobar si estos datos son ciertos? Ojala tuviese un iPad para probar si los resultados son ciertos, pq teniendo en cuenta los que han puesto del Nexus S que sé que son completamente falso, puedo pensar del mismo modo que los del iPad están completamente inflados (en este caso inflados significa menos puntos)

Hace unos días un lector y yo tuvimos una charla sobre Apple, el sectarismo y otros. Pues bien, entre otras muchas cosas el planteaba la duda de si realmente era todo sectarismo o también podía existir algo más. Bueno, es posible que sí es posible que no, pero la realidad habla por si misma. Supuestamente CNET es un importante portal de noticias, del cual además se hacen eco en multitud de sitios de todo el mundo, y creerme que muchísimos toman por cierto lo que en estos sitios se publican. Que es lo que creéis que pensará un usuario que no tenga mucha idea al leer el artículo original? Que el iPad 1 sería una buena compra, y el iPad 2 una mejor. Así de simple. Y todo basado en un test JS manipulado. Claro que sí!! Y eso señores no es sectarismo? Alguien ha intentado contrastar la información? A mi me ha costado unos segundos en abrir el navegador, buscar la web de SunSpider en mi HTC y correr el test para saber simplemente que todo es mentira. Si a eso le sumo los otros puntos…

 

Sin Comentarios…