Me he quedado helado leyendo una noticia… más de lo que generalmente me quedo.
Estaba viendo un poco las noticias de actualidad de tecnología, cosa habitual, cuando me encuentro con este artículo de CNET (Ojo, el enlace ha sido eliminado ahora mismo, lo he enlazado por la caché de Google). No hace falta que lo leáis, yo lo resumo. Básicamente habla del supuesto rendimiento del iPad 2 en comparación con otros dispositivos portátiles como el Nexus S o el Samsung Galaxy S o el iPhone 4. Vamos a ver lo rigurosos que son las personas en cuanto a dar datos se refiere y la poca o nula profesionalidad de quien haya realizado el artículo, por no decir que además se han tenido que inventar los datos.
Los señores de CNET nos plantan la siguiente imagen:
Bueno, por lo que vemos han ejecutado SunSpider al navegador Safari y al navegador Chrome de Android cada uno de ellos con sus respectivo hardware y OS, hasta aquí en principio no hay mayor importancia y todo parece perfecto… por supuesto quien se quiera creer esos resultados, pero eso ya lo hablamos más adelante. Ellos plantan esa imagen los lectores y listo, tienen información para darle a los usuarios, y estos pues se la tragarán o no se la tragarán, y lo peor de todo es que la noticia vuela en Internet y numerosos medios hacen eco de la noticia. Y vamos a ver esta noticia como es en realidad, poquito a poquito.
Punto Primero:
El artículo que podéis leerlo (está en inglés lo siento) dice bien clarito que claro, han tomado SunSpider como un referente para saber el rendimiento de un dispositivo. A ver señores de CNET, yo no soy la persona más lista de mundo ni tengo un gran portal supuestamente de noticias de primer orden, pero no hace falta ser un genio para saber que jamás un benchmark sobre JS expresa la capacidad de un dispositivo!! Los test JS que existen a día de hoy no miden EN NADA lo rápido o lento que es un procesador, ni siquiera lo bien o lo mal que un navegador ejecuta JS!! Como veremos en el próximo artículo de navegadores, estos test son cuanto menos poco fiables, y solo suelen demostrar que navegador está más trampeado para sacar una mejor puntuación en dichos test. Vale, es cierto que CNET advierte sobre que el iPad 2 posee la verión 4.3 y que este tiene un navegador más optimizado y bla bla bla, pero es que ESE tendría que ser el único punto aquí, no nombrar rendimiento del hardware, no puedes comprar el rendimiento de dos dispositivos por un test en JS a menos que todos los dispositivos testeados usen el mismo sistema operativo (y versión), mismos drivers, mismos programas, mismo todo. Entonces a lo mejor puedes decir que si uno hace el test en 10 y otro en 20, uno es simplemente un 100% más eficiente que el otro EN PROCESAR DICHO TEST EN DICHO NAVEGADOR, NADA MAS.
Punto Segundo:
El artículo tampoco comenta, como veremos en el siguiente artículo de los navegadores web, que SunSpider es un benchmark creado curiosamente por Apple. Que quiere decir esto? Más de lo mismo. Actualmente (y curiosamente) cada desarrollador de navegadores web tiene su propio benchmark. Apple SunSpider, Mozilla Kraken y Google V8. Hasta hace muy poco evidentemente cada uno ganaba por mucho a todos los demás en sus propios test. Casualidad? JA. Actualmente es incluso peor para Apple, porque como ya veremos y no quiero adelantar nada, Safari no gana siquiera en SunSpider ;).
Con esto quiero decir que obviando el punto primero e imaginándonos que estos test son 100% fiables para medir el rendimiento del hardware, es absurdo que usen el benchmark de ellos!! Si estos señores hubiesen sido rigurosos, además de correr SunSpider 0.9.1 habrían ejecutado también V8 v6 y Kraken 1.0. ¿Alguien ha visto estos test realizados? Yo al menos no. Me gustaría ver como se comportan en V8, que es el benchmark de Google :)
Punto Tercero:
Uno puede pensar que soy demasiado riguroso, fanático o que odio a muerte a Apple y todo lo que traiga consigo, pero si el punto primero y el punto segundo no es suficiente, no pasa nada, porque tenemos un punto tercero, y aun más gracioso. Señores, da la casualidad que hace unos dias estaba terminando el artículo como digo de navegadores (recordemos que ahora es el lanzamiento de Firefox 4 e IE 9). Pues bien, evientemente entre otras MUCHAS PRUEBAS se usa SunSpider como benchark (no como único bencharmak, y menos para rendir la potencia de un procesador). Si bueno, prácticamente está todo terminado y bla bla bla, y por comparar, curiosamente ejecuté algunos benchmak en mi HTC Desire. Por rigurosidad igualmente, todos los resultados de los tests los realizo 3-5 veces y hago la media de ellos. Lo que tengo marcado para mi HTC Desire en SunSpider 0.9.1 es de 4154. Vale, esto no tiene nada que ver porque en dicha gráfica no aparece evidentemente el HTC Desire… si es cierto, pero salen los datos del Nexus S o el Galaxy Tab. Pongamos que el punto primero y el punto segundo tampoco existiesen, pongamos que podemos medir la potencia de un hardware por un test JS que no importa quien lo haya creado y que no importa el navegador ni nada…
Señores, el Nexus S corre con Gingerbread, posiblemente la versión 2.3.3, la misma que actualmente tengo yo en mi HTC Desire. Alguien me puede explicar como puede ser que siendo el hardware del Nexus S bastante superior al del HTC Desire (El procesador está basado en un ARM Cortex 8 Vs ARM Cortex 7 y es bastante más eficiente), como puede ser que usando exactamente el mismo navegador y versión mi HTC Desire obtenga un 4154 ms de media y el Nexus S que exponen ahí 6128 ms? Es que si ignoramos el punto primero y el punto segundo, según eso mi HTC Desire sería un 47% más rápido que el Nexus S!! Con los datos de mi HTC Desire, este sería igual a los datos que dan sobre el iPhone 4 con la versión beta de la 4.3 de Apple y usando un benchmark de Apple.
En fin, lo que me sorprende no es que mi HTC Desire tenga un 4154 ms de media en SunSpider, es que sinceramente es imposible que el Nexus S tenga 6128 ms, a menos que haya sido bajado de frecuencia o algún error raro absurdo, es imposible, sería al revés!! El Nexus S debe de ser del entorno de un 30-80% más rápido que el HTC Desire (sin test reales que hacer es imposible saberlo a ojo). Simplemente
Por cierto, para quien se lo esté preguntando, el kernel usado para mis test es prácticamente el mismo que el original, no hay OC ni historias extrañas. Y aquí tenéis también una captura de SunSpider 0.9.1 realizada hace unos minutos desde el Desire:
Punto Cuarto:
Como decía la canción “Y si todo esto te parece poco…” hay más. Si ninguno de los puntos anteriores sirviese para nada, solo puedo entonces reírme de Apple y de su procesador nuevo A5. Según los datos de CNET (que son completamente falsos por lo que hemos podido comprobar), el iPad 1 tiene una puntuación de 3261, el iPad 2 de 2097. Claro, siguiendo el juego de CNET podemos decir entonces que el procesador de doble núcleo maravilloso de Apple, que debería de ser más de el doble de rápido por ende (el doble por tener la misma frecuencia pero ser de doble núcleo y más del doble porque supuestamente es más eficiente), según su test es tan solo un 55% aproximadamente más rapido. Lo normal es que hubiese obtenido una puntuación inferior de 1630, pero no.
Lo gracioso es que la prensa que se hace eco de la noticia no ve esto, y los fanáticos de unos y otros cogen esta noticia que es desde mi punto de vista completamente falsa y sin ninguna rigurosidad, y hacen de ella lo que les de la gana. Algunos pro Apple que si se puede ver que el iPad es infinitamente más rápido, incluso el iPad 1. Otros pro Android que si que porquería de procesador que no es el doble de rápido.
Conclusión:
Pero es que nadie ha pensado que este test mide de todo menos el rendimiento del hardware del dispositivo?? Nadie se ha tomado la molestia de intentar comprobar si estos datos son ciertos? Ojala tuviese un iPad para probar si los resultados son ciertos, pq teniendo en cuenta los que han puesto del Nexus S que sé que son completamente falso, puedo pensar del mismo modo que los del iPad están completamente inflados (en este caso inflados significa menos puntos)
Hace unos días un lector y yo tuvimos una charla sobre Apple, el sectarismo y otros. Pues bien, entre otras muchas cosas el planteaba la duda de si realmente era todo sectarismo o también podía existir algo más. Bueno, es posible que sí es posible que no, pero la realidad habla por si misma. Supuestamente CNET es un importante portal de noticias, del cual además se hacen eco en multitud de sitios de todo el mundo, y creerme que muchísimos toman por cierto lo que en estos sitios se publican. Que es lo que creéis que pensará un usuario que no tenga mucha idea al leer el artículo original? Que el iPad 1 sería una buena compra, y el iPad 2 una mejor. Así de simple. Y todo basado en un test JS manipulado. Claro que sí!! Y eso señores no es sectarismo? Alguien ha intentado contrastar la información? A mi me ha costado unos segundos en abrir el navegador, buscar la web de SunSpider en mi HTC y correr el test para saber simplemente que todo es mentira. Si a eso le sumo los otros puntos…
Sin Comentarios…
Es normal falsear la información, además han salido últimamente una serie de lo que yo llamo “Fans Blogs” de Apple, que mienten como bellacos para decir que apple son los mejores del mundo, y quien no tiene conocimiento de como funcionan las cosas, se lo cree todo.
En fin, dejando de lado esto esperemos que la versión móvil de Firefox le arranque un buen porcentaje de uso, que si incluye flash lo va a hacer en los iPone y iPad sin lugar a duda.
A mi que los blog se fanaticen mira… me parece mal pero tiene que a ver de todo. pero que CNET se preste a esto?? Por dios…
[…] test absurdos o falsear los datos como mejor les venga en gana, recordemos el artículo de hace unos días sobre CNET sin ir más lejos. Lo segundo, es que me sorprende aun más que supuestos sites de noticias de […]
Acabo de descubir tu blog y me encanta llevo toda la tarde lellendo articulos intersantes.
acabo de realizar el sunspider en mi desi sin modificaciones como viene de vodafone y con el navegador por defecto da 5759 y con el firefox mobile con la version final ha dado 4383 y he realizado tres mediciones en cada uno.
lo que si parece que es cierto que el ios del 4.2 al 4.3 parece que realiza una gran mejora, desconozco si es por el navegador el que funciona mejor o todo el sistema en general.
41xx me dio a mí con el navegador por defecto, eso sí, fue realizado en una 2.2.3 en aquél momento AOSP pura, sin añadidos de ningun tipo ni OC, no con la firmware de HTC. Pero aun así me parece genial tu prueba, puesto que con una puntuación de 5759, es aun inferior que la puntuación supuesta que le dan al Nexus S bajo Gongerbread… es decir, que es absurdo y una mentira como un piano que nexus S pueda tener esa puntuación. Me gustaría si algún lector tiene un Nexus S y nos sacase de dudas.
Si, en iOS 4.3 han añadido algunas cosillas al motor JS del navegador, nada que sea realmente importante a efectos prácticos. Como he dicho en las comparacionese de navegadores, SunSpider no es más que un Benchmark más, jamás podría ser usado para comparar la velocidad de un equipo, ni siquiera para ver lo rápido que es un navegador. El mejro ejemplo de ello es IE9, el cual tiene actualmente el mejor puntuaje en SunSpider, y ni de lejos es el navegador más rapido, ni siquiera en cuanto a JS se refiere. Sí, en SunSpider aparenta serlo, en la vida real ni de lejos como digo.
PD: Tendría que probar en FF4, a ver que resultado tengo, por curiosidad
Segun ustedes, cual seria el dispositivo PAD mas apropiado o el que mas vale la pena comprar hoy en dia?
de este tipo de “tablets”?? Ninguno, desde mi punto de vista es infinitamente más util tener un portatil de 13” tipo ASUS serie UL o U, que a lo mejor no poseen la pantalla tactil pero son toltalmente versátiles. Un “tablet” de este tipo no es algo portable como un movil como para poder llevarte a cualquier sitio, por tanto el uso que se le da es o trasportándolo o en un lugar fijo. En cualquiera de lso dos casos, un portatil de 13” hace el mismo propósito, solo que posees un dispositivo realmente completo con un OS como Windows y un potencial infinitamente superior.
Los “tablets” de este tipo se venden tan solo como videoconsolas o gadgets para decir: “mira q chulo lo que tengo”, sin que realmente aporte absolutamente, en todo caso tan solo a un grupo minúsculo de usuarios a los que a lo mejor les sería util realmente un dispositivo así.
Ahora bien, si me tuviese que comprar u ntablet de este tipo de forma obligatoria, posiblemente calidad/precio me quedaría con un Asus Transformer, dado que el XOOM es caro, o incluso un Galaxy Tab 10.1
Yo tuve un xoom, pero no me convenció y compré un ipad2, es otra cosa, no se puede comparar, mas siendo músico descubrí todo un abanico nuevo de posibilidades, ya estoy terminando mis primeras producciones realizadas enteramente con el ipad.