2013/10/04

Samsung defende "batota" nos Benchmarks


Depois de se ter descoberto que a Samsung continua a recorrer às "acelerações especiais" para melhorar os resultados dos benchmarks nos seus equipamentos (coisa que não se limita apenas à Samsung, como já vimos) o assunto poderia ter ficado por aí... se a Samsung não achasse que seria uma boa altura para vir defender esta prática.



A sua justificação pega na vertente que tem sustentabilidade, dizendo que o Note 3 "maximiza as frequências do CPU/GPU quando é necessário maior desempenho" e que isto não é uma tentativa de obter resultados enganadores em num qualquer benchmark em particular.

Infelizmente, é uma daquelas explicações manifestamente insuficientes, pois não aborda o "pequeno pormenor" deste tal modo de alto desempenho apenas entrar em acção num número bem específico de benchmarks (não contendo, por exemplo, jogos que beneficiassem igualmente da aceleração extra) - e não há qualquer outra circunstância sob condições normais de funcionamento que possa fazer activar este tal desempenho extra.

Portanto... fazendo uma simples conta de "1+1" se chega à conclusão que esta explicação deixa por responder as principais críticas feitas a esta táctica. Se a Samsung disponibilizasse uma opção nas definições que permitisse activar este modo de alto-desempenho, tal como existem os modos de "economia" para poupar bateria - então o caso ficava por aqui, ficando à responsabilidade de cada um usar este modo "turbo" sabendo que muito provavelmente a bateria se esgotaria em poucas horas.

Moral da história: fazer batota é feio, mas pior é ainda é tentar justificá-lo com explicações que ignoram as provas apresentadas em contrário.

7 comentários:

  1. "cada um usar este modo "turbo" sabendo que muito provavelmente a bateria se esgotaria em poucas horas.
    "

    Bateria? E temperaturas?
    Muito bem que isto podia ser algo como Turbo Boost usado pela intel. Quando é necessário um pouco mais de performance, o CPU aumenta o Clock por tempo limitado.

    A Samsung outra marca poderia muito bem fazer isto.

    ResponderEliminar
  2. Eu concordo com a Samsung. Não me parece que seja batota. Um benchmark pretende demonstrar o desempenho bruto de um equipamento e para tal, esse equipamento tem de dar o máximo. No entanto, numa utilização normal, o equipamento tem de ser mais regrado, tanto para maior estabilidade do sistema, como para poupança de bateria, por exemplo.

    Eu acho que quem acha que isto é batota, é quem usa benchmarks para comparação de equipamentos, o que é um erro grosseiro. Um excelente resultado nestes benchmarks, pode traduzir-se numa terrível experiência de utilização se o software não acompanhar.

    No mundo automóvel é muito semelhante. Os carros são submetidos a testes onde são afinados ao milímetro com vista a obter as melhores performances em tudo o que é indicador. No entanto a versão que sai para o mercado é sempre mais sensata, tendo em conta os consumos, a estética etc.
    Daí vermos um carro anunciar consumos e velocidades que na prática nunca conseguimos alcançar.

    Além do mais, parece que são bastantes as marcas que têm a mesma abordagem, logo nem se pode falar de batota quando a maioria faz o mesmo.


    ResponderEliminar
    Respostas
    1. Portanto acharias normal que quando um carro vai ser testado por uma revista ou programa de televisão vá com o motor alterado com mais 200cv para ter os melhores resultados de velocidade e aceleração, mas que quando chegasse à mão do cliente viesse com menos potência (mas estando a pagar pela "totalidade")?

      Para mim isso é batota, e não por serem dois, ou três ou todos a fazer o mesmo que faz com que isso esteja bem.

      Como já se disse, uma coisa seria ter esse modo disponível (como nos carros tens os modos eco/normal/sport)... mas aqui trata-se de um modo escondido, não acessível ao utilizador, e sem qualquer outro propósito que não seja adulterar o resultado em benchmarks bem específicos.

      Eliminar
    2. Atenção que estás a colocar as coisas noutro patamar. Ninguém alterou componentes dos devices. Simplesmente fizerem-lhe o tunning para obter os resultados máximos possíveis.

      Além disso, como é sabido, no mundo automóvel temos os exemplos da BMW e Mercedes com vários modelos limitados a 250Km/h e que podem dar bem mais, mas não consegues alterar isso. No entanto em apresentações à imprensa, muitas vezes esses limites são retirados como em apresentações em circuitos fechados, etc.

      Penso que a questão tem a ver com o que cada um considera o que é um benchmark. Para mim considero justa e correta esta abordagem. Nem nunca tinha pensado nisto, mas sempre pensei que esse fosse o standard...

      Lógico que há quem espere um resultado mais fidedigno á experiencia de utilização. Mas eu considero que uma coisa não tem nada a ver com outra.

      Eliminar
    3. Aí é que está a diferença. Num carro és informado se o veículo se encontra limitado a determinada velocidade; aqui não há qualquer indicação de que o smartphone está a operar num modo especial que não representa o desempenho em condições normais, o que não tem qualquer desculpa ou explicação possível a não ser a tentativa de *enganar* os consumidores.

      Se andas pelo mundo da informática há algum tempo certamente recordar-te-ás dos casos idênticos de batotas feitas pela Nvidia e ATI, que até reduziam a qualidade internamente para obter maior framerate, mesmo quando seleccionavas opções para a qualidade máxima... pela tua perspectiva, também estariam a fazer o correcto, pois estavam a "obter os melhores resultados possíveis"?

      Estar a querer vender algo que depois não está disponível é o mesmo que vender os ilimitados que depois têm limites de X Gb - é enganador e não se deve deixar que seja deturpado ao ponto de se considerar "normal".

      Um benchmark é um programa feito para avaliar o desempenho de um sistema sob determinadas condições e daí inferir o seu comportamento em muitas outras situações de uso normal. Estar a inflacionar esses números artificialmente parece-me ser completamente desleal e desonesto.

      Mas pronto, o meu objectivo é informar... e se depois houver quem considere que isso é normal e aceitável, está no seu direito obviamente - não tenho nada contra - apenas espero que também me dêem a liberdade de eu poder achar o contrário. :)

      Eliminar
    4. Mas claro que sim! Nem sequer estou a apontar-te o dedo ou parecido, apenas a trocar ideias. Alias, eu compreendo o teu ponto de vista e não discordo dele.
      Simplesmente tenho uma noção de benchmark diferente, sendo ela a mais correta ou não.

      Eliminar
  3. Bem, eu acho isto sacanagem mesmo! Imaginem ter o Windows a funcionar com diferentes programas. Numa lista predefinida uma dúzia de programas são favorecidos com boosts de CPU, e vocês quando vão usar os programas com que trabalham tipo Photoshop, Autocad, etc... depois têm menos performance. Acham que isto tem alguma lógica ? Porque raio estão certos programas favorecidos para terem um boost de CPU ? Quantos programadores não desejavam que o seu programa tivesses esse boost acrescido ? Assim como, quantos programadores NÂO QUEREM que os seus programas tenham esse boost de CPU ?

    Samsung e companhia fizeram merda! Não há desculpas, e estão a seguir um mau caminho.

    Isto é como ter um carro que detecta se estou a andar na cidade ou na auto-estrada. Se ando na cidade o carro só dá 50 Km/h, se ando na auto-estrada o carro já dá 120 Km/h.

    To Against Cheating Benchmark AnTuTu Release AnTuTu X Benchmark
    http://www.antutu.net/view.shtml?id=7242

    ResponderEliminar