Caros Reis e Rainhas,
Ultimamente, temos recebido vários comentários relativos aos Testes A/B e à forma como são implementados. Particularmente, comentários sobre os Testes A/B da funcionalidade Forge Plus e melhorias para os Desafios Diários. Portanto, decidimos que é interessante terem mais informações sobre a forma como abordamos os testes A/B e por que razão estes são essenciais para o desenvolvimento do Forge of Empires.
Vamos começar pela definição de Teste A/B. Um teste A/B é um teste padrão frequentemente usado pelos desenvolvedores para monitorizar a reação do jogador a uma determinada funcionalidade. Nesses testes, dois ou mais grupos são selecionados de forma aleatória. Esses grupos consistem num grupo de teste, o Grupo A, que terá acesso à funcionalidade e um grupo de controlo, o Grupo B, que não terá. Através da comparação entre esses dois grupos, os desenvolvedores podem monitorizar diretamente as mudanças de comportamento dos jogadores e avaliar o impacto da funcionalidade que está a ser testada. Os testes são realizados através de recolha de dados quantitativos e qualitativos e consideramos ambos. Por isso, tenham presente que os vossos comentários no fórum são uma "fatia do bolo".
Vamos tomar como exemplo as recentes melhorias nos Desafios Diários. Tendo em mente os dois grupos, podemos comparar vários aspetos, incluindo a participação diária, a retenção de jogadores com esta funcionalidade, a idade dos jogadores participantes, etc. A análise de todos estes dados ajuda-nos a esclarecer se as alterações são benéficas e atraentes para os jogadores. Caso os resultados não mostrem uma tendência positiva, podemos aprofundar e tentar perceber se houve algum problema. No fim, podemos intervir e ajustar a funcionalidade ou apagá-la do mapa por completo.
É por isso que os Testes A/B são essenciais para nós. Eles permitem que tenhamos acesso a dados mais significativos com base num ambiente de teste ao vivo. Com esses dados, podemos ajustar, melhorar e, ou afinar as nossas funcionalidades e identificar possíveis problemas.
Para além disso, libertar uma funcionalidade nova para um grupo mais pequeno de jogadores permite-nos monitorizar os comentários de forma mais eficaz e evita uma possível explosão de frustrações que poderia acontecer se a funcionalidade estrear para todos os jogadores em simultâneo.
O Forge of Empires é, obviamente, um grande e enorme jogo. É jogado e apoiado por centenas de milhares de jogadores em muitos servidores e mundos, o que também significa que existe muita coisa que pode correr mal. Os Testes A/B são uma necessidade imperativa para podermos minimizar o gravíssimo risco de apresentarmos uma funcionalidade nova para um público tão grande. As consequências de implementar uma funcionalidade não testada podem causar resultados muito negativos na interação com o jogo, tanto para nós quanto vós.
Também é importante enfatizar que os Testes A/B não são seletivos, isto é, nenhum jogador manterá qualquer tipo de vantagem a longo prazo ou será pré-selecionado para um grupo de teste. Já devem ter verificado que existem algumas funcionalidades que não foram alvo de Testes A/B, isto porque as vantagens seriam muito grandes para serem justas, como queremos manter o jogo igual e justo para todos, não podemos fazer Testes A/B a todas as funcionalidades A seleção para os grupos de testes é puramente aleatória, a igualdade e justiça não são a única razão para que isso aconteça, é também porque é necessário e essencial a existência um elemento aleatório para a qualidade e fiabilidade dos resultados do teste.
Esperamos ter conseguido esclarecer os motivos pelos quais os Testes A/B são fundamentais para nossa a estratégia de desenvolvimento e continuarão a ser um acessório para atualizações, melhorias e implementações futuras.
Obrigado pelo vosso apoio e por jogarem Forge of Empires.
Atenciosamente,
A tua equipa Forge of Empires