Analytics
439 Usuários online agora
439 Usuários online agora
Faça perguntas sobre relatórios personalizados do Google Analytics, o uso da API e do Google Tag Manager e outros recursos avançados
Guie-me
star_border
Responder

Google Content Experiments - Confidence Threshold

Calouro ✭

Alguém sabe explicar-me como é calculado o confidence threshold em google content experiments?

 

A experiência seguinte estava definida para 2 semanas, threshold confidence (ou limiar de confiança) de 95% e o tráfego a ser distribuido uniformemente.

 

 

 

Foi declarado um vencedor com base em 11 conversões no total.

 

A minha interpretação de 95% de limiar de confiança é que uma versão resultou 95% melhor que a outra, sendo que o único critério aqui válido é o objectivo que foi concretizado, no caso a lead.

 

Não encontrei um único site que soubesse como este threshold é calculado.. Apenas repetem-se uns aos outros com a frase simples "é a confiança necessária para eleger de um vencedor", algo como isto.. Mas ninguém sabe explicar o cálculo, os critérios.

 

Ao definir 2 semanas estou a garanti que nenhum vencedor irá ser eleito antes deste tempo.

Ao definir 99% de confiança, por ex, parece-me impossível que uma campanha tenha 99% mais de conversões que a outra, logo a minha forma de ler este limiar de confiança está errada.

 

Alguém?

Especialistas responderamverified_user
1 SOLUÇÃO ACEITA

Soluções aceitas
Marcado como Melhor Resposta.
Solução
Aceita pelo autor do tópico valentino b
Agosto 2016

Re: Google Content Experiments - Confidence Threshold

Principal Colaborador

@valentino b, tudo bem?

 

O nível de confiança vem da estatista, quando precisamos testar alguma hipótese, precisamos definir um índice de confiança. Algo muito parecido com a margem de erro que vemos em projeções, na verdade é bem isso mesmo. Smiley feliz

 

 

A minha interpretação de 95% de limiar de confiança é que uma versão resultou 95% melhor que a outra, sendo que o único critério aqui válido é o objectivo que foi concretizado, no caso a lead.

 

Sim, no final do teste de hipótese o Google Analytics informa que Índice de confiabilidade é de 95% para esse teste. 

 

Vale lembrar que o Google Analytics não trabalha com modelos matemáticos simples de teste A/B e sim com testes A/B/N, ou seja, multi variados e utilizando como algoritmo multi-armed bandit que é um modelos bem conhecido em estatista. Sou oriundo de exatas mais não sou estatístico. (Apenas gosto) 

 

Algumas das vantagens de se utilizar o modelo do tipo multi-armed bandit é que geram resultados mais rápidos que testes A/B com base em hipóteses estatísticas e tem confiável da mesma forma.

 

Resumindo para não ficar uma resposta cansativa é feito um calculo de probabilidade usando as métricas e metas que você definiu no experimento. Assim como praticamente todos os outros tipos de experimentos existentes. 

 

A amostragem de Thompson atribui sessões aos cenários proporcionalmente à probabilidade de cada cenário ser o ideal. Isso é um cálculo bayesiano. θ = (θ1, θ2,..., θk) denotará o vetor das taxas de conversão para os cenários 1, …, k. E ydenotará os dados observados até agora na experiência. Modelamos "y" como um vetor de resultados binomiais independentes e admitimos antecedentes uniformes independentes em θ. Ia(θ) denotará o indicador do evento que o cenário a é ideal. Então, podemos escrever:

E essa é formula de calculo = P(Ia) = ∫Ia(θ) p(θ|y) dθ

 

Recomendo fortemente que faça a leitura do seguintes artigos do próprio Google sobre os experimentos. A documentação do Google para o Google Analytics e Adwords são bem completas na minha opinião. Smiley feliz

 

https://support.google.com/analytics/answer/2844870?hl=pt-BR#background

https://support.google.com/analytics/answer/2846882

 

Espero que tenha encontrado sua resposta! Smiley feliz

Ricardo Gaya

Minha resposta foi útil? Se sim, clique em "Aceitar como solução". Saiba mais aqui.

Exibir solução no post original

Re: Google Content Experiments - Confidence Threshold

Gerente da Comunidade

@Ricardo-Gaya@Gravity talvez possam te ajudar @valentino b =)


Siga-nos nas redes Sociais
Twitter Facebook Youtube
Marcado como Melhor Resposta.
Solução
Aceita pelo autor do tópico valentino b
Agosto 2016

Re: Google Content Experiments - Confidence Threshold

Principal Colaborador

@valentino b, tudo bem?

 

O nível de confiança vem da estatista, quando precisamos testar alguma hipótese, precisamos definir um índice de confiança. Algo muito parecido com a margem de erro que vemos em projeções, na verdade é bem isso mesmo. Smiley feliz

 

 

A minha interpretação de 95% de limiar de confiança é que uma versão resultou 95% melhor que a outra, sendo que o único critério aqui válido é o objectivo que foi concretizado, no caso a lead.

 

Sim, no final do teste de hipótese o Google Analytics informa que Índice de confiabilidade é de 95% para esse teste. 

 

Vale lembrar que o Google Analytics não trabalha com modelos matemáticos simples de teste A/B e sim com testes A/B/N, ou seja, multi variados e utilizando como algoritmo multi-armed bandit que é um modelos bem conhecido em estatista. Sou oriundo de exatas mais não sou estatístico. (Apenas gosto) 

 

Algumas das vantagens de se utilizar o modelo do tipo multi-armed bandit é que geram resultados mais rápidos que testes A/B com base em hipóteses estatísticas e tem confiável da mesma forma.

 

Resumindo para não ficar uma resposta cansativa é feito um calculo de probabilidade usando as métricas e metas que você definiu no experimento. Assim como praticamente todos os outros tipos de experimentos existentes. 

 

A amostragem de Thompson atribui sessões aos cenários proporcionalmente à probabilidade de cada cenário ser o ideal. Isso é um cálculo bayesiano. θ = (θ1, θ2,..., θk) denotará o vetor das taxas de conversão para os cenários 1, …, k. E ydenotará os dados observados até agora na experiência. Modelamos "y" como um vetor de resultados binomiais independentes e admitimos antecedentes uniformes independentes em θ. Ia(θ) denotará o indicador do evento que o cenário a é ideal. Então, podemos escrever:

E essa é formula de calculo = P(Ia) = ∫Ia(θ) p(θ|y) dθ

 

Recomendo fortemente que faça a leitura do seguintes artigos do próprio Google sobre os experimentos. A documentação do Google para o Google Analytics e Adwords são bem completas na minha opinião. Smiley feliz

 

https://support.google.com/analytics/answer/2844870?hl=pt-BR#background

https://support.google.com/analytics/answer/2846882

 

Espero que tenha encontrado sua resposta! Smiley feliz

Ricardo Gaya

Minha resposta foi útil? Se sim, clique em "Aceitar como solução". Saiba mais aqui.

Re: Google Content Experiments - Confidence Threshold

Calouro ✭
Obrigado pela atenção!

Re: Google Content Experiments - Confidence Threshold

Calouro ✭
Boa! Obrigado pela pronta resposta. Na realidade estou a criar uma formação que inclui testes A/B/n e MultiVariate Testing que uso faz anos. Por não viste de matemáticas e nunca ter tido estatística, fica complicado entender alguns conceitos. Como nao gosto da resposta "é assim porque sim", tentei a minha sorte no fórum.. Só nao imaginei que fosse tão rápido e completo. Valeu!!!