Analytics
846 Usuários online agora
846 Usuários online agora
Faça perguntas sobre relatórios personalizados do Google Analytics, o uso da API e do Google Tag Manager e outros recursos avançados
Guie-me
star_border
Responder

Google Content Experiments - Confidence Threshold

Calouro ✭

Alguém sabe explicar-me como é calculado o confidence threshold em google content experiments?

 

A experiência seguinte estava definida para 2 semanas, threshold confidence (ou limiar de confiança) de 95% e o tráfego a ser distribuido uniformemente.

 

 

 

Foi declarado um vencedor com base em 11 conversões no total.

 

A minha interpretação de 95% de limiar de confiança é que uma versão resultou 95% melhor que a outra, sendo que o único critério aqui válido é o objectivo que foi concretizado, no caso a lead.

 

Não encontrei um único site que soubesse como este threshold é calculado.. Apenas repetem-se uns aos outros com a frase simples "é a confiança necessária para eleger de um vencedor", algo como isto.. Mas ninguém sabe explicar o cálculo, os critérios.

 

Ao definir 2 semanas estou a garanti que nenhum vencedor irá ser eleito antes deste tempo.

Ao definir 99% de confiança, por ex, parece-me impossível que uma campanha tenha 99% mais de conversões que a outra, logo a minha forma de ler este limiar de confiança está errada.

 

Alguém?

Especialistas responderamverified_user

Soluções aceitas
Marcado como Melhor Resposta.
Solução
Aceita pelo autor do tópico valentino b
Agosto 2016

Re: Google Content Experiments - Confidence Threshold

Principal Colaborador

@valentino b, tudo bem?

 

O nível de confiança vem da estatista, quando precisamos testar alguma hipótese, precisamos definir um índice de confiança. Algo muito parecido com a margem de erro que vemos em projeções, na verdade é bem isso mesmo. Smiley feliz

 

 

A minha interpretação de 95% de limiar de confiança é que uma versão resultou 95% melhor que a outra, sendo que o único critério aqui válido é o objectivo que foi concretizado, no caso a lead.

 

Sim, no final do teste de hipótese o Google Analytics informa que Índice de confiabilidade é de 95% para esse teste. 

 

Vale lembrar que o Google Analytics não trabalha com modelos matemáticos simples de teste A/B e sim com testes A/B/N, ou seja, multi variados e utilizando como algoritmo multi-armed bandit que é um modelos bem conhecido em estatista. Sou oriundo de exatas mais não sou estatístico. (Apenas gosto) 

 

Algumas das vantagens de se utilizar o modelo do tipo multi-armed bandit é que geram resultados mais rápidos que testes A/B com base em hipóteses estatísticas e tem confiável da mesma forma.

 

Resumindo para não ficar uma resposta cansativa é feito um calculo de probabilidade usando as métricas e metas que você definiu no experimento. Assim como praticamente todos os outros tipos de experimentos existentes. 

 

A amostragem de Thompson atribui sessões aos cenários proporcionalmente à probabilidade de cada cenário ser o ideal. Isso é um cálculo bayesiano. θ = (θ1, θ2,..., θk) denotará o vetor das taxas de conversão para os cenários 1, …, k. E ydenotará os dados observados até agora na experiência. Modelamos "y" como um vetor de resultados binomiais independentes e admitimos antecedentes uniformes independentes em θ. Ia(θ) denotará o indicador do evento que o cenário a é ideal. Então, podemos escrever:

E essa é formula de calculo = P(Ia) = ∫Ia(θ) p(θ|y) dθ

 

Recomendo fortemente que faça a leitura do seguintes artigos do próprio Google sobre os experimentos. A documentação do Google para o Google Analytics e Adwords são bem completas na minha opinião. Smiley feliz

 

https://support.google.com/analytics/answer/2844870?hl=pt-BR#background

https://support.google.com/analytics/answer/2846882

 

Espero que tenha encontrado sua resposta! Smiley feliz

Ricardo Gaya

Exibir solução no post original


Todas as respostas

Re: Google Content Experiments - Confidence Threshold

Gerente da Comunidade

@Ricardo-Gaya@Gravity talvez possam te ajudar @valentino b =)


Siga-nos nas redes Sociais
Twitter Facebook Youtube
Marcado como Melhor Resposta.
Solução
Aceita pelo autor do tópico valentino b
Agosto 2016

Re: Google Content Experiments - Confidence Threshold

Principal Colaborador

@valentino b, tudo bem?

 

O nível de confiança vem da estatista, quando precisamos testar alguma hipótese, precisamos definir um índice de confiança. Algo muito parecido com a margem de erro que vemos em projeções, na verdade é bem isso mesmo. Smiley feliz

 

 

A minha interpretação de 95% de limiar de confiança é que uma versão resultou 95% melhor que a outra, sendo que o único critério aqui válido é o objectivo que foi concretizado, no caso a lead.

 

Sim, no final do teste de hipótese o Google Analytics informa que Índice de confiabilidade é de 95% para esse teste. 

 

Vale lembrar que o Google Analytics não trabalha com modelos matemáticos simples de teste A/B e sim com testes A/B/N, ou seja, multi variados e utilizando como algoritmo multi-armed bandit que é um modelos bem conhecido em estatista. Sou oriundo de exatas mais não sou estatístico. (Apenas gosto) 

 

Algumas das vantagens de se utilizar o modelo do tipo multi-armed bandit é que geram resultados mais rápidos que testes A/B com base em hipóteses estatísticas e tem confiável da mesma forma.

 

Resumindo para não ficar uma resposta cansativa é feito um calculo de probabilidade usando as métricas e metas que você definiu no experimento. Assim como praticamente todos os outros tipos de experimentos existentes. 

 

A amostragem de Thompson atribui sessões aos cenários proporcionalmente à probabilidade de cada cenário ser o ideal. Isso é um cálculo bayesiano. θ = (θ1, θ2,..., θk) denotará o vetor das taxas de conversão para os cenários 1, …, k. E ydenotará os dados observados até agora na experiência. Modelamos "y" como um vetor de resultados binomiais independentes e admitimos antecedentes uniformes independentes em θ. Ia(θ) denotará o indicador do evento que o cenário a é ideal. Então, podemos escrever:

E essa é formula de calculo = P(Ia) = ∫Ia(θ) p(θ|y) dθ

 

Recomendo fortemente que faça a leitura do seguintes artigos do próprio Google sobre os experimentos. A documentação do Google para o Google Analytics e Adwords são bem completas na minha opinião. Smiley feliz

 

https://support.google.com/analytics/answer/2844870?hl=pt-BR#background

https://support.google.com/analytics/answer/2846882

 

Espero que tenha encontrado sua resposta! Smiley feliz

Ricardo Gaya

Re: Google Content Experiments - Confidence Threshold

Calouro ✭
Obrigado pela atenção!

Re: Google Content Experiments - Confidence Threshold

Calouro ✭
Boa! Obrigado pela pronta resposta. Na realidade estou a criar uma formação que inclui testes A/B/n e MultiVariate Testing que uso faz anos. Por não viste de matemáticas e nunca ter tido estatística, fica complicado entender alguns conceitos. Como nao gosto da resposta "é assim porque sim", tentei a minha sorte no fórum.. Só nao imaginei que fosse tão rápido e completo. Valeu!!!