[R-es] El test de la chi-cuadrado, ¿demasiado restrictivo asintóticamente?

[Pablo Emilio Verde]

Hola Carlos,

Muy estimulante la discusion!

En mi experiencia, los documentos regulatorios son superficiales y
conservadores.
Una de las razones por la que los bancos (industria farmaceutica, etc.)
contratan
consultores es porque si siguen al pie de la letra estos documentos no
pueden
hacer negocios.

Seguramente, el problema estadistico que planteaste se deberia resolver muy
puntualmente como se ha mensionado en la mails anteriores.

De todos modos y fuera del contexto particular de tu aplicacion, aca hay
algo
muy profundo en el uso de metodos estadisticos que hay que cambiar. Tambien
algo muy profundo en la enseñanza de la estadistica que tambien hay que
cambiar,
sino profesionales de otras areas, con uno o dos cursos de estadistica en su
carrera, nos seguiran indicando que hay que mirar los valores p!

"R-utopia" (el mundo fantastico de R) nos seguira brindando esta posibilidad
de
cambios.

Saludos,

Pablo






----- Original Message -----
From: "Carlos J. Gil Bellosta " <cgb en datanalytics.com>
To: "Ramon Diaz-Uriarte" <rdiaz02 en gmail.com>
Cc: "r-help-es" <r-help-es en r-project.org>
Sent: Tuesday, July 21, 2009 7:42 PM
Subject: Re: [R-es]El test de la chi-cuadrado, ¿demasiado restrictivo
asintóticamente?


> Hola, ¿qué tal?
>
> Ramón, estoy de acuerdo contigo. Es ciertamente efecto de la pereza
> intelectual que cuando en el campo X surja el problema de comparar la
> estructura (respecto a cierta variable cualitativa) de dos poblaciones
> se recurra automáticamente al test de la chi-cuadrado. Y todavía de
> mayor pereza intelectual que dicho consejo se reproduzca
> incontestadamente en artículos y manuales.
>
> En el problema que estoy estudiando, el uso de la chi-cuadrado no se
> justifica porque:
> 1) No se cumplen las hipótesis básicas para ser aplicado.
> 2) Da lugar a resultados no razonables.
>
> En particular, los individuos que forman parte de la población en
> estudio no son, ni mucho menos, iid según una multinomial con
> parámetros fijos. Es una hipótesis de rigidez distribucional muy
> restrictiva.
>
> Quiero pensar que bajo hipótesis que tuviesen en cuenta la
> incertidumbre sobre los parámetros observados y las correlaciones
> entre los individuos (tal vez introduciendo variables latentes
> (¿normales?) asociadas a cada individuo con un grado de correlación
> dado) se obtendrían intervalos de confianza más generosos. O
> plausibles. Aunque me da que abundar en esto es matar moscas a
> cañonazos: hay que saber mucho para expresar analíticamente que se
> sabe poco.
>
> La alternativa, muy en el espíritu de lo que apunta Ramón, sería,
> efectivamente, dentro del "conocimiento de la materia", determinar qué
> se puede entender por "significativo". Yo no sé a partir de qué umbral
> un cambio en la estructura poblacional es relevante pero sí que intuyo
> que la relevancia (medida en este ámbito en términos del coste
> económico del error) está relacionada linealmente con la tasa de
> error.
>
> En fin, creo que me reintegraré dócilmente al redil de los que no
> cuestionan en este contexto el uso de la chi-cuadrado consolándome
> pensando que nunca despidieron a nadie por seguir diligentemente las
> normas que emanan de los despachos del Banco de España.
>
> Un saludo y muchas gracias a todos,
>
> Carlos J. Gil Bellosta
> http://www.datanalytics.com
>
>
> El 21 de julio de 2009 10:02, Ramon Diaz-Uriarte<rdiaz02 en gmail.com>
escribió:
> > Carlos, creo que la respuesta la ha dado ya José Trujillo Carmona. Si
> > el Banco de España quiere detectar desviaciones poblacionales
> > significativas, el Banco de España es el que debe decidir qué es lo
> > que considera "significativo", no en el sentido de p-valor, sino en el
> > sentido de "desviación que me importa". (Y lo qué es o no importante
> > imagino que depende de las consecuencias de esas desviaciones, etc,
> > etc. Supongo que para eso tienen economistas en el BE :-).
> >
> > O sea, es el "subject matter knowledge" lo que debe dictaminar cual es
> > la diferencia mínima que queremos detectar, NO el p-valor per se. A
> > partir de ahí, uno construye un test apropiado para detectar esas
> > diferencias que nos importan.
> >
> > Como ya ha indicado Jośe, la idea de bioequivalence et al. es
> > apropiada aquí. Por ejemplo, copio de un artículo en The American
> > Statistician de Barker et al. ("Equivalence Testing for Binomial
> > Random Variables: Which Test to Use?", The American Statistician,
> > 55(4), pp. 279-287, 2001). "In studies intended to show that two
> > populations are practically equivalent, the null hypothesis that a
> > substantial difference between the populations exists is more
> > appropriate". Y "In equivalence testing, a difference is specified
> > between parameters such that the experimenter does not care about a
> > smaller difference, but does care about a larger difference". Etc.
> >
> >> Pero me
> >> gustaría ser capaz de proponer una medida alternativa al estadístico
> >> que da lugar al test de la chi-cuadrado que, como propiedad deseable,
> >> no dependiese de n (el tamaño muestral)...
> >>
> >
> >
> > Me temo que ese deseo sencillamente no puede ser satisfecho
> >
> >
> >
> > Un saludo,
> >
> > R.
> >
> >
> > P.D. No estoy seguro de que lo que menciona Kjetil sea aplicable
> > inmediatamente a este caso. El problema que examina Efron es el
> > contraste de muchas (miles a centenares de miles) de hipótesis nulas,
> > como se da frecuentemente en genómica. Pero si entiendo bien tu estás
> > satisfecho con UNA sola hipótesis nula (lo que falta es decidir
> > exactamente CUAL es esa unica hipótesis nula que tienes).
> >
> >
> >
> > 2009/7/20 Carlos J. Gil Bellosta <cgb en datanalytics.com>:
> >> Hola, ¿qué tal?
> >>
> >> El problema que motiva mi mensaje es el siguiente. Imaginad un banco
> >> que ha concedido un millón de hipotecas. Cada hipoteca está asignada a
> >> uno de 10 niveles de riesgo distinto (A1 el menos arriesgado, A10
> >> "subprime").
> >>
> >> Pasa un mes y se recalculan los niveles de cada una de las hipotecas.
> >> Algunas ya se han cancelado, hay hipotecas nuevas, etc.
> >>
> >> Tanto el banco en cuestión como el regulador (Banco de España, en mi
> >> caso particular) están interesados en detectar si hay "desviaciones
> >> poblacionales significativas". Si se detecta una "desviación
> >> poblacional significativa" se generan una serie de alarmas, hay que
> >> replantear modelos, hay que notificar al regulador, etc.
> >>
> >> Para detectar estas "desviaciones poblacionales significativas" se
> >> plantean distintos tests. Uno de ellos (utilizado por algunos bancos,
> >> sugerido también en el documento regulatorio que he apuntado antes) es
> >> el de la chi-cuadrado.
> >>
> >> Problema: que la población subyacente es tan grande que los p-valores
> >> obtenidos con fluctuaciones "mínimas" son alarmantes, del tipo
> >> 0.000000000000000000000021233. Y eso aun cuando los histogramas, a
> >> simple vista, son casi idénticos.
> >>
> >> Claro, es difícil justificar que con histogramas casi idénticos, con
> >> conteos de frecuencias muy similares, haya que decir: "según el
> >> p-valor obtenido por el test de la chi-cuadrado, Vd. tiene que
> >> replantearse la homogeneidad de su población".
> >>
> >> Simplemente creo que en este contexto, a pesar de que se utilice el
> >> test de la chi-cuadrado y que incluso se recomiende desde "altas
> >> esferas", es necesario plantearse una alternativa. De ahí que haya
> >> escrito a la lista: no sé si en estudios demográficos, de poblaciones
> >> de especies en ecosistemas, en disciplinas donde se manejen
> >> frecuencias elevadas, se utilizan medidas de "homogeneidad
> >> poblacional" distintas de la de la chi-cuadrado.
> >>
> >> Entiendo que, en última instancia, debería ser el banco (o el
> >> regulador) el que determinase cómo de grande debería ser la desviación
> >> que tuviese que generar una alarma (y eso no lo decido yo). Pero me
> >> gustaría ser capaz de proponer una medida alternativa al estadístico
> >> que da lugar al test de la chi-cuadrado que, como propiedad deseable,
> >> no dependiese de n (el tamaño muestral)...
> >>
> >> No sé si esto aclara las cosas o consigue el efecto contrario...
> >>
> >> Un saludo,
> >>
> >> Carlos J. Gil Bellosta
> >>
> >> _______________________________________________
> >> R-help-es mailing list
> >> R-help-es en r-project.org
> >> https://stat.ethz.ch/mailman/listinfo/r-help-es
> >>
> >
> >
> >
> > --
> > Ramon Diaz-Uriarte
> > Structural Biology and Biocomputing Programme
> > Spanish National Cancer Centre (CNIO)
> > http://ligarto.org/rdiaz
> > Phone: +34-91-732-8000 ext. 3019
> >
>
> _______________________________________________
> R-help-es mailing list
> R-help-es en r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>