<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Dear Wolfgang,<div><br></div><div>I am sorry for my last question without providing some data. I simulated a different situation using part of my data set. I found than the average effect size differed from zero in the subgroup "no" from variable "potential_sce" using the full data. After exclusion of data related to the subgroup "yes" from variable "potential_sce" , I conducted a random-effects MLMA and found that the average effect size did not differ from zero. Which one of the two approaches would be correct? The files follow on attached.</div><div><br></div><div>library(metafor)</div><div>library(ape)</div><div><br></div><div>### Data</div><div>h1=read.csv2('full_data.csv', dec='.')</div><div>summary(h1)</div><div><br></div><div>h2=read.csv2('data_without_psce.csv', dec='.')</div><div>summary(h2)</div><div><br></div><div>### Phylogenies and correlations</div><div>#tree_full_data</div><div>pt1<-read.tree(file=file.choose(), text=NULL, tree.names=NULL, skip=0)</div><div><br></div><div>corr1=vcv(pt1, corr=T)</div><div><br></div><div>#tree_data_without_psce</div><div>pt2<-read.tree(file=file.choose(), text=NULL, tree.names=NULL, skip=0)</div><div><br></div><div>corr2=vcv(pt2, corr=T)</div><div><br></div><div><br></div><div>### Models</div><div>meta1=<a href="http://rma.mv">rma.mv</a>(zf, sezf, mods=~potential_sce-1, random = list (~1|studyID, ~1|speciesID), R=list(speciesID=corr1), data = h1)</div><div>meta1</div><div><br></div><div>meta2=<a href="http://rma.mv">rma.mv</a>(zf, sezf, random = list (~1|studyID, ~1|speciesID), R=list(speciesID=corr2), data=h2)</div><div>meta2</div><div><br></div><div>Best wishes,</div><div><br></div><div>Rafael. <br clear="all"><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><span style="font-size:12.8px">__________________________________________________________</span><br></div><div><span style="font-size:12.8px"><font face="times new roman, serif"><br></font></span></div><div><font face="monospace, monospace"><span style="font-size:12.8px">Dr. Rafael Rios Moura</span><br></font></div><div dir="ltr"><i><font face="monospace, monospace">scientia amabilis</font></i></div><div dir="ltr"><span style="font-size:12.8px"><font face="monospace, monospace"><br></font></span></div><div dir="ltr"><font face="monospace, monospace"><span style="font-size:12.8px">Behavioral Ecologist, </span></font><span style="font-family:monospace,monospace;font-size:12.8px">Ph.D.</span></div><div dir="ltr"><span style="font-family:monospace,monospace">Postdoctoral Researcher</span></div><div><font face="monospace, monospace">Universidade Estadual de Campinas (UNICAMP)</font></div><div><font face="monospace, monospace">Campinas, São Paulo, Brazil</font></div><div><font face="monospace, monospace"><br></font></div><div><span style="font-family:monospace,monospace;font-size:x-small">ORCID: </span><a href="http://orcid.org/0000-0002-7911-4734" style="font-family:monospace,monospace;font-size:x-small" target="_blank">http://orcid.org/0000-0002-7911-4734</a><font face="monospace, monospace"><br></font></div><div dir="ltr"><font face="monospace, monospace" style="font-size:12.8px"><span style="font-size:x-small">Currículo Lattes: </span></font><span style="color:rgb(50,108,153);font-family:Tahoma,Geneva,sans-serif;font-size:10px"><a href="http://lattes.cnpq.br/4264357546465157" target="_blank">http://lattes.cnpq.br/4264357546465157</a></span></div><div><font face="monospace, monospace"><font size="1">Research Gate: <a href="https://www.researchgate.net/profile/Rafael_Rios_Moura2" target="_blank">https://www.researchgate.net/profile/Rafael_Rios_Moura2</a></font><br></font></div><br><div><a href="http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4244908A8" target="_blank"><br><br><br></a></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Em seg, 11 de mar de 2019 às 05:57, Viechtbauer, Wolfgang (SP) <<a href="mailto:wolfgang.viechtbauer@maastrichtuniversity.nl">wolfgang.viechtbauer@maastrichtuniversity.nl</a>> escreveu:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Dear Rafael,<br>
<br>
I cannot even attempt an answer to that question without a full understanding of the problem and data that you are working with.<br>
<br>
Best,<br>
Wolfgang<br>
<br>
-----Original Message-----<br>
From: Rafael Rios [mailto:<a href="mailto:biorafaelrm@gmail.com" target="_blank">biorafaelrm@gmail.com</a>] <br>
Sent: Sunday, 10 March, 2019 15:02<br>
To: Viechtbauer, Wolfgang (SP)<br>
Cc: Michael Dewey; <a href="mailto:r-sig-meta-analysis@r-project.org" target="_blank">r-sig-meta-analysis@r-project.org</a><br>
Subject: Re: [R-meta] Different outputs by comparing random-effects model with a MLMA without intercept<br>
<br>
Thanks for the answers, Michael and Wolfgang. I suspected some effects of the random variables. Since I want to test whether the average effect size differs from zero in the data without a potential_sce bias (subgroup "no"), which of the two approaches do you recommend?<br>
<br>
Best wishes,<br>
<br>
Rafael.<br>
Em dom, 10 de mar de 2019 10:40, Viechtbauer, Wolfgang (SP) <<a href="mailto:wolfgang.viechtbauer@maastrichtuniversity.nl" target="_blank">wolfgang.viechtbauer@maastrichtuniversity.nl</a>> escreveu:<br>
Dear Rafael,<br>
<br>
Let's try this again (instead of sending an empty mail -- sorry about that!).<br>
<br>
Indeed, the results differ because model2 estimates the variance components only based on the subset, while model1 estimates those variances based on all data. You would have to allow the variance components to differ for the "no" and "yes" levels of 'potential_sce' in 'model1' for the results to be identical. Actually, even then, I don't think you would get the exact same results, since you make use of the 'R' argument. Due to the correlation across species, the estimate (and SE) of 'potential_sceno' and 'potential_sceno' will be influenced by whatever species are included in the dataset. In the subset, certain species are not included (240 instead of 348), which is another reason why there are differences.<br>
<br>
Best,<br>
Wolfgang<br>
<br>
-----Original Message-----<br>
From: Michael Dewey [mailto:<a href="mailto:lists@dewey.myzen.co.uk" target="_blank">lists@dewey.myzen.co.uk</a>] <br>
Sent: Thursday, 07 March, 2019 18:06<br>
To: Rafael Rios; Viechtbauer, Wolfgang (SP); <a href="mailto:r-sig-meta-analysis@r-project.org" target="_blank">r-sig-meta-analysis@r-project.org</a><br>
Subject: Re: [R-meta] Different outputs by comparing random-effects model with a MLMA without intercept<br>
<br>
Dear Rafael<br>
<br>
I think this may be related to the issue outlined by Wolfgang in this <br>
section of the web-site<br>
<br>
<a href="http://www.metafor-project.org/doku.php/tips:comp_two_independent_estimates" rel="noreferrer" target="_blank">http://www.metafor-project.org/doku.php/tips:comp_two_independent_estimates</a><br>
<br>
Michael<br>
<br>
On 07/03/2019 16:46, Rafael Rios wrote:<br>
> Dear Wolfgang and All,<br>
> <br>
> I am conducting a meta-analysis to evaluate potential bias of a fixed<br>
> predictor with two subgroups (predictor: yes and no). Because I found a<br>
> bias, I removed the values of subgroup "yes" and performed a random-effects<br>
> model. However, when I compared the output of the first model without<br>
> intercept with the output of the random effects model, I obtained different<br>
> results, especially in the estimation of confidence intervals. I was<br>
> expecting to found similar results because the model without intercept<br>
> tests if the average outcome differs from zero. Can you explain in which<br>
> case this can happen? Every help is welcome.<br>
> <br>
> <br>
> model1=<a href="http://rma.mv" rel="noreferrer" target="_blank">rma.mv</a>(yi, vi, mods=~predictor-1, random = list (~1|effectsizeID,<br>
> ~1|studyID, ~1|speciesID), R=list(speciesID=phylogenetic_correlation),<br>
> data=h)<br>
> <br>
> #Multivariate Meta-Analysis Model (k = 1850; method: REML)<br>
> #<br>
> #Variance Components:<br>
> #                    estim     sqrt      nlvls  fixed        factor     R<br>
> #sigma^2.1  0.0145  0.1204   1850    no  effectsizeID   no<br>
> #sigma^2.2  0.0195  0.1397    468     no       studyID     no<br>
> #sigma^2.3  0.2386  0.4885    348     no     speciesID   yes<br>
> #<br>
> #Test for Residual Heterogeneity:<br>
> #QE(df = 1848) = 10797.5993, p-val < .0001<br>
> #<br>
> #Test of Moderators (coefficients 1:2):<br>
> #QM(df = 2) = 17.6736, p-val = 0.0001<br>
> #<br>
> *#Model Results:*<br>
> *#                          estimate      se        zval       pval<br>
> <a href="http://ci.lb" rel="noreferrer" target="_blank">ci.lb</a> <<a href="http://ci.lb" rel="noreferrer" target="_blank">http://ci.lb</a>>   ci.ub *<br>
> *#potential_sceno     0.2843  0.1659  1.7141  0.0865  -0.0408  0.6095  *.<br>
> #potential_sceyes    0.3741  0.1668  2.2421  0.0250   0.0471  0.7011  *<br>
> #---<br>
> #Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1<br>
> <br>
> <br>
> model2=<a href="http://rma.mv" rel="noreferrer" target="_blank">rma.mv</a>(zf, vzf, random = list (~1|effectsizeID, ~1|studyID,<br>
> ~1|speciesID), R=list(speciesID=phylogenetic_correlation),<br>
> data=subset(h,potential_sce=="no"))<br>
> <br>
> #Multivariate Meta-Analysis Model (k = 1072; method: REML)<br>
> #<br>
> #Variance Components:<br>
> #            estim    sqrt  nlvls  fixed        factor    R<br>
> #sigma^2.1  0.0140  0.1184   1072     no  effectsizeID   no<br>
> #sigma^2.2  0.0394  0.1986    264     no       studyID   no<br>
> #sigma^2.3  0.0377  0.1943    240     no     speciesID  yes<br>
> #<br>
> #Test for Heterogeneity:<br>
> #Q(df = 1071) = 4834.5911, p-val < .0001<br>
> #<br>
> *#Model Results:*<br>
> *#estimate      se    zval    pval   <a href="http://ci.lb" rel="noreferrer" target="_blank">ci.lb</a> <<a href="http://ci.lb" rel="noreferrer" target="_blank">http://ci.lb</a>>   ci.ub *<br>
> *#  0.2989  0.0720  4.1494  <.0001  0.1577  0.4401  *** *<br>
> #---<br>
> #Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1<br>
> <br>
> <br>
> I used another data set to conduct the same approach and obtained similar<br>
> results:<br>
> <br>
> dat <- dat.bangertdrowns2004<br>
> rbind(head(dat, 10), tail(dat, 10))<br>
> dat <- dat[!apply(dat[,c("length", "wic", "feedback", "info", "pers",<br>
> "imag", "meta")], 1, anyNA),]<br>
> <br>
> head(dat)<br>
> <br>
> random.model=<a href="http://rma.mv" rel="noreferrer" target="_blank">rma.mv</a>(yi, vi, random=list(~1|id, ~1|author), structure="UN",<br>
> data=subset(dat, subject=="Math"))<br>
> <br>
> random.model<br>
> <br>
> *#Math*<br>
> *#Model Results:*<br>
> *#  estimate      se    zval         pval   <a href="http://ci.lb" rel="noreferrer" target="_blank">ci.lb</a> <<a href="http://ci.lb" rel="noreferrer" target="_blank">http://ci.lb</a>>   ci.ub *<br>
> *#    0.2106  0.0705  2.9899  0.0028  0.0726  0.3487  ***<br>
> <br>
> mixed.model=<a href="http://rma.mv" rel="noreferrer" target="_blank">rma.mv</a>(yi, vi, mods=~subject-1, random=list(~1|id, ~1|author),<br>
> structure="UN", data=dat)<br>
> <br>
> anova(mixed.model,btt=2)<br>
> <br>
> *#Math*<br>
> *#  estimate      se       zval    pval       <a href="http://ci.lb" rel="noreferrer" target="_blank">ci.lb</a> <<a href="http://ci.lb" rel="noreferrer" target="_blank">http://ci.lb</a>>   ci.ub*<br>
> *#    0.2100  0.0697   3.0122  0.0026   0.0734  0.3467*<br>
> <br>
> Best wishes,<br>
> <br>
> Rafael.<br>
> __________________________________________________________<br>
> <br>
> Dr. Rafael Rios Moura<br>
> *scientia amabilis*<br>
> <br>
> Behavioral Ecologist, Ph.D.<br>
> Postdoctoral Researcher<br>
> Universidade Estadual de Campinas (UNICAMP)<br>
> Campinas, São Paulo, Brazil<br>
> <br>
> ORCID: <a href="http://orcid.org/0000-0002-7911-4734" rel="noreferrer" target="_blank">http://orcid.org/0000-0002-7911-4734</a><br>
> Currículo Lattes: <a href="http://lattes.cnpq.br/4264357546465157" rel="noreferrer" target="_blank">http://lattes.cnpq.br/4264357546465157</a><br>
> Research Gate: <a href="https://www.researchgate.net/profile/Rafael_Rios_Moura2" rel="noreferrer" target="_blank">https://www.researchgate.net/profile/Rafael_Rios_Moura2</a><br>
</blockquote></div>