<div dir="ltr"><br><div class="gmail_quote"><div dir="ltr"><div>Dear Dr. Wolfgang,</div><div><br></div><div>I implemented your suggestions and obtained some different results. I found a difference in the variable field, for example, which represents whether the data was collected in a laboratory (no) or in the field (yes). Therefore, the source of the data may introduce a noise in the estimation of an average effect size. Since the moderator has only two levels, I cannot add it among random variables. Or is there a way of including field as a random variable (e.g. effectsizeID|field)? I can also add it as a fixed predictor. In this situation, how can I estimate the average effect size, because the intercept will represent one level of the moderator? I added the variable field to my dataset. Thank you in advance.<br></div><div><br></div><div>Best wishes,</div><div><br></div><div>Rafael.<br></div><div><div><div dir="ltr" data-smartmail="gmail_signature"><div dir="ltr"><div>_______________________________________________________</div><div><br></div><div><div><div dir="ltr"><div dir="ltr"><span style="font-family:arial,sans-serif"><font size="2"><b>Prof. Dr. Rafael Rios Moura</b></font></span></div><div><b><i><span style="font-family:arial,sans-serif"><font size="2">scientia amabilis<br>
</font></span></i></b></div><div dir="ltr"><div style="color:rgb(0,0,0)"><b><i>
</i></b><span style="font-family:arial,sans-serif"><font size="2">Coordenador de Pesquisa e do NEPEE/CNPq<br></font></span></div></div></div></div></div><span style="font-family:arial,sans-serif"></span><div><span style="font-family:arial,sans-serif"><font size="2">UEMG - Unidade Ituiutaba<span></span><b><span><br>
</span></b></font></span></div><span style="font-family:arial,sans-serif"><font size="2">
</font></span><div><span style="font-family:arial,sans-serif"><font size="2"><b><span><br>
</span></b></font></span></div><span style="font-family:arial,sans-serif"><font size="2">
</font></span><div><font size="1"><span style="font-family:arial,sans-serif"><span>ORCID: <a href="http://orcid.org/0000-0002-7911-4734" target="_blank">http://orcid.org/0000-0002-7911-4734</a></span></span></font></div><font size="1"><span style="font-family:arial,sans-serif">
</span></font><div style="color:rgb(0,0,0)">
<font size="1"><span style="font-family:arial,sans-serif"><span><span></span></span></span></font>
<div dir="ltr"><font size="1"><span style="font-family:arial,sans-serif"><font>Currículo Lattes:
<span><a href="http://orcid.org/0000-0002-7911-4734" target="_blank">http://lattes.cnpq.br/4264357546465157</a></span><span style="color:rgb(23,78,134)"></span></font><span style="color:rgb(50,108,153)"><a href="http://lattes.cnpq.br/4264357546465157" target="_blank"><span style="color:rgb(23,78,134)"></span></a></span></span></font></div>
<div dir="ltr"><font size="1"><span style="font-family:arial,sans-serif"><span style="color:rgb(50,108,153)"><a href="http://lattes.cnpq.br/4264357546465157" target="_blank"></a></span>Research
 Gate: <span><a href="http://orcid.org/0000-0002-7911-4734" target="_blank">https://www.researchgate.net/profile/Rafael_Rios_Moura2</a></span></span></font></div>
</div><font size="1"><span style="font-family:arial,sans-serif">
</span></font><div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)"><font size="1"><font size="2"><font size="1"><span style="font-family:arial,sans-serif">
</span></font><span style="font-family:"Times New Roman",Times,serif"><font size="1"><span style="font-family:arial,sans-serif">Rios de Ciência: </span></font><span><font size="1"><span style="font-family:arial,sans-serif"><a href="http://orcid.org/0000-0002-7911-4734" target="_blank">https://www.youtube.com/channel/UCu2186wIJKji22ai8tvlUfg</a></span></font><br></span></span></font></font></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Em ter., 6 de out. de 2020 às 16:17, Viechtbauer, Wolfgang (SP) <<a href="mailto:wolfgang.viechtbauer@maastrichtuniversity.nl" target="_blank">wolfgang.viechtbauer@maastrichtuniversity.nl</a>> escreveu:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Dear Rafael,<br>
<br>
The SEs of the predicted average outcomes for the various levels can be quite different than the SEs of the difference between levels.<br>
<br>
You can get the predicted average outcome for all four levels with:<br>
<br>
pred.r = predict(res, transf=transf.ztor, digits=3, newmods = rbind(c(0,0,0), c(1,0,0), c(0,1,0), c(1,1,1)))<br>
pred.r<br>
<br>
And then you can plot them with:<br>
<br>
forest(pred.r$pred, <a href="http://ci.lb" rel="noreferrer" target="_blank">ci.lb</a>=pred.r$<a href="http://ci.lb" rel="noreferrer" target="_blank">ci.lb</a>, ci.ub=pred.r$ci.ub, slab=c("Without grouping","Temporal grouping","Spatial grouping", "Both"))<br>
<br>
Indeed, CIs are wide and overlap. But let's now compute the predicted average difference between levels when compared against the "Without grouping" level:<br>
<br>
pred.r = predict(res, transf=transf.ztor, digits=3, newmods = rbind(c(1,0,0) - c(0,0,0), c(0,1,0) - c(0,0,0), c(1,1,1) - c(0,0,0)), intercept=FALSE)<br>
pred.r<br>
<br>
forest(pred.r$pred, <a href="http://ci.lb" rel="noreferrer" target="_blank">ci.lb</a>=pred.r$<a href="http://ci.lb" rel="noreferrer" target="_blank">ci.lb</a>, ci.ub=pred.r$ci.ub, slab=c("Diff Temporal grouping","Diff Spatial grouping", "Diff Both"))<br>
<br>
Now the CIs are quite narrow and exlude 0.<br>
<br>
This aside, I would recommend that you include random effects for species twice, once without and once with the phylogenetic correlation matrix:<br>
<br>
h$speciesIDnon <- h$speciesID<br>
res <- <a href="http://rma.mv" rel="noreferrer" target="_blank">rma.mv</a>(zf, vzf, mods=~sce_temporal*sce_spatial, random = list (~1|effectsizeID, ~1|studyID, ~1|speciesIDnon, ~1|speciesID), R=list(speciesID=corr), data=h)<br>
<br>
This is model (15) from:<br>
<br>
Nakagawa, S., & Santos, E. S. A. (2012). Methodological issues and advances in biological meta-analysis. Evolutionary Ecology, 26(5), 1253-1274.<br>
<br>
Conclusions do not change as far as I can tell, but I would still go with that model. A LRT also shows that this model fits significantly better:<br>
<br>
res0 <- <a href="http://rma.mv" rel="noreferrer" target="_blank">rma.mv</a>(zf, vzf, mods=~sce_temporal*sce_spatial, random = list (~1|effectsizeID, ~1|studyID, ~1|speciesID), R=list(speciesID=corr), data=h)<br>
anova(res, res0)<br>
<br>
Best,<br>
Wolfgang<br>
<br>
>-----Original Message-----<br>
>From: Rafael Rios Moura [mailto:<a href="mailto:biorafaelrm@gmail.com" target="_blank">biorafaelrm@gmail.com</a>]<br>
>Sent: Tuesday, 06 October, 2020 20:25<br>
>To: <a href="mailto:r-sig-meta-analysis@r-project.org" target="_blank">r-sig-meta-analysis@r-project.org</a>; Viechtbauer, Wolfgang (SP)<br>
>Subject: Fwd: Overlapping CIs with significant difference among subgroups<br>
><br>
>ATTACHMENT(S) REMOVED: dataset.csv | pruned_super-tree.tre | script.R<br>
><br>
>Dear Wolfgang and All,<br>
><br>
>Few months ago, I sent this email about a result obtained from a mixed<br>
>effects MLMA, controlling for phylogenetic non-independence. I tested the<br>
>difference between two levels of a moderator and obtained two close means<br>
>(0.39 and 0.31) with highly overlapping CIs. However, the omnibus test<br>
>detected a difference between estimates. Could it be a problem with my code<br>
>or the test? Or am I not using the "predict" function correctly? My dataset<br>
>and script are attached. I am grateful for contributions.<br>
><br>
>Best wishes,<br>
>_______________________________________________________<br>
><br>
>Prof. Dr. Rafael Rios Moura<br>
>scientia amabilis<br>
>Coordenador de Pesquisa e do NEPEE/CNPq<br>
>UEMG - Unidade Ituiutaba<br>
><br>
>ORCID: <a href="http://orcid.org/0000-0002-7911-4734" rel="noreferrer" target="_blank">http://orcid.org/0000-0002-7911-4734</a><br>
>Currículo Lattes: <a href="http://lattes.cnpq.br/4264357546465157" rel="noreferrer" target="_blank">http://lattes.cnpq.br/4264357546465157</a><br>
>Research Gate: <a href="https://www.researchgate.net/profile/Rafael_Rios_Moura2" rel="noreferrer" target="_blank">https://www.researchgate.net/profile/Rafael_Rios_Moura2</a><br>
>Rios de Ciência: <a href="https://www.youtube.com/channel/UCu2186wIJKji22ai8tvlUfg" rel="noreferrer" target="_blank">https://www.youtube.com/channel/UCu2186wIJKji22ai8tvlUfg</a><br>
><br>
>---------- Forwarded message ---------<br>
>De: Rafael Rios <<a href="mailto:biorafaelrm@gmail.com" target="_blank">biorafaelrm@gmail.com</a>><br>
>Date: seg., 1 de jun. de 2020 às 16:53<br>
>Subject: Overlapping CIs with significant difference among subgroups<br>
>To: <<a href="mailto:r-sig-meta-analysis@r-project.org" target="_blank">r-sig-meta-analysis@r-project.org</a>>, Viechtbauer Wolfgang (SP)<br>
><<a href="mailto:wolfgang.viechtbauer@maastrichtuniversity.nl" target="_blank">wolfgang.viechtbauer@maastrichtuniversity.nl</a>><br>
><br>
>Dear Wolfgang and All,<br>
><br>
>I conducted a multilevel mixed-effects meta-analysis and found differences<br>
>between levels of two moderators. I was expecting to find non-overlapped<br>
>confidence intervals. However, I obtained overlapped confidence intervals<br>
>for all subgroups. How can I interpret these results? In such situation,<br>
>should I trust in the Q-test or in the CIs? I controlled for phylogenetic<br>
>non-independence. Is there a chance of this approach affect the estimation<br>
>of CIs using predict function? My dataset and script are attached.<br>
><br>
>Best wishes,<br>
>_______________________________________________________<br>
><br>
>Prof. Dr. Rafael Rios Moura<br>
>Coordenador de Pesquisa e do NEPEE/CNPq<br>
>Laboratório de Ecologia e Zoologia (LEZ)<br>
>UEMG - Unidade Ituiutaba<br>
><br>
>ORCID: <a href="http://orcid.org/0000-0002-7911-4734" rel="noreferrer" target="_blank">http://orcid.org/0000-0002-7911-4734</a><br>
>Currículo Lattes: <a href="http://lattes.cnpq.br/4264357546465157" rel="noreferrer" target="_blank">http://lattes.cnpq.br/4264357546465157</a><br>
>Research Gate: <a href="https://www.researchgate.net/profile/Rafael_Rios_Moura2" rel="noreferrer" target="_blank">https://www.researchgate.net/profile/Rafael_Rios_Moura2</a><br>
>Rios de Ciência: <a href="https://www.youtube.com/channel/UCu2186wIJKji22ai8tvlUfg" rel="noreferrer" target="_blank">https://www.youtube.com/channel/UCu2186wIJKji22ai8tvlUfg</a><br>
</blockquote></div>
</div></div>