<div dir="ltr">Dear Wolfgang,<div>Thanks a lot for your helpful response which reinforces my belief that this was the right thing to do.</div><div>All the best,</div><div>Gladys </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Le jeu. 30 sept. 2021 à 08:38, Viechtbauer, Wolfgang (SP) <<a href="mailto:wolfgang.viechtbauer@maastrichtuniversity.nl">wolfgang.viechtbauer@maastrichtuniversity.nl</a>> a écrit :<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Dear Gladys,<br>
<br>
Along the lines of what Michael already said -- it seems like the reviewer might not be familiar with modern meta-analytic methods (like the multilevel/multivariate models we frequently discuss on this mailing list). I cannot tell you whether what you have done is fully sufficient to capture all potential sources of heterogeneity and dependency in your data, but it's a fairly standard (four-level) multilevel random-effects model that allows for correlation in multiple effects belonging to the same study and multiple studies belonging to the same article. So this does take 'pseudoreplication' into consideration.<br>
<br>
Best,<br>
Wolfgang<br>
<br>
>-----Original Message-----<br>
>From: R-sig-meta-analysis [mailto:<a href="mailto:r-sig-meta-analysis-bounces@r-project.org" target="_blank">r-sig-meta-analysis-bounces@r-project.org</a>] On<br>
>Behalf Of Gladys Barragan-Jason<br>
>Sent: Tuesday, 28 September, 2021 16:08<br>
>To: Michael Dewey<br>
>Cc: R meta<br>
>Subject: Re: [R-meta] Pseudoreplication<br>
><br>
>Dear Michael,<br>
>thanks a lot for your reply.<br>
>I have a structure like this:<br>
><br>
>Article ID.         Study ID.           Effect size.<br>
>X et al.              S1                       0.5<br>
>X et al.              S2                       0.8<br>
>Y et al.              S1                       0.2<br>
>Y et al.              S2                       0.6<br>
>Y et al.              S2                       0.2<br>
>Z et al.              S1                       0.1<br>
>Z et al.              S1                       0.5<br>
><br>
>and I use: random=~1|articleID/studyID/estID with estid <- 1:nrow(data)<br>
>Thanks,<br>
>Gladys<br>
><br>
>Le mar. 28 sept. 2021 à 15:57, Michael Dewey <<a href="mailto:lists@dewey.myzen.co.uk" target="_blank">lists@dewey.myzen.co.uk</a>> a écrit :<br>
>Dear Gladys<br>
><br>
>I think the referee may have misunderstood what you did. We may need<br>
>more details about your data structure to be absolutely sure you have<br>
>the right structure but it seems superior to the suggested rather<br>
>indirect way of going about things.<br>
><br>
>Micael<br>
><br>
>On 28/09/2021 13:06, Gladys Barragan-Jason wrote:<br>
>> Dear all,<br>
>><br>
>> I am contacting you to have your advice about a reviewer comment on a<br>
>> meta-analysis. The reviewer said that as we used multiple comparisons<br>
>> from within studies (e.g., five effect sizes from one particular paper<br>
>> comparisons), this raises the potential of pseudoreplication issue and<br>
>> he/she suggests to do the following:  recalculate the overall effect<br>
>> sizes after sampling one comparison from each separate study and<br>
>> calculate the estimated mean and 95% CI of effect size by bootstrap<br>
>> resampling 1,000 times in R.<br>
>> However, I think I've already taken into account non-independence of the<br>
>> data by including three random effects using metafor to control for<br>
>> multiple data from the same article, multiple data from same<br>
>> participants from the same study and multiple estimates within a study<br>
>> within a lab. So I coded random effect as follows:<br>
>> ~1|articleID/studyID/estID. I think this is the right way to take into<br>
>> account heterogeneity of the data but I would like to know if I am<br>
>> correct or if the pseudoreplication techniques gave something different<br>
>> and/or complementary?<br>
>> Thanks in advance for your help!<br>
>> Best,<br>
>> Gladys<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><p class="MsoNormal"><span style="font-size:12pt;font-family:Cambria,serif;color:black">------------------------------------------</span></p><p class="MsoNormal"><span style="font-size:12pt;font-family:Cambria,serif;color:black">Gladys Barragan-Jason, PhD. <u></u><u></u></span><a href="https://sites.google.com/view/gladysbarraganjason/home" style="font-family:Tahoma,sans-serif" target="_blank"> Website</a> / <a href="https://sites.google.com/view/frgladysbarragan-jason/accueil" target="_blank">Site web</a></p>
<p class="MsoNormal"><span style="font-size:12pt;font-family:Cambria,serif;color:black">Station d'Ecologie Théorique et Expérimentale (SETE)<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:12pt;font-family:Cambria,serif;color:black">CNRS de Moulis<u></u><u></u></span></p>
<div>
<p class="MsoNormal"><span style="color:black"><img border="0" width="133" height="81" style="width: 1.3854in; height: 0.8437in;" src="cid:image003.png@01D62ED8.BF1FBC30" alt="image.png"><img border="0" width="60" height="60" style="width: 0.625in; height: 0.625in;" src="cid:image004.png@01D62ED8.BF1FBC30" alt="image.png"><u></u><u></u></span></p>
</div>
<br>
<br>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:Tahoma,sans-serif"> </span></p></div></div></div></div>