<div dir="ltr">Dear Wolfgang,<div><br><div>Following Simon's question, I am also comparing the efficiency of programs (pre-post comparisons).</div><div>For some of them, I do have several effect sizes for one study and one lab. So I was using the following code to account for it.</div><div><br>res.ExpNC<-<a href="http://rma.mv">rma.mv</a>(yi, vi, mods= ~ categ , random=list( ~1|study,~1|lab),data=dat2)<br></div><div><br></div><div>But I am now wondering whether I should do this instead:</div><div><br></div><div>dat2$estid <- 1:nrow(dat2)<br></div><div><div>res.ExpNC<-<a href="http://rma.mv">rma.mv</a>(yi, vi, mods= ~ categ , random=list( ~1|study/estid,~1|lab/estid),data=dat2)<br></div><div><br></div><div>What do you think?</div><div><br></div><div>Thanks a lot for your response,</div><div><br></div><div>Gladys</div><div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Le mar. 16 mars 2021 à 11:28, Viechtbauer, Wolfgang (SP) <<a href="mailto:wolfgang.viechtbauer@maastrichtuniversity.nl">wolfgang.viechtbauer@maastrichtuniversity.nl</a>> a écrit :<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Dear Simon,<br>
<br>
At the very least, you should add random effects at the level of the studies and at the level of the estimates, so:<br>
<br>
dat$estid <- 1:nrow(dat)<br>
<br>
and then<br>
<br>
random = ~ 1 | id / estid<br>
<br>
For longitudinal data, one could also consider using some kind of autocorrelation structure for the estimates within studies. There are some examples here:<br>
<br>
<a href="https://wviechtb.github.io/metafor/reference/dat.ishak2007.html" rel="noreferrer" target="_blank">https://wviechtb.github.io/metafor/reference/dat.ishak2007.html</a><br>
<a href="https://wviechtb.github.io/metafor/reference/dat.fine1993.html" rel="noreferrer" target="_blank">https://wviechtb.github.io/metafor/reference/dat.fine1993.html</a><br>
<br>
clubSandwich::impute_covariance_matrix() also allows for the construction of a V matrix with an autocorrelation structure.<br>
<br>
If the different outcomes are meaningfully related across studies (i.e., outcome '1' stands for the same thing across all studies), then one could also consider using an unstructured var-cov matrix with correlated random effects for outcomes within studies. This would be akin to:<br>
<br>
<a href="https://www.metafor-project.org/doku.php/analyses:berkey1998" rel="noreferrer" target="_blank">https://www.metafor-project.org/doku.php/analyses:berkey1998</a><br>
<br>
Best,<br>
Wolfgang<br>
<br>
>-----Original Message-----<br>
>From: Simon Harmel [mailto:<a href="mailto:sim.harmel@gmail.com" target="_blank">sim.harmel@gmail.com</a>]<br>
>Sent: Monday, 15 March, 2021 17:31<br>
>To: Viechtbauer, Wolfgang (SP)<br>
>Cc: R meta<br>
>Subject: Re: [R-meta] Multivariate meta-analysis when "some studies" are multi-<br>
>outcome<br>
><br>
>Dear Prof. Viechtbauer,<br>
><br>
>Many thanks for your response. I found the following particularly helpful<br>
>(<a href="https://stat.ethz.ch/pipermail/r-sig-meta-analysis/2019-March/001484.html" rel="noreferrer" target="_blank">https://stat.ethz.ch/pipermail/r-sig-meta-analysis/2019-March/001484.html</a>).<br>
><br>
>So, I went from my initial model: `<a href="http://rma.mv" rel="noreferrer" target="_blank">rma.mv</a>(d, V = SE^2, mods = ~factor(outcome)-1,<br>
>random= ~1|id, data = dat)`<br>
>to now:<br>
><br>
>`V <- clubSandwich::impute_covariance_matrix(vi = dat$SE^2, cluster = dat$id, r =<br>
>0.7)`<br>
>`<a href="http://rma.mv" rel="noreferrer" target="_blank">rma.mv</a>(d, V = V, mods = ~factor(outcome)-1, random= ~1|id, data = dat)`<br>
><br>
>However, what type of dependence is accounted for by the multilevel part (i.e.,<br>
>`random= ~1|id`), and what type of dependence is accounted for by including the<br>
>imputed variance-covariance matrix?<br>
><br>
>Specifically, in my data, all primary studies (n=52) are longitudinal, 15 of them<br>
>are multi-outcome, and almost all are multi-group treatments. Are all of these<br>
>types of dependence reasonably accounted for?<br>
><br>
>Many thanks for your consideration,<br>
>Simon<br>
><br>
>On Mon, Mar 15, 2021 at 6:54 AM Viechtbauer, Wolfgang (SP)<br>
><<a href="mailto:wolfgang.viechtbauer@maastrichtuniversity.nl" target="_blank">wolfgang.viechtbauer@maastrichtuniversity.nl</a>> wrote:<br>
>Hi Simon,<br>
><br>
>I would suggest to search/browse the archives, as this kind of question has been<br>
>discussed at various points in the past. The archives can be found here:<br>
><br>
><a href="https://stat.ethz.ch/pipermail/r-sig-meta-analysis/" rel="noreferrer" target="_blank">https://stat.ethz.ch/pipermail/r-sig-meta-analysis/</a><br>
><br>
>There is no built-in search functionality for the archives, but one can restrict<br>
>search engines to conduct searches at particular sites. For example, if you do a<br>
>google search including<br>
><br>
>site:<a href="https://stat.ethz.ch/pipermail/r-sig-meta-analysis/" rel="noreferrer" target="_blank">https://stat.ethz.ch/pipermail/r-sig-meta-analysis/</a><br>
><br>
>you should only get 'hits' from the mailing list archives. The same should work<br>
>with DuckDuckGo. Note sure about other engines.<br>
><br>
>Note that search engines index the archives at semi-regular intervals, so the most<br>
>recent posts will not show up this way, but those can be searched manually.<br>
><br>
>Best,<br>
>Wolfgang<br>
><br>
>>-----Original Message-----<br>
>>From: R-sig-meta-analysis [mailto:<a href="mailto:r-sig-meta-analysis-bounces@r-project.org" target="_blank">r-sig-meta-analysis-bounces@r-project.org</a>] On<br>
>>Behalf Of Simon Harmel<br>
>>Sent: Saturday, 13 March, 2021 23:53<br>
>>To: R meta<br>
>>Subject: [R-meta] Multivariate meta-analysis when "some studies" are multi-<br>
>outcome<br>
>><br>
>>Dear All,<br>
>><br>
>>I'm conducting a meta-analysis where 15 out of 52 studies have used more<br>
>>than one outcome variable. In addition, almost all studies include multiple<br>
>>treatments.<br>
>><br>
>>A shortened version (i.e., without moderators) of our dataset appears below<br>
>>(`*id`=study id; `d`=effect size; `SE` = standard error; `outcome`=outcome<br>
>>variable index*).<br>
>><br>
>>I was wondering what would be the appropriate modeling options for such a<br>
>>situation?<br>
>><br>
>>I appreciate your expertise and consideration,<br>
>>Simon<br>
>><br>
>>*#-- R data and code:*<br>
>>dat <- read.csv("<a href="https://raw.githubusercontent.com/hkil/m/master/tst.csv" rel="noreferrer" target="_blank">https://raw.githubusercontent.com/hkil/m/master/tst.csv</a>")<br>
>><br>
>>library(metafor)<br>
>><a href="http://rma.mv" rel="noreferrer" target="_blank">rma.mv</a>(d, V = SE^2, mods = ~factor(outcome)-1, random= ~1|id, data = dat)<br>
>>## I'm assuming this would be an insufficient model<br>
_______________________________________________<br>
R-sig-meta-analysis mailing list<br>
<a href="mailto:R-sig-meta-analysis@r-project.org" target="_blank">R-sig-meta-analysis@r-project.org</a><br>
<a href="https://stat.ethz.ch/mailman/listinfo/r-sig-meta-analysis" rel="noreferrer" target="_blank">https://stat.ethz.ch/mailman/listinfo/r-sig-meta-analysis</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><p class="MsoNormal"><span style="font-size:12pt;font-family:Cambria,serif;color:black">------------------------------------------</span></p><p class="MsoNormal"><span style="font-size:12pt;font-family:Cambria,serif;color:black">Gladys Barragan-Jason, PhD. <u></u><u></u></span><a href="https://sites.google.com/view/gladysbarraganjason/home" style="font-family:Tahoma,sans-serif" target="_blank"> Website</a></p>
<p class="MsoNormal"><span style="font-size:12pt;font-family:Cambria,serif;color:black">Station d'Ecologie Théorique et Expérimentale (SETE)<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:12pt;font-family:Cambria,serif;color:black">CNRS de Moulis<u></u><u></u></span></p>
<div>
<p class="MsoNormal"><span style="color:black"><img border="0" width="133" height="81" style="width: 1.3854in; height: 0.8437in;" src="cid:image003.png@01D62ED8.BF1FBC30" alt="image.png"><img border="0" width="60" height="60" style="width: 0.625in; height: 0.625in;" src="cid:image004.png@01D62ED8.BF1FBC30" alt="image.png"><u></u><u></u></span></p>
</div>
<br>
<br>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:Tahoma,sans-serif"> </span></p></div></div></div></div>