<div dir="ltr">Grace,<div><br></div><div>Sorry for the delay getting back to you. Your response is helpful in clarifying the structure of your data, but I'm still not sure I follow why you need the unique effectID in the model. Are there some studies where you have multiple ES estimates for the same combination of emotion and task (e.g., two measures of dynamic anger)? </div><div><br></div><div>James </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Mar 13, 2019 at 10:37 PM Grace Hayes <<a href="mailto:grace.hayes3@myacu.edu.au">grace.hayes3@myacu.edu.au</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Thanks again James,</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
In terms of the structure of my data; emotion outcomes ('Emotion'), are nested in tasks ('StimuliType'), which are nested in studies ('StudyID).</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
The variable 'outcome' is one that I created that is a combination of the 'Emotion' and 'StimuliType' factors <span style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">(i.e., DynamicAnger, StaticAnger, StaticDisgust),
 whereas the variable 'effectID' contains an unique </span><span style="color:rgb(0,0,0);font-size:12pt;font-family:Calibri,Helvetica,sans-serif">identifier for each effect. </span></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<span style="font-family:Calibri,Helvetica,sans-serif">I created these var</span><span style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif">iables and defined the random effects as, </span><span style="font-size:12pt;font-family:Calibri,Helvetica,sans-serif;color:rgb(0,0,0)">random
 = </span><span lang="EN-US" style="font-size:12pt;font-family:Calibri,Helvetica,sans-serif;color:rgb(0,0,0)">~ 1 |
</span><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)"><span style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif"> </span></span><span style="font-size:12pt;font-family:Calibri,Helvetica,sans-serif;color:rgb(0,0,0)">studyID/outcome/effectID,
 to account for the fact that some studies produced effects with the same factor combination (i.e., the same emotion from two tasks of the same stimuli type). Therefore, effects with the same factor combination ('outcome') but different studyID were independent,
 but effects with the same factor combination ('outcome') and the same studyID were dependent.</span></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<span style="font-size:12pt;font-family:Calibri,Helvetica,sans-serif;color:rgb(0,0,0)"><br>
</span></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<span style="font-size:12pt;font-family:Calibri,Helvetica,sans-serif;color:rgb(0,0,0)">Perhaps then, to apply the inner|outer formula to my data I would need to instead use Emotion|effectID?</span></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<span style="font-size:12pt;font-family:Calibri,Helvetica,sans-serif;color:rgb(0,0,0)"><br>
</span></div>
<div style="font-size:12pt;color:rgb(0,0,0)"><font face="Calibri, Helvetica, sans-serif">Cheers,</font></div>
<div style="font-size:12pt;color:rgb(0,0,0)"><font face="Calibri, Helvetica, sans-serif">Grace</font></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div id="gmail-m_2356292279912419826signature">
<div id="gmail-m_2356292279912419826divtagdefaultwrapper" dir="ltr">
<p style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt;margin-top:0px;margin-bottom:0px">
<b style="font-size:14.6667px;color:rgb(33,0,50);font-family:Arial,sans-serif,serif,EmojiFont"><br>
</b></p>
<p style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt;margin-top:0px;margin-bottom:0px">
<b style="font-size:14.6667px;color:rgb(33,0,50);font-family:Arial,sans-serif,serif,EmojiFont">Grace Hayes</b></p>
<p class="gmail-m_2356292279912419826x_MsoNormal" style="color:rgb(33,33,33);font-family:Calibri,sans-serif;font-size:11pt;margin:0cm 0cm 0.0001pt">
<span lang="EN-GB" style="font-family:Arial,sans-serif,serif,EmojiFont;color:rgb(33,0,50)">Psychologist | Doctor of Philosophy (PhD) Candidate</span></p>
<p class="gmail-m_2356292279912419826x_MsoNormal" style="color:rgb(33,33,33);font-family:Calibri,sans-serif;font-size:11pt;margin:0cm 0cm 0.0001pt">
<span lang="EN-GB" style="font-family:Arial,sans-serif,serif,EmojiFont;color:rgb(33,0,50)">Cognition and Emotion Research Centre</span></p>
<p class="gmail-m_2356292279912419826x_MsoNormal" style="color:rgb(33,33,33);font-family:Calibri,sans-serif;font-size:11pt;margin:0cm 0cm 0.0001pt">
<span lang="EN-GB" style="font-family:Arial,sans-serif,serif,EmojiFont;color:rgb(33,0,50)">School of Behavioural and Health Sciences, Faculty of Health Sciences</span><span lang="EN-GB"></span></p>
<p class="gmail-m_2356292279912419826x_MsoNormal" style="color:rgb(33,33,33);font-family:Calibri,sans-serif;font-size:11pt;margin:0cm 0cm 0.0001pt">
<span lang="EN-GB" style="font-family:Arial,sans-serif,serif,EmojiFont;color:rgb(33,0,50)">Australian Catholic University</span><span lang="EN-GB"></span></p>
<p class="gmail-m_2356292279912419826x_MsoNormal" style="color:rgb(33,33,33);font-family:Calibri,sans-serif;font-size:11pt;margin:0cm 0cm 0.0001pt">
<span style="font-family:"Times New Roman",serif,serif,EmojiFont;font-size:11pt"><br>
</span></p>
<p class="gmail-m_2356292279912419826x_MsoNormal" style="color:rgb(33,33,33);font-family:Calibri,sans-serif;font-size:11pt;margin:0cm 0cm 0.0001pt">
<span style="font-family:"Times New Roman",serif,serif,EmojiFont;font-size:11pt"><img class="gmail-m_2356292279912419826EmojiInsert" src="cid:169a33fc7b014b7ed4a1"> </span><br>
</p>
<p class="gmail-m_2356292279912419826x_MsoNormal" style="color:rgb(33,33,33);font-family:Calibri,sans-serif;font-size:11pt;margin:0cm 0cm 0.0001pt">
<span style="font-family:Arial,sans-serif,serif,EmojiFont;color:rgb(127,127,127)"><br>
</span></p>
<p class="gmail-m_2356292279912419826x_MsoNormal" style="color:rgb(33,33,33);font-family:Calibri,sans-serif;font-size:11pt;margin:0cm 0cm 0.0001pt">
<span style="font-family:Arial,sans-serif,serif,EmojiFont;color:rgb(127,127,127)">Level 3, Mary Glowrey Building,</span></p>
<p class="gmail-m_2356292279912419826x_MsoNormal" style="font-family:Calibri,sans-serif;font-size:11pt;margin:0cm 0cm 0.0001pt">
<span style="color:rgb(127,127,127);font-family:Arial,sans-serif,serif,EmojiFont">115 Victoria Parade, Fitzroy, VIC 3065<br>
<b>T:</b><span style="background-color:rgb(255,255,255)"> +61 3 9230 8131</span></span><span style="color:black;font-size:10pt;font-family:Arial,sans-serif,serif,EmojiFont"><br>
</span><b style="color:rgb(33,33,33)"><span style="font-family:Arial,sans-serif,serif,EmojiFont;color:rgb(127,127,127);background-color:rgb(255,255,255)">E</span></b><b style="color:rgb(33,33,33)"><span style="font-size:10pt;font-family:Arial,sans-serif,serif,EmojiFont;color:rgb(127,127,127);background-color:rgb(255,255,255)">:</span></b><span style="color:black;font-size:10pt;font-family:Arial,sans-serif,serif,EmojiFont;background-color:rgb(255,255,255)"> </span><span style="font-size:10pt;font-family:Arial,sans-serif,serif,EmojiFont;background-color:rgb(255,238,148)"><font color="#0000ff"><span style="background-color:rgb(255,255,255);font-size:11pt"><a href="mailto:grace.hayes3@myacu.edu.au" target="_blank">grace.hayes3@myacu.edu.au</a></span></font></span><span style="color:black;font-family:Arial,sans-serif,serif,EmojiFont"><br>
</span><b style="color:rgb(33,33,33)"><span style="font-family:Arial,sans-serif,serif,EmojiFont;color:rgb(127,127,127);background-color:rgb(255,255,255)">W:</span></b><span style="color:black;font-family:Arial,sans-serif,serif,EmojiFont;background-color:rgb(255,255,255)"> </span><span lang="EN-US" style="color:rgb(33,33,33)"><a href="http://ccaer.acu.edu.au/" rel="noopener noreferrer" target="_blank"><span lang="EN-GB" style="font-family:Arial,sans-serif,serif,EmojiFont;color:blue;background-color:rgb(255,255,255)">http://ccaer.acu.<span style="font-size:11pt">edu.au/</span></span></a></span><span lang="EN-GB" style="font-family:Arial,sans-serif,serif,EmojiFont;color:rgb(102,95,85)"></span></p>
<p class="gmail-m_2356292279912419826x_MsoNormal" style="color:rgb(33,33,33);font-family:Calibri,sans-serif;font-size:11pt;margin:0cm 0cm 0.0001pt">
 </p>
<br>
<p style="margin-top:0px;margin-bottom:0px;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt">
</p>
<p style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt;margin-top:0px;margin-bottom:0px">
<span style="color:rgb(114,50,173)"><span style="color:rgb(0,0,0)"></span></span></p>
<p style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt;margin-top:0px;margin-bottom:0px">
<b><span style="color:rgb(114,50,173)"><span style="color:rgb(0,0,0)"><br>
</span></span></b></p>
</div>
</div>
<div id="gmail-m_2356292279912419826appendonsend"></div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_2356292279912419826divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> James Pustejovsky <<a href="mailto:jepusto@gmail.com" target="_blank">jepusto@gmail.com</a>><br>
<b>Sent:</b> Thursday, 14 March 2019 2:21 AM<br>
<b>To:</b> Grace Hayes<br>
<b>Cc:</b> <a href="mailto:r-sig-meta-analysis@r-project.org" target="_blank">r-sig-meta-analysis@r-project.org</a><br>
<b>Subject:</b> Re: [R-meta] Dependent Measure Modelling Question</font>
<div> </div>
</div>
<div>
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">Grace,
<div><br>
</div>
<div>To your first question, yes it is possible to use Wald_test to do "robust" anovas for comparing factor level combinations. The interface works similarly to anova(), but the constraints have to be provided in the form of a matrix. Here is an example based
 on Wolfgang's tutorial:</div>
<div><br>
</div>
<div>
<div>library(metafor)</div>
<div>dat <- dat.raudenbush1985</div>
<div>dat$weeks <- cut(dat$weeks, breaks=c(0,1,10,100), labels=c("none","some","high"), right=FALSE)</div>
<div>dat$tester <- relevel(factor(dat$tester), ref="blind")</div>
</div>
<div>
<div>res.i2 <- rma(yi, vi, mods = ~ weeks:tester - 1, data=dat)</div>
</div>
<div><br>
</div>
<div>
<div># ANOVA with model-based variances</div>
<div>anova(res.i2, L=c(0,1,-1,0,0,0))</div>
<div>linearHypothesis(res.i2, c("weekssome:testerblind - weekshigh:testerblind = 0"))</div>
<div>anova(res.i2, L=c(0,0,0,0,1,-1))</div>
<div>linearHypothesis(res.i2, c("weekssome:testeraware - weekshigh:testeraware = 0"))</div>
<div><br>
</div>
<div># Wald tests with RVE</div>
<div>library(clubSandwich)</div>
<div><br>
</div>
<div># some vs. high, test = blind</div>
<div>Wald_test(res.i2, constraints = matrix(c(0,1,-1,0,0,0), nrow = 1), </div>
<div>          vcov = "CR2", cluster = dat$author)</div>
<div><br>
</div>
<div># some vs. high, test = aware</div>
<div>Wald_test(res.i2, constraints = matrix(c(0,0,0,0,1,-1), nrow = 1), </div>
<div>          vcov = "CR2", cluster = dat$author)</div>
</div>
<div><br>
</div>
<div>To your second question about models that allow for differing levels of heterogeneity, this tutorial from the metafor site discusses it a bit: </div>
<div><a href="http://www.metafor-project.org/doku.php/tips:comp_two_independent_estimates?s[]=inner&s[]=outer" target="_blank">http://www.metafor-project.org/doku.php/tips:comp_two_independent_estimates?s[]=inner&s[]=outer</a><br>
</div>
<div><br>
</div>
<div>For your model, I think the syntax might be something along the lines of the following:</div>
<div>
<pre style="white-space:pre-wrap;color:rgb(0,0,0);margin:0cm 0cm 0.0001pt;font-size:10pt;font-family:"Courier New";background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial;word-break:break-all"><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)">StimulibyEmotion <- </span></pre>
<pre style="white-space:pre-wrap;color:rgb(0,0,0);margin:0cm 0cm 0.0001pt;font-size:10pt;font-family:"Courier New";background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial;word-break:break-all"><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)">  <a href="http://rma.mv/" target="_blank">rma.mv</a>(yi, vi, mods = ~ StimuliType:Emotion -1, </span></pre>
<pre style="white-space:pre-wrap;color:rgb(0,0,0);margin:0cm 0cm 0.0001pt;font-size:10pt;font-family:"Courier New";background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial;word-break:break-all"><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)">         random = list(~ 1 |</span><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)"><span style="font-size:12pt"> </span></span><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)">studyID, ~ Emotion | outcome, ~ 1 | effectID), </span></pre>
<pre style="white-space:pre-wrap;color:rgb(0,0,0);margin:0cm 0cm 0.0001pt;font-size:10pt;font-family:"Courier New";background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial;word-break:break-all"><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)">         struct = "UN",</span></pre>
<pre style="white-space:pre-wrap;color:rgb(0,0,0);margin:0cm 0cm 0.0001pt;font-size:10pt;font-family:"Courier New";background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial;word-break:break-all">           <span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)">tdist = TRUE, data=dat)</span></pre>
<pre style="white-space:pre-wrap;color:rgb(0,0,0);margin:0cm 0cm 0.0001pt;font-size:10pt;font-family:"Courier New";background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial;word-break:break-all"><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)"><br></span></pre>
</div>
<div>This model allows for varying levels of outcome-level heterogeneity, depending on the emotion being assessed. The struct = "UN" argument controls the assumption made about how the random effects for each emotion co-vary within levels of an outcome. Just
 for sake of illustration, I've assumed that the between-study heterogeneity is constant (~ 1 | studyID) and the effect-level heterogeneity is also constant (~ 1 | effectID). I'm not at all sure that this is the best (or even really an appropriate) model. To
 get a sense of that, I think we'd need to know more about the structure of your data, what's nested in what, and the distinction between outcome and effectID. </div>
<div><br>
</div>
<div>Cheers,</div>
<div>James</div>
</div>
</div>
</div>
</div>
</div>
<br>
<div class="gmail-m_2356292279912419826x_gmail_quote">
<div dir="ltr" class="gmail-m_2356292279912419826x_gmail_attr">On Mon, Mar 11, 2019 at 11:03 PM Grace Hayes <<a href="mailto:grace.hayes3@myacu.edu.au" target="_blank">grace.hayes3@myacu.edu.au</a>> wrote:<br>
</div>
<blockquote class="gmail-m_2356292279912419826x_gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div dir="ltr">
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-size:12pt;line-height:normal">Dear James,</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-size:12pt;line-height:normal">Thank you for your response to my previous query. Yes, the effect size estimates are statistically dependent. Therefore, as per your recommendation, I have read over a few tutorials that cover multivariate
 meta-analysis and robust variances estimations. Specifically, the one that you wrote about using club sandwich to run co-efficient tests followed by Wald-tests. This article was most helpful! I have a follow up question regards the use of the Wald-test, which
 I have outlined below.</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-size:12pt;line-height:normal">My three potential moderators are: task_design (two levels), Emotion (6 levels) and StimuliType (5 levels). To test the moderating effect of each of these variables I ran the following:</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-family:Courier;color:rgb(112,173,71);font-size:12pt;line-height:normal">allModerator <-
<a href="http://rma.mv" target="_blank">rma.mv</a>( yi, vi, mods = ~ task_design + Emotion + StimuliType, random = ~ 1 |
</span><span lang="EN-US" style="font-family:Courier;color:rgb(112,173,71)"><span style="font-size:12pt;line-height:normal"> </span></span><span lang="EN-US" style="font-family:Courier;color:rgb(112,173,71);font-size:12pt;line-height:normal">studyID/outcome/effectID,
 tdist = TRUE, data = dat)</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-family:Courier;color:rgb(112,173,71);font-size:12pt;line-height:normal">coef_test(allModerator, vcov = "CR2")</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-family:Courier;color:black;font-size:12pt;line-height:normal">#NUMBER OF EMOTIONS</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-family:Courier;color:rgb(112,173,71);font-size:12pt;line-height:normal">Wald_test(allModerator, constraints = 2, vcov = "CR2")</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-family:Courier;color:black;font-size:12pt;line-height:normal">#EMOTIONTYPE</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-family:Courier;color:rgb(112,173,71);font-size:12pt;line-height:normal">Wald_test(allModerator, constraints = 3:7, vcov = "CR2")</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-family:Courier;color:black;font-size:12pt;line-height:normal">#STIMULITYPE</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-family:Courier;color:rgb(112,173,71);font-size:12pt;line-height:normal">Wald_test(allModerator, constraints = 8:11, vcov = "CR2")</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-size:12pt;line-height:normal">The constraints for each Wald test match the coefficients related to each moderator, so I believe these tested for the significance of each moderator while adjusting for the other two moderating
 variables. However, I was also interested in variance across the estimated average effect produced by each stimuli format for each emotion. I followed the below guide by Wolfgang Viechtbauer, that showed how to parameterize the model to provide the estimated
 average effect for each factor level combinations.</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US"><a href="http://www.metafor-project.org/doku.php/tips:multiple_factors_interactions" target="_blank"><span style="font-size:12pt;line-height:normal">http://www.metafor-project.org/doku.php/tips:multiple_factors_interactions</span></a></span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-size:12pt;line-height:normal">My model was:</span></p>
<pre style="margin:0cm 0cm 0.0001pt;font-size:10pt;font-family:"Courier New";background:white;word-break:break-all"><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)">StimulibyEmotion <- <a href="http://rma.mv" target="_blank">rma.mv</a>(yi, vi, mods = ~ StimuliType:Emotion -1, random = ~ 1 |</span><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)"><span style="font-size:12pt">  </span></span><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)">studyID/outcome/effectID, tdist = TRUE, data=dat)</span></pre>
<pre style="margin:0cm 0cm 0.0001pt;font-size:10pt;font-family:"Courier New";background:white;word-break:break-all"><span style="font-size:12pt;font-family:Courier;color:rgb(112,173,71)"></span></pre>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-family:Courier;color:rgb(112,173,71);font-size:12pt;line-height:normal">coef_test(StimulibyEmotion, vcov = "CR2")</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-size:12pt;line-height:normal">Wolfgang then uses anovas to test factor level combination against each other. Can I use the Wald test to do this to my robust variance estimations?</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-size:12pt;line-height:normal">Also, would it be possible for you to please elaborate on what you meant by
</span><span lang="EN-US" style="font-size:12pt;line-height:normal">"</span><span lang="EN-US"><span style="color:rgb(33,33,33);font-size:12pt;background-color:rgb(255,255,255);line-height:normal;display:inline">a model that allows for different heterogeneity
 levels for each emotion", or provide a link to an article demonstrating this? As a first time used of R and metafor, I wasn't sure how to go about this.</span></span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-size:12pt;line-height:normal">Many thanks,</span></p>
<p style="margin:0cm 0cm 8pt;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif">
<span lang="EN-US" style="font-size:12pt;line-height:normal">Grace</span></p>
</div>
<div id="gmail-m_2356292279912419826x_gmail-m_-3742231339453418061signature">
<div id="gmail-m_2356292279912419826x_gmail-m_-3742231339453418061divtagdefaultwrapper" dir="ltr"><br>
<p style="margin-top:0px;margin-bottom:0px;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt">
</p>
<p style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt;margin-top:0px;margin-bottom:0px">
<span style="color:rgb(114,50,173)"><span style="color:rgb(0,0,0)"></span></span></p>
<p style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt;margin-top:0px;margin-bottom:0px">
<b><span style="color:rgb(114,50,173)"><span style="color:rgb(0,0,0)"><br>
</span></span></b></p>
</div>
</div>
<div id="gmail-m_2356292279912419826x_gmail-m_-3742231339453418061appendonsend"></div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_2356292279912419826x_gmail-m_-3742231339453418061divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" color="#000000" style="font-size:11pt"><b>From:</b> James Pustejovsky <<a href="mailto:jepusto@gmail.com" target="_blank">jepusto@gmail.com</a>><br>
<b>Sent:</b> Tuesday, 12 February 2019 1:37 PM<br>
<b>To:</b> Grace Hayes<br>
<b>Cc:</b> <a href="mailto:r-sig-meta-analysis@r-project.org" target="_blank">r-sig-meta-analysis@r-project.org</a><br>
<b>Subject:</b> Re: [R-meta] Dependent Measure Modelling Question</font>
<div> </div>
</div>
<div>
<div dir="ltr">Grace,
<div><br>
</div>
<div>It sounds like the data that you're describing has two factors, emotion type and task type, and that both are within-study factors (in other words, a given study might report results for multiple emotion types and/or multiple task types). Are the emotion
 types and task types also measured within-participant, such that a given participant in a study gets assessed with multiple task types, on multiple emotion types, or both? If so, then one challenge in analyzing this data structure is that the effect size estimates
 will be statistically dependent. There are several ways to handle this (multivariate meta-analysis, robust variance estimation), which we've discussed in many previous posts on the listserv. </div>
<div><br>
</div>
<div>Other than this issue, it sounds to me like it would be possible to  analyze both factors---emotion type and task type---together in one big model. The major advantage of doing so is that the joint model would let you examine differences in emotion types
 *while controlling for task types*, as well as examining differences in task types *while controlling for emotion types*. Controlling for the other factor (and maybe other covariates that are associated with effect size magnitude) should provide clearer, more
 interpretable results for differences on a given factor. There is also evidence that using a multivariate meta-analysis model can potentially mitigate outcome reporting bias to some extent (see Kirkham, Riley, & Williamson, 2012; Hwang & Desantis, 2018).</div>
<div><br>
</div>
<div>A further advantage of using one big model is that it would let you adjust for other potential moderators that might have similar associations for each emotion type and each task type. If you conduct separate analyses for each emotion type (for example),
 you would have to analyze these moderators separately, so you'd end up with 6 sets of moderator analyses instead of just one. </div>
<div><br>
</div>
<div>The main challenge in the "one big meta-analysis model" approach is that it requires careful checking of the model's assumptions. For example, you would need to assess whether the between-study heterogeneity is similar across the six emotion types and,
 if not, fit a model that allows for different heterogeneity levels for each emotion. </div>
<div><br>
</div>
<div>James</div>
<div><br>
</div>
<div><br>
</div>
<div><span style="font-family:Arial,sans-serif;font-size:13px">Hwang, H., & DeSantis, S. M. (2018). Multivariate network meta‐analysis to mitigate the effects of outcome reporting bias. </span><i style="font-family:Arial,sans-serif;font-size:13px">Statistics
 in medicine</i><span style="font-family:Arial,sans-serif;font-size:13px">.</span> </div>
<div> <br>
</div>
<div><span style="font-family:Arial,sans-serif;font-size:13px">Kirkham, J. J., Riley, R. D., & Williamson, P. R. (2012). A multivariate meta‐analysis approach for reducing the impact of outcome reporting bias in systematic reviews. </span><i style="font-family:Arial,sans-serif;font-size:13px">Statistics
 in medicine</i><span style="font-family:Arial,sans-serif;font-size:13px">, </span><i style="font-family:Arial,sans-serif;font-size:13px">31</i><span style="font-family:Arial,sans-serif;font-size:13px">(20), 2179-2195.</span>  <br>
</div>
</div>
<br>
<div class="gmail-m_2356292279912419826x_gmail-m_-3742231339453418061x_gmail_quote">
<div dir="ltr" class="gmail-m_2356292279912419826x_gmail-m_-3742231339453418061x_gmail_attr">On Mon, Feb 11, 2019 at 3:16 AM Grace Hayes <<a href="mailto:grace.hayes3@myacu.edu.au" target="_blank">grace.hayes3@myacu.edu.au</a>> wrote:<br>
</div>
<blockquote class="gmail-m_2356292279912419826x_gmail-m_-3742231339453418061x_gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Hi all,<br>
<br>
<br>
I have a question regarding a meta-analysis of multiple dependent outcomes that I would like to conduct using metafor.<br>
<br>
<br>
For this meta-analysis of emotion recognition in ageing, I'm interested in age-effects (young adults vs. older adults) on four different emotion recognition tasks (Task A, Task B, Task C, Task D). Studies in this area typically compare older adults' performance
 to younger adults' performance on more than one of these emotion recognition task.<br>
<br>
<br>
For each task there are also multiple outcomes.  Each task produces an accuracy age-effect for each emotion type included (I.e., anger, sadness, fear). Up to 6 different emotions are included (Emotion 1, Emotion 2, Emotion 3, Emotion 4, Emotion 5, Emotion 6).
 I therefore have some studies with, for example, 6 different age-effects from 3 different emotions tasks; a total of 18 dependent outcomes.<br>
<br>
<br>
Ideally I would like to investigate age-effects for each of the six emotion types seperately (with Tasks A, B, C and D combined), and age-effects for each task type seperately (with Emotions 1-6 combined). I would then like to compare the effects for each emotion
 type (Emotions 1-6 separately) produced by each task  (Measure A, B, C, D separately).<br>
<br>
<br>
My question is, can I have a model that analyses emotion type and task type all together? Is this possible and statistically appropriate? Will it tell me the age-effects produced for each emotion by each task, or will it only tell me if task type and emotion
 type are significant moderators?<br>
<br>
<br>
I am also interested to know if I can add additional moderators such as number of emotions included in the task and year of publication?<br>
<br>
<br>
One concern that has been brought to my attention is overfitting from too many factors. Another is that output would be difficult too interpret, and thus it has been recommended that I perhaps run separately analyses for each task.<br>
<br>
<br>
Any advice would be much appreciated.<br>
<br>
<br>
Sincerely,<br>
<br>
Grace Hayes<br>
<br>
        [[alternative HTML version deleted]]<br>
<br>
_______________________________________________<br>
R-sig-meta-analysis mailing list<br>
<a href="mailto:R-sig-meta-analysis@r-project.org" target="_blank">R-sig-meta-analysis@r-project.org</a><br>
<a href="https://stat.ethz.ch/mailman/listinfo/r-sig-meta-analysis" rel="noreferrer" target="_blank">https://stat.ethz.ch/mailman/listinfo/r-sig-meta-analysis</a><br>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>

</blockquote></div>