<div dir="ltr">Dear James, <div>thank you for quick response ! </div><div><br></div><div>Here is my response: </div><div><i>1.  Measurement properties: what is proline concentration? Is it measured on a ratio scale, such that ROM is a sensible way to describe change (over time or as a result of intervention)? If you provide a bit more detail about what the outcome is (for us social scientists on the listserv), then perhaps others will be able to weigh in also. </i></div><div>Response: Proline concentration is measure as some value not ratio (e.g. mmol g-1 DM). For example in the control group and experimental group (drought stress) I have some proline value in plant tissue.  In this research, we want to check the overall effect of drought stress on proline concentration, and how the duration of drought (in days) affected proline concentration. Moreover, proline concentration, not a significant change in well water treatment during the time. So in the publication, they give the value not the ratio of change proline during the duration of drought. So, when in one publication authors provide results for proline concentration during the duration of drought (e.g. control, 1-day drought, 7 days drought and 14 days drought, the effect size I calculate based on control group compared with the drought day group, the effect size for 1 day is calculated based on control (mean/SD/n) vs. 1 day (mean/SD/n); effect size for 7 days is control vs. 7 days; effect size for 14 days is control vs. 14 days.</div><div><br></div><div>2. <i>Theory: Is there any relevant botanical theory that would indicate how drought stress should be related to proline concentration? </i><br></div>Response: The phenomenon of proline accumulation in plant tissue is known to occur under environmental stress water deficit, salinity, low temperature, etc. So the effect should be also positive on proline concentration activate by some stressor. However, there are no studies showing how strong this effect is for e.g. the type of plants, duration of drought, or seed size. We know that in most studies water stress has a positive effect on proline concentration.<div><br><div>3. <i>Empirical features: It can be helpful to create scatterplots showing the relationship between the M and the SD of the outcome in each group and between the Ms in different comparison groups. If the outcomes are on drastically different scales, then the plots can be created within subgroups that use the same or similar measurement instruments. If the SD of the outcome is strongly related to the M, then I would take this as an indication that ROM might be more appropriate than SMD.</i><br></div></div><div>Response: I attach the graph, I hope I understood correctly. Fig. 1 is a scatter plot of mean and SD for each group control and experiment. Fig. 2 is a scatter plot for effect size (yi) to vi in both cases ROM and SMD. </div><div><br></div><div><i>4) Heterogeneity: Which model has less unexplained variability (as measured by I^2, for instance)? All else equal, I would prefer the effect size metric where the meta-analytic model has greater explanatory power. From what you've said, it sounds like the ROM would win out here due to fewer outliers and no apparent funnel plot asymmetry.</i><br></div><div>Response:</div><div>res0 <- rma(yi, vi,method="REML",data=hedges) - ROM<i><br></i></div><div>For ROM - I^2 equal 99.76%; effect size 0.6715</div><div><br></div><div>res0 <- rma(yi, vi,method="REML",data=hedges2) - SMD<br></div><div>For SMD - I^2 equal 99.23%; effect size 7.6561</div><div><br></div><div>Thank you for help ! </div><div><br></div><div>Best</div><div><br></div><div>Lukasz</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">pon., 12 lip 2021 o 16:10 James Pustejovsky <<a href="mailto:jepusto@gmail.com">jepusto@gmail.com</a>> napisał(a):<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Lukas,<div><br></div><div>I think there are (at least) four relevant considerations here:</div><div>1) Measurement properties: what is proline concentration? Is it measured on a ratio scale, such that ROM is a sensible way to describe change (over time or as a result of intervention)? If you provide a bit more detail about what the outcome is (for us social scientists on the listserv), then perhaps others will be able to weigh in also. </div><div>2) Theory: Is there any relevant botanical theory that would indicate how drought stress should be related to proline concentration? </div><div>3) Empirical features: It can be helpful to create scatterplots showing the relationship between the M and the SD of the outcome in each group and between the Ms in different comparison groups. If the outcomes are on drastically different scales, then the plots can be created within subgroups that use the same or similar measurement instruments. If the SD of the outcome is strongly related to the M, then I would take this as an indication that ROM might be more appropriate than SMD.</div><div>4) Heterogeneity: Which model has less unexplained variability (as measured by I^2, for instance)? All else equal, I would prefer the effect size metric where the meta-analytic model has greater explanatory power. From what you've said, it sounds like the ROM would win out here due to fewer outliers and no apparent funnel plot asymmetry.</div><div><br></div><div>I've listed these considerations in what I would consider to be decreasing order of priority (1st being essential, 2nd being important, 3rd and 4th being matters of judgement). Others might have different perspectives, though.</div><div><br></div><div>Kind Regards,</div><div>James</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jul 12, 2021 at 5:43 AM Lukas Dylewski <<a href="mailto:dylewski91@gmail.com" target="_blank">dylewski91@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Dear All, <div><br></div><div>I conducted a mixed meta-regression model to check the effect of drought stress on proline concentration in leaves. In the model, I include the following moderators: duration of drought (in the day), seed mass, and plant type (coniferous vs. deciduous). The duration of the drought affects the proline content, therefore it was included in the model.</div><div><br></div><div>When I calculate Hedge g (measure=SMD) values I got very big values for some records (e.g. 100, 50, etc.) and publication bias. However, when I calculate effect size using ROM I got very nice numbers without publication bias. </div><div><br></div><div>My first question: Can I use the ROM method for my dataset (I attach the database: proline) or should I use the SMD? </div><div><br></div><div>This is my code (with ROM measure)</div><div><br></div><div>z<-proline<br></div><div>z$logmass<-log(z$<a href="http://seed.mass.mg" target="_blank">seed.mass.mg</a>+1)<br></div><div>hedges<-escalc(measure="ROM",data=z,append=T,m1i=experiment,n1i=n.experiment,sd1i=sd.experiment,m2i=control,n2i=n.control,sd2i=sd.control)<br>hedges<br></div><div><br></div><div>res1 <- <a href="http://rma.mv" target="_blank">rma.mv</a>(yi, vi, mods = ~ logmass + I(logmass^2)+ factor(plant.type) + drougth.day + I(drougth.day^2), random=~1|references,data=hedges, method="REML")<br></div><div><br></div><div>After the model summary, I would like to calculate the mean effect size for the plant type (coniferous and deciduous separately). Does this code correct?</div><div><br></div><div>m <- mean(hedges$logmass)<br>n <- mean(hedges$drougth.day)<br><br>For conifeorus:<br>predict(res1, newmods = c(m, m^2, 0,n,n^2))<br><br>For deciduous:<br>predict(res1, newmods = c(m, m^2, 1,n,n^2))<br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><div style="font-size:12.8px">Łukasz Dylewski, PhD.<br></div></div><div style="font-size:12.8px"><p class="MsoNormal" align="left" style="text-indent:0cm;line-height:200%"><span lang="EN-US">Institute of Dendrology, </span></p><p class="MsoNormal" align="left" style="text-indent:0cm;line-height:200%"><span lang="EN-US">Polish Academy of Sciences,<br></span></p><p class="MsoNormal" align="left" style="text-indent:0cm;line-height:200%"><span lang="EN-US">Parkowa 5, 62-035
Kórnik, Poland</span></p></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
_______________________________________________<br>
R-sig-meta-analysis mailing list<br>
<a href="mailto:R-sig-meta-analysis@r-project.org" target="_blank">R-sig-meta-analysis@r-project.org</a><br>
<a href="https://stat.ethz.ch/mailman/listinfo/r-sig-meta-analysis" rel="noreferrer" target="_blank">https://stat.ethz.ch/mailman/listinfo/r-sig-meta-analysis</a><br>
</blockquote></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><div style="font-size:12.8px">Łukasz Dylewski, PhD.<br></div></div><div style="font-size:12.8px"><p class="MsoNormal" align="left" style="text-indent:0cm;line-height:200%"><span lang="EN-US">Institute of Dendrology, </span></p><p class="MsoNormal" align="left" style="text-indent:0cm;line-height:200%"><span lang="EN-US">Polish Academy of Sciences,<br></span></p><p class="MsoNormal" align="left" style="text-indent:0cm;line-height:200%"><span lang="EN-US">Parkowa 5, 62-035
Kórnik, Poland</span></p></div></div></div></div></div></div></div></div></div></div></div></div>