缓解争端起源于由多个不整合系统评价和荟萃分析:方法学家的调查和临床医生
利维亚Puljak
1
*,
埃琳娜Parmelli2,马特奥Capobussi3,Marien Gonzalez-Lorenzo4,
亚历山德罗Squizzato
5,
洛伦佐泥熔岩
3和
尼可莱塔莉娃
6
- 1循证医学和卫生保健中心的天主教大学的克罗地亚,克罗地亚的萨格勒布
- 2流行病学、拉齐奥Region-ASL罗马1,意大利罗马
- 3大学生物医学科学系的卫生米兰,米兰,意大利
- 4实验室的临床研究方法,史di Ricerche Farmacologiche马里奥·内格里IRCCS(史di Ricovero e看台Carattere Scientifico),意大利米兰
- 5医学与外科学系血栓栓塞疾病研究中心和抗凝治疗,丹尼埃尔大学的瓦雷泽,意大利
- 6医学院病理学系和手术,马耳他大学Msida、马耳他
背景:重叠的系统评价(SRs)在医学文献越来越频繁。他们很容易产生不和谐的证据,估计的影响大小和他们的解释可能会有所不同从一个到另一个来源。
摘要目的:分析方法学家和临床医生做出决定如何面对形式化结构表中不一致的证据。
方法:我们进行了16-item调查探索方法学家和临床医生如何反应当面对多个总结发现(SoF)表(使用级工具生成)来自4重叠和不和谐的SRs和荟萃分析为中度风险肺栓塞溶栓治疗。SoF表报告4个不同大小的效果和整体把握。参与者被要求提供他们的建议关于干预和背后的原因他们的结论。
结果:80年受邀者,41(51%)参与。绝大多数将自己描述为“有点熟悉”或专家SoF表。绝大多数推荐治疗(药物全身溶栓)、分级推荐为弱阳性。确定性的证据,其平衡是在生成的两个标准的建议。当面对重叠的荟萃分析,首选的方法是只使用高品质的SRs和排除多余的SRs。几位与会者建议整合SoF和附加信息表,如一个更综合评价系统评价的偏见的风险(71%),非均质性/不一致(68%)和研究包括在每个SR (62%)。
结论:当面对多个老有争议的结果,在SoF报道信息表的类型和完整性影响专家提出建议的能力。SoF表的开发人员应该考虑整理关键信息重叠和潜在的不和谐的评论。
介绍
循证医学(EBM)在1992年被宣布为新的教学方法和实践临床医学(循证医学工作小组,1992年)。在过去的25年里,循证医学运动成功地促进严格和明确的方法来识别、选择和评价相关的研究。系统评价(SRs),荟萃分析(MAs),临床实践指南,卫生技术评估,最近,概述系统评价(osr)证据合成设计,得到了越来越多的欢迎。SRs和MAs发挥关键作用,因为他们经常通知其他证据合成设计。指南、卫生技术评估和osr构建系统的低水平的证据,为指导临床决策提供更多的有用的信息高山和海恩斯,2016年)。例如,许多系统派生建议依靠以前公布或创建的SRs新创指导开发人员(库克et al ., 1997)。
SRs和MAs的数量正在增加。例如,霍夫曼和他的同事观察到超过20倍增加PubMed SRs索引的数量在1990年到2019年之间(霍夫曼et al ., 2021)。有人建议,增加的冗余,所描述的不必要的和误导的证据合成,声称“太多的证据,”的原因之一是循证医学的潜在危机运动(格林哈尔希et al ., 2014)。
osr,下一代的研究设计,提出了作为一个解决方案的效用有限多个SRs (埃尼迪斯,2017)。osr研究允许合成大量的证据来自多个SRs和识别差距,弱点和偏见影响某些研究领域(Puljak 2017)。然而,osr可以检测的问题之一是不和谐的SRs的存在,即,reviews that cover the same topic but reach different results and different conclusions (莉娃et al ., 2018;奥古斯汀et al ., 2020)。
总结调查结果(SoF)表设计总结的关键结果SR或马的估计和评价作者的信心效应证据合成(Guyatt et al ., 2011)。然而,它是未知的,信息方法学家和临床医生优先当面对不和谐的证据来自多个SRs或MAs,以及他们的决策算法可以用来改善sof。
本研究旨在分析方法学家和临床医生如何决定当面对不和谐的证据和SoF表应该如何构建在重叠的MAs的事件。
方法
道德
研究伦理委员会批准的协议分割大学的医学院(批准号2181-198-03-04-17-0064)。
研究设计
这是一个横断面研究。
参与者
这研究是在2017年进行的临床医生考虑领域的意见领袖肺栓塞和循证医学方法学家擅长。我们针对的是研究人员(即有大量的文章。,超过10)上发布主题(即与此相关的调查。,pulmonary embolism, systematic, reviews, SoF tables) and a high number of citations (i.e., more than 1,000), to ensure that these individuals are recognized experts in the field. Participants were recruited by using the snowballing method.
不和谐的证据由参与者得分
我们邀请参与者完成一个基于场景的调查。参与者被要求识别源之间的冲突对比证据药理系统性中度风险肺栓塞溶栓治疗和建议如何把它们在发展建议。他们还要求提供一个精确的和透明的报告建议的合法的争议最终准则。
在这项研究中,我们准备了四个SoF表(补充文件1)从我们的OSR对中度风险肺栓塞溶栓治疗使用建议的分级评估、开发和评估(年级)工具(莉娃et al ., 2018)。我们选择四个SRs,立意创建一个样本的SRs与不同的显著特征。即,我们包括最高的SR AMSTAR(测量工具评估系统评价)评分(郝et al ., 2015),采用分数最低的SR (高et al ., 2015),SR最多的包括试验(陈和任,2014年)和SR的被引用次数最高的(Chatterjee et al ., 2014)。四位作者产生这些SoF表(LM、EP、NR、LP),每个SoF由两位作者独立创建,然后讨论的结果进行了比较和差异直到他们解决。作者解决差异通过讨论。被调查者没有收到信息的SRs SoF表提取。
调查
我们创建了一个16-item调查(可用补充文件2在这项研究中)分为三个部分。在第一部分,有参与者的问题特征,包括性别、年龄、居住地、个人描述他们的角色和熟悉SoF表。在第二部分中,参与者被要求做出决定基于四sof,解释他们是如何达到他们的决定当面对不和谐的证据和如何判断提出证据的质量。在第三部分,有一般问题决策的不和谐的证据从重叠的MAs和SoF表应该如何设计在重叠的MAs的事件。
传播的调查
潜在参与者通过电子邮件邀请参与这项研究,这是可以调查猴子的在线调查平台(帕洛阿尔托调查猴子Inc .)、钙、美国)。这项调查是设置为完全匿名;它没有收集参与者的互联网协议(IP)地址。参与者收到最多3调查被关闭前提醒。
统计数据
使用描述性统计与频率和百分比基于调查猴子的内置的统计特性。临床医生的特点与方法学家比较使用x平方分布或确切概率测试,是适当的。软件占据/版本17 (StataCorp LP,大学城,TX)与双尾用于统计分析p< 0.05被认为具有统计显著性。
结果
80年邀请的参与者,41(51%)接受了邀请,参加了这项研究。同样数量的女性(N= 20;49%),男性参与。大多数的参与者年龄在41到50。大多数人居住在欧洲(29岁,71%),和他们中的大多数方法学家(N= 22;54%)或临床医生(N= 15;37%)。大多数的参与者描述自己是有点熟悉的SoF表(N= 15;37%)或专家参与评分方法和他们能够向其他人传授有关创建SoF表(N= 12;29%)(表1)。
表1。研究参与者的特征(所有41参与者提供的反应)。
基于证据/ SoF表,大多数参与者建议(即溶栓治疗。,infusion into a vein of a medicine that will break up or dissolve blood clots, in addition to an anticoagulant medicine) “is suggested” or “might be suggested” in patients with pulmonary embolism at intermediate-risk of death at 30 days. They also mostly agreed that the grade for this recommendation was weak positive. Most of them (N= 27个;79%)他们的建议基于两个或两个以上的SoF表。他们发现了最重要的结果(即。,mortality) and then considered that the quality of evidence for this outcome was marked in the preferred SoF tables as “high.” They reported that the certainty of the evidence and the benefit-risk balance were two criteria that most often guided their choice of recommendation (表2)。
表2。参与者的建议关于干预,他们的决策背后的基本原理(34个参与者提供的反应)。
当面对重叠的MAs,可能得出不同的结论,参与者建议只使用高品质的SRs和排除多余的评论是最有效的策略支持指南开发(N= 25;76%的参与者对这个选项最高优先级标志)(图1)。
图1。参与者的意见方法采取支持指导开发团队决定在重叠的荟萃分析(34个参与者提供的反应)。图中显示回答以下问题:重叠的荟萃分析往往很困惑,因为他们可能会得出不同的结论。在这种情况下,哪种方式可以最有效的支持指导开发团队决定?请订单相关的语句,最相关的= 1。
在马斯重叠的情况下,除了sof,附加信息,参与者想要:1。偏见的风险在每个评论(测量采用或偏见的风险评估系统的工具reviews-ROBIS) (N= 24;71%),2。包括研究的结果之间的异质性/一致性/ SRs (N= 23;68%),和3。包括研究在每个SR (N= 21;62%)(图2)。此外,41%的参与者表示他们不认为实际的SoF表的形式支持用户在重叠的SRs捕捉差异(图3)。然而,少数没有考虑重叠SRs年级问题值得专门的方法。一些参与者表示,不可能提高SoF提出证据从重叠的评论,主要是因为临床决策应基于一个老,这是最新的,或最高的质量,伴随着一个清晰的理由选择(表3)。
图2。建议的参与者关于决策所需信息的重叠系统评价(34个参与者提供的反应)。图中显示回答以下问题:在重叠的荟萃分析,总结调查结果表,更多的信息你要哪一个?(允许多个答案)。轴表示百分比的参与者。
图3。参与者的意见是否实际的总结发现表的形式捕捉差异在重叠的系统评价(34个参与者提供的反应)。
表3。分类的建议修改的总结发现模板的重叠的评论(开放式的响应)。
开放式问题的想法改善SoF的重叠SRs产生19反应(表3)。参与者主要是提供建议改善SoF表通过选择重叠SRs的结果。他们中的大多数认为应该添加到SoF各种信息,这可能有助于辨别差异的原因。
当我们临床医生和方法学家之间的反应相比,我们经常发现方法学家专家或者SoF非常熟悉。没有显著差异的类型推荐这两组提供基于证据和等级的推荐(表4)。没有差异的频率选择标准SoF相关表,指导决策。方法学家通常表示,他们需要详细信息包含在每一个系统回顾研究做出决定(表4)。
表4。不同的临床医生和方法学家之间的反应。
我们从这项研究在公开发表的原始数据科学框架;原始数据表可以在以下链接:https://osf.io/qsbyh/。
讨论
我们提出了不同的SoF表从重叠的SRs方法学家和临床医生,他们有些熟悉的或专家等级方法和SoF表的发展。即使他们解决相同的临床问题,即。,systemic thrombolysis for intermediate-risk pulmonary embolism, the SoF tables reported results that were contradictory to some extent. Nevertheless, based on the quality of the SRs, participants were able to identify a recommendation-making process, giving preference to high-quality reviews. When faced with discordant evidence, they were more likely to formulate a weak recommendation. Additional information relevant to participants for supporting the clinical decision-making process were risk of bias, heterogeneity, and information about included studies in discordant SRs.
1997年,的问题解释不一致的结果从首次提出了类似的SRs (Jadad et al ., 1997)。记录,升级SRs的数量增加的可能性找到冲突的证据(Lucenteforte et al ., 2015;莉娃et al ., 2018)。这些不同的SRs同一主题之间的纠纷可能导致不一致的传播建议,放缓的转移研究证据付诸实践。
osr可以很容易地识别重叠和不和谐的评论。然而,最近的一项分析Lunny 50和他的同事随机抽样概述表明,只有少数的报道方法处理重叠的评论和不和谐的结果和/或结论(Lunny et al ., 2020)。也对信息用户的另一个挑战是评价是否有些不和谐的SRs满足sra一个或多个的标准可能不是在部分或系统(Dettori协会,2020)。一些文学评论提出了类型学(Par et al .,2015年;穆恩et al ., 2018老),导致不同的定义随着时间的推移和跨领域。缺乏共识的定义SR和协议的核心方法论的元素(例如,识别所有相关记录,选择符合条件的研究,评估偏差的风险,包括定性的综合研究和荟萃分析如果可能的话)可以挑战一个明确的和可再生的选择SRs的人员(Krnic Martinic et al ., 2019)。
这项调查提供了初步的见解之间的概念和实践评论者和健康专业人士阅读SRs,或者使用它们的上下文中建议开发面对多个来源的证据。基于我们的研究结果,我们建议SoF表的结构应该辅以专用模块的信息,要向用户详细信息重叠和潜在的不和谐的SRs。这种工具的目的是通知重叠的证据合成的报告,而不是提供一种方法来识别或分类不一致的证据。然而,它可以被评论家也使用,指导开发人员和期刊编辑计划综合评价合成证据的情况下,重要的是要考虑重叠的来源和相互矛盾的结果。
使用一种新型的SoF osr表,作为一种工具,帮助核对基本信息重叠和潜在的不和谐的评论可能会支持临床决策和更加透明的指导建议。像博比奥和他的同事在1991年写道在《柳叶刀》杂志上的论文试验结果优化报告,“大多数治疗争论的关键问题不在于提出的治疗是有效的,但应该如何呈现数据为了让医生和病人自己决定”(博比奥et al ., 1994)。总的来说,一个更广泛的升值的需要来自多个来源的报告发现,特别是当他们达到高质量的阈值,将会是一个受欢迎的进化合成科学证据。
我们的研究有几个潜在的局限性。没有共识的定义一个意见领袖,这可能妨碍了我们选择的专家评估SoF表。我们采用滚雪球抽样的招募参与者。等抽样是常用的一种形式的非随机抽样,外部效度并不寻求高的突出特征研究(帕克et al ., 2019)。初始样本依赖个人联系。因此,这种采样策略,我们不能概括的结果。在我们的研究中,我们比较了反应的临床医生和方法学家。参与者在每组的数量小,应解释为存活率存在任何差异。我们的研究目标一个医学问题,即为中度风险肺栓塞溶栓治疗,又限制了外部有效性。熟悉的话题可能会影响一些参与者的反应。
总之,当面对多个老有争议的结果,报告的类型和完整性SoF表中的信息可能影响专家提出建议的能力。因此,SoF表的开发人员应该考虑排序的关键信息重叠和潜在的不和谐的评论。
数据可用性声明
在这项研究中提出的数据集可以在网上找到存储库。库的名称/存储库和加入数量(s)可以发现:我们在公开发表的原始数据科学框架,和公众。原始数据表可以在以下链接:https://osf.io/qsbyh/。
道德声明
研究伦理委员会批准的协议分割大学的医学院(批准号2181-198-03-04-17-0064)。患者/参与者提供了他们的书面知情同意参与这项研究。
作者的贡献
所有作者研究设计、数据分析、数据解释,写的手稿,批准最终版本的手稿。
资金
这项工作是支持的意大利卫生部(Giovani Ricercatori gr - 2011 - 02348048)和Regione伦巴蒂大区(9/01/2013第九R.L. d.g.r. n。/ 4662)。
的利益冲突
作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。
出版商的注意
本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。
确认
作者感谢参与调查的研究参与者。
补充材料
本文的补充材料在网上可以找到:https://www.雷竞技rebatfrontiersin.org/articles/10.3389/frma.2022.849019/full补充材料
引用
高山,b S。,和Haynes, R. B. (2016). EBHC pyramid 5.0 for accessing preappraised evidence and guidance.Evid。基础医学。21日,123 - 125。doi: 10.1136 / ebm - 2016 - 110447
奥古斯汀,G。硼,M。,Barcot, O., and Puljak, L. (2020). Discordant outcomes of laparoscopic versus open appendectomy for suspected appendicitis during pregnancy in published meta-analyses: an overview of systematic reviews.Surg. Endosc。34岁,4245 - 4256。doi: 10.1007 / s00464 - 020 - 07674 - 6
博比奥,M。,Demichelis, B., and Giustetto, G. (1994). Completeness of reporting trial results: effect on physicians' willingness to prescribe.《柳叶刀》343年,1209 - 1211。doi: 10.1016 / s0140 - 6736 (94) 92407 - 4
Chatterjee, S。,Chakraborty, A., Weinberg, I., Kadakia, M., Wilensky, R. L., Sardar, P., et al. (2014). Thrombolysis for pulmonary embolism and risk of all-cause mortality, major bleeding, and intracranial hemorrhage: a meta-analysis.《美国医学会杂志》311年,2414 - 2421。doi: 10.1001 / jama.2014.5990
陈,H。,和Ren, C. (2014). Thrombolysis versus anticoagulation for the initial treatment of moderate pulmonary embolism: a meta-analysis of randomized controlled trials.和。护理59岁,1880 - 1887。doi: 10.4187 / respcare.03197
做饭,d J。,Greengold, N. L., Ellrodt, A. G., and Weingarten, S. R. (1997). The relation between systematic reviews and practice guidelines.安。实习生。地中海。127年,210 - 216。doi: 10.7326 / 0003-4819-127-3-199708010-00006
Dettori, j . R。,和Norvell, D. C. (2020). Discordant systematic reviews: which to believe?全球脊柱J。10日,237 - 239。doi: 10.1177 / 2192568219899945
高,g . Y。杨,P。刘,M。,Ding, M., Liu, G. H., Tong, Y. L., et al. (2015). Thrombolysis for acute intermediate-risk pulmonary embolism: a meta-analysis.Thromb。Res。136年,932 - 937。doi: 10.1016 / j.thromres.2015.09.012
格林哈尔希,T。,Howick J。,和Maskrey, N. (2014). Evidence based medicine: a movement in crisis?BMJ348年,g3725。doi: 10.1136 / bmj.g3725
Guyatt G。,Oxman, A. D., Akl, E. A., Kunz, R., Vist, G., Brozek, J., et al. (2011). GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables.j .中国。论文。64年,383 - 394。doi: 10.1016 / j.jclinepi.2010.04.026
,Q。,Dong, B. R., Yue, J., Wu, T., and Liu, G. J. (2015). Thrombolytic therapy for pulmonary embolism.科克伦数据库系统转速。12,CD004437。cd004437.pub4 doi: 10.1002/14651858.
霍夫曼,F。阿勒斯,K。Rombey, T。,Helbach, J., Hoffmann, A., Mathes, T., et al. (2021). Nearly 80 systematic reviews were published each day: observational study on trends in epidemiology and reporting over the years 2000-2019.j .中国。论文。138年1 - 11。doi: 10.1016 / j.jclinepi.2021.05.022
埃尼迪斯J (2017)。下一代系统评价:未来的荟萃分析,个体层面的数据,网络和伞的评论。Br。地中海j .体育。51岁,1456 - 1458。doi: 10.1136 / bjsports - 2017 - 097621
Jadad, a。R。,做饭,d J。,和Browman, G. P. (1997). A guide to interpreting discordant systematic reviews.医疗协会156年,1411 - 1416。
Krnic Martinic, M。派普D。Glatt,。,和Puljak, L. (2019). Definition of a systematic review used in overviews of systematic reviews, meta-epidemiological studies and textbooks.BMC医学研究Methodol >。19日,203年。doi: 10.1186 / s12874 - 019 - 0855 - 0
Lucenteforte E。泥熔岩,L。,Pecoraro, V., Conti, A. A., Conti, A., Crudeli, E., et al. (2015). Discordances originated by multiple meta-analyses on interventions for myocardial infarction: a systematic review.j .中国。论文。68年,246 - 256。doi: 10.1016 / j.jclinepi.2014.11.004
Lunny C。,Brennan, S. E., Reid, J., McDonald, S., and McKenzie, J. E. (2020). Overviews of reviews incompletely report methods for handling overlapping, discordant, and problematic data.j .中国。论文。118年,69 - 85。doi: 10.1016 / j.jclinepi.2019.09.025
穆恩,Z。,Stern, C., Aromataris, E., Lockwood, C., and Jordan, Z. (2018). What kind of systematic review should I conduct? A proposed typology and guidance for systematic reviewers in the medical and health sciences.BMC医学研究Methodol >。18日,5。doi: 10.1186 / s12874 - 017 - 0468 - 4
Par, e, G, Trudel M.-C。Jaana, M。,和Kitsiou, S. (2015). Synthesizing information systems knowledge: A typology of literature reviews.信息管理。52岁,183 - 199。doi: 10.1016 / j.im.2014.08.008
帕克,C。,Scott, S., and Geddes, A. (2019). “Snowball sampling,” in圣人研究方法基础eds p·阿特金森,s . Delamont a . Cernat j . w . Sakshaug和r·a·威廉姆斯(伦敦:圣人出版物)。doi: 10.4135 / 9781526421036831710
Puljak L (2017)。如果只有一个作者或只有一个数据库搜索,不应称为系统综述研究。j .中国。论文。91年,4 - 5。doi: 10.1016 / j.jclinepi.2017.08.002
关键词:系统综述,概述系统的审查,确定证据,总结调查结果表,不和谐的证据
引用:Puljak L, Parmelli E, Capobussi M, Gonzalez-Lorenzo M, Squizzato,泥熔岩L和莉娃N(2022)缓解争端起源于由多个不整合系统评价和荟萃分析:方法学家的调查和临床医生。前面。Metr >,肛交。7:849019。doi: 10.3389 / frma.2022.849019
收到:2022年1月05;接受:2022年3月24日;
发表:2022年4月15日。
编辑:
卢卡·隆戈科技大学都柏林,爱尔兰版权©2022 Puljak、Parmelli Capobussi、Gonzalez-Lorenzo Squizzato,泥熔岩和莉娃。这是一个开放分布式根据文章知识共享归属许可(CC)。使用、分发或复制在其他论坛是允许的,提供了原始作者(年代)和著作权人(s)认为,最初发表在这个期刊引用,按照公认的学术实践。没有使用、分发或复制是不符合这些条件的允许。
*通信:利维亚Puljak,livia.puljak@gmail.com;livia.puljak@unicath.hr;orcid.org/0000 - 0002 - 8467 - 6061