Sour grapes, rotten apples and windfalls. Reflexions on the vulnerable art of building and preserving honest research ambiences:

Transkript

1 Sour grapes, rotten apples and windfalls. Reflexions on the vulnerable art of building and preserving honest research ambiences: Jan Helge Solbakk Professor Senter for medisinsk etikk, UiO Professor II Senter for internasjonal helse, UiB

2 Prolog 1: Merriam Webster reports that in 2005, integrity received more hits than any other word in their online dictionary. It s s not clear how many more hits scientific integrity can take: An MIT researcher is fired for fabricating a dozen papers. A pharmaceutical company omits data from key publications about side effects. A South Korean stem cell researcher admits to a stunned nation that, blinded by work and a drive for achievement, he submitted a fake it before you make it article to Science. It appears that research misconduct has taken its place among the epidemics that scientists need to worry about (Glenn McGee, Bioethics.net,, , min utheving).

3 Prolog 2: A A popular view propagated by the media and by many scientists sees sees fraudsters as just a few bad apples.. This pristine image of science is based on the theory that the scientific community is guided by norms including disinterestedness and organized scepticism, which are incompatible with misconduct (Fanelli D, How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta- Analysis of Survey Data. PLoS ONE 4(5), 2009: doi: /journal.pone ).

4 Prolog 2: En norsk råttent r eple-analog: Det er vanskelig å unngå å bli svart når n r man omfavner en feier (uttalelse fra daværende dekanus Stein Evensen, Dagbladet , om medforfatterne i Sudbø-saken).

5 Prolog 3a): En norsk møkkm kk-analogi: Professor og leder ved Seksjon for medisinsk etikk ved Universitetet i Oslo, Jan Helge Solbakk, hevder overfor TV 2 Nettavisen at det hersker en grov ukultur blant medisinske forskere. Skandalen på p Radiumhospitalet hvor en norsk forsker har fabrikkert forskningsdata, kunne ha vært unngått dersom forskerne hadde gjort jobben sin (TV2 Nettavisen, ).

6 Prolog 3b): I I denne saken er det mange som har lukket øynene for internasjonale forskningsregler,, sier Solbakk til TV 2 Nyhetene, og hevder at også de 13 andre medforfatterne i forskningsskandelen har møkk på p hendene (TV2 Nettavisen, ).

7 Prolog 4a): One of the co-authors complained to the Norwegian Medical Association s (NMA s) Council for Professional Ethics about these comments, and in June 2007, the Council decided that Solbakk s s comments constituted a breach of Section II.5 of the NMA s s Ethical Rules for Medical Doctors - which states that Public and other debate between colleagues in medical and health policy questions must be kept at a matter- of-fact fact level (S. Holm, Thick as thieves the Norwegian medical association attempts to stifle ethical debate, Editorial J Med Ethics, 2008 (34) 1, p. 1)..

8 Prolog 4b): This decision is astonishing, perverse and immensely problematic for the future of open debate about one of the major issues in science ethics - that is, the question of the relationship between problematic co- authorship practices and other types of scientific fraud (Holm, Editorial, JME).

9 Prolog 4c): as the dean of the Medical Faculty of the University of Oslo stated using another Norwegian proverb, If you hug a chimney sweep you will get black. (For some strange reason, no complaint was put forward against him!) (Holm, Editorial JME).

10 Prolog 5: To protect the integrity of science, we must look beyond falsification, fabrication and plagiarism, to a wider range of questionable research practices (Brian C. Martinson, Melissa S. Anderson, Raymond de Vries, Scientists behaving badly, Nature 435, , 738, 9. June 2005).

11 Prolog 6: According to their result, scientists did not see FFP [fabrication, falsification and Plagiarism] as the real problem instead they described more common problems that were put into four categories: (1) the meaning of data, (2) the rules of science, (3) life with colleagues, (4) pressures of production in science. The confessed modes of misbehavior (like minor misusage of funds, cutting corners in a hurry, inadequate record keeping etc.) ranged 10 50% in the sample population of researchers. Further analyses made them realize that these problems and the attendant misbehaviors are not solely associated with ordinary human frailties, but as much with the characteristics of the working environments in contemporary labs (Kakuk, P, The Legacy of the Hwang Case: Research Misconduct in Biosciences, Sci Eng Ethics (2009) 15: ). 562).

12 Påstand 1: Reaksjonen fra norske og internasjonale medisinske forskningsmiljøer på p den store stamcelleforskningsskandalen i Sør S r Korea i 2006 og den enda større kreftforsknings- skandalen i Norge samme år, var at disse var forårsaket rsaket av to råtne r epler, herrene Hwang og Sudbø,, og at disse to hadde påført uskyldige forskningsmiljøer og medforfattere - store skader.

13 Påstand 2: Sure druer, råtne r epler og nedfallsfrukt utgjør r på p ingen måte m den største trusselen mot bevaringen av etisk robuste miljøer for akademisk kunnskapsdyrking og produksjon.

14 Påstand 3: Slike uønskede u frukter er ikke årsak til, men snarere et resultat av rådende r arbeids- og dyrkningsforhold i akademiske forskningsmiljøer.

15 Påstand 4: Langt viktigere enn bortsortering av råtne epler og nedfallsfrukt er etableringen av etisk robuste forskningskulturer.

16 Påstand 5: De viktigste faktorene bak utviklingen av uredelige forskningskulturer: etableringen av organisatorisk og økonomisk robuste forskningsgrupper og forskerfellesskap. veksten av programforskning på p bekostning av nysgjerrighetsorientert forskning. veksten av industrisponset forskning på p bekostning av forskerinitiert forskning. finansieringskildens innflytelse på p valg av forskningsspørsm rsmål. finansieringskildens innflytelse på p publiseringen av negative forskningsresultater. finansieringskildens innflytelse på p valget av forfattere.

17 Et norsk medisinsk tilbakeblikk: Bekkelund SI, Hegstad A-C, A Førde F OH. Uredelighet i medisinsk og helsefaglig forskning. Tidsskr Nor Lægeforen 1995; 115:

18 Undersøkelsen omfattet forskere ved de fire medisinske fakultetene i Norge. Av 274 forskere som fikk tilsendt spørreskjemaet, hadde 219 (80 %) svart etter en purring.

19 Resultater: 22 % rapporterte at de kjente til alvorlige brudd påp forskningsetiske regler. 58 % hadde kjennskap til mindre alvorlige brudd påp god vitenskapelig praksis. Misvisende forfatterlister var den vanligste type uredelighet blant de forholdene som er regnet som mindre alvorlig. 9 % hadde selv bidratt til ett eller flere av de forholdene som ble definert som uredelig praksis. Kjennskap til uredelig forskningspraksis blant stipendiater var ikke vesentlig forskjellig fra resultatet for de «eldre»,, etablerte forskerne. Organisert forskeropplæring ring med forskningsetikk ble betraktet som det mest effektive middelet for å forebygge vitenskapelig uredelighet.

20 Forfatter-kommentar 1: Som ferske doktorgradsstipendiater var Bekkelund og jeg [Hegstad] opptatt av hva som motiverte og legitimerte den medisinske forskningsvirksomheten. Vi hadde en fornemmelse av at vi var i ferd med å bli sosialisert inn i et system vi ikke helt skjønte og kanskje ikke var villige til å forsvare. Dessuten var det vanskelig å sette spørsm rsmålstegn ved måten m den medisinske forskningsvirksomheten ble utøvd på. p Det var uskrevne lover som måtte m følges f dersom man skulle få f ting gjort Generelt erfarte vi at det var liten interesse for etiske spørsm rsmål. Vi hadde dessuten opplevd direkte motvilje mot å ta opp konkrete forhold, som for eksempel kriterier for medforfatterskap på p vitenskapelige artikler (min utheving).

21 Forfatter-kommentar 2: Ulike kulturer bygger seg opp på p ulike avdelinger og innenfor de forskjellige institusjonene og miljøene. I noen fagmiljøer er det implisitt at avdelingslederen skal være v med på p forfatterlisten uansett om han har bidratt eller ikke i det vitenskapelige arbeidet. Det handler dessuten om en form for kjøp p og salg: du får f r være v medforfatter på p min artikkel hvis jeg får f r være v med på p din. Gjensidig utveksling av forfatterskap vil gjøre begges publikasjonslister lengre, sier Hegstad.

22 Forfatter-kommentar 3: Hun kjenner også til at forskere på p serviceavdelinger bruker avdelingens ressurser (metoder, utstyr) som byttemiddel for forfatterskap. I denne sammenhengen sikter hun ikke til reelle samarbeidsprosjekter der de aktuelle partene bidrar vesentlig til det vitenskapelige arbeidet.

23 Forfatter-kommentar 4: Jeg har prøvd å finne en logikk i hvordan dette foregår. r. Det er ikke lett. For noen er det viktig å få kjente navn med på p listen, slik at det skal bli lettere å få artikkelen igjennom hos dem som vurderer om et manuskript skal publiseres. Egentlig dreier mye seg om den sterkestes rett: i medisinske miljøer er det enkelte sterke personligheter som man ikke tør t å si nei til. Det kan være v overleger og professorer som av og til også sitter på p pengesekken.

24 Forfatter-kommentar 5: Når r Hegstad har forsøkt å sette spørsm rsmålstegn ved denne virksomheten, har hun fått f høre h at dette er ikke noe man skal diskutere. Svaret jeg som oftest har fått, f er: Sånn har vi gjort det, og er du interessert i å få ting gjort, må m det foregå slik. Du kan ikke forvente at folk skal bidra med prøvemateriale, metoder eller utstyr hvis du ikke gir dem noe igjen. Denne formen for kjøp p og salg høres h kanskje ikke så s ille ut for utenforstående, ende, siden det primært rt har å gjøre med forhold forskere imellom. Men virksomheten fortoner seg mer alvorlig hvis vi ser på p hvilke følger misvisende forfatterlister kan få f for fordeling av midler og tilsettinger i vitenskapelige stillinger (Misvisende forfatterlister må m diskuteres!, intervju med Hegstad, Apollon, ).

25 Et amerikansk medisinsk tilbakeblikk: Brian C. Martinson, Melissa S. Anderson, Raymond de Vries, Scientists behaving badly, Nature 435, , 738, 9. June 2005.

26 Hovedbuskap: To protect the integrity of science, we must look beyond falsification, fabrication and plagiarism, to a wider range of questionable research practices.

27

28 Norsk kommentar til studien,1: Vi trenger et regelverk, men det er vanskelig for medforfattere å verge seg mot mangel på p moralsk integritet. Spørreunders rreundersøkelser tyder likevel på p at mindre graverende juks er et større problem enn datasvindel (P. Brandtzæg, Aftenposten ).

29 Norsk kommentar til studien, 2: Enkelte spørreunders rreundersøkelser tyder på at mindre graverende juks er et større problem enn direkte datasvindel, og her er det et spørsm rsmål om ledelse og kultur i den enkelte forskergruppe (P. Brandtzæg, Dagbladet, ).

30 Kommentar til kommentarer: Når r tema i Brandtzægs to artikler bl.a. er medforfatterskap, hvorfor opplyste han ikke da samtidig at en av de hyppigst forekommende former for mindre graverende juks nettopp er brudd på p reglene for medforfatterskap?

31 Påpekte svakheter ved Nature-studien: Low response rates: 52% among the mid- career scientists and a rate of only 43% among the early-career group, Ambiguous wording of some of the survey questions (Alan M Jette, Without Scientific Integrity, There Can Be No Evidence Basehttp:// _EdNote.cfm).

32 Study limitations aside, however, I find myself in agreement with the authors major conclusion: Far too little attention is being paid to factors in the broader US research environment that may compromise scientific integrity. The pressure on scientists to secure funding, publish their findings, and secure their promotions is enormous (Jette, 2005).

33 Et metanalytisk tilbakeblikk: Fanelli D, How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta- Analysis of Survey Data. PLoS ONE (5): doi: /journal.pone

34 This is the first meta-analysis analysis of surveys asking scientists about their experiences of misconduct. It found that, on average, about 2% of scientists admitted to have fabricated, falsified or modified data or results at least once a serious form of misconduct by any standard and up to one third admitted a variety of other questionable research practices including dropping data points based on a gut feeling,, and changing the design, methodology or results of a study in response to pressures from a funding source (p. 8, min utheving).

35 In surveys asking about the behaviour of colleagues, fabrication, falsification and modification had been observed, on average, by over 14% of respondents, and other questionable practices by up to 72%. Over the years, the rate of admissions declined significantly in self- reports, but not in non-selfreports selfreports (p. 8, min utheving).

36 The decrease in admission rates observed over the years in selfreports but not in non-self self-reports could be explained by a combination of the Mohammed Ali effect [i.e, that people perceive themselves as more honest than their peers] and social expectations. The level and quality of research and training in scientific integrity has expanded in the last decades, raising awareness among scientists and the public... However, there is little evidence that researchers trained in recognizing and dealing with scientific misconduct have a lower propensity to commit it. Therefore, these trends might suggest that scientists are no less likely to commit misconduct or to report what they see their colleagues doing, but have become less likely to admit it for themselves (p. 10, min utheving).

37 Once methodological differences were controlled for, cross study comparisons indicated that samples drawn exclusively from medical (including clinical and pharmacological) research reported misconduct more frequently than respondents in other fields or in mixed samples (p. 10).

38 This suggests that misconduct in clinical, pharmacological and medical research is more widespread than in other fields. This would support growing fears that the large financial interests that often drive medical research are severely biasing it.. However, as all survey- based data, this finding is open to the alternative interpretation that respondents in the medical profession are simply more aware of the problem and more willing to report it (p. 10, min utheving).

39 Sins of omission versus sins of comission: Grant Steen R, Retractions in the Scientific Literature: Do Authors Deliberately Commit Fraud? (Forthcoming in Journal of Medical Ethics).

40 We evaluated every research paper noted as retracted in the PubMed database from 2000 to PubMed was searched on 22 January 10 with the limits of items with abstracts, retracted publication, English. A total of 788 retracted papers were identified, all of which were exported from PubMed and saved as a text file (available upon request), as described (p. 4).

41 We tested the prediction that fraudulent papers would come from countries with a weak research infrastructure by collating the country of address of the first author of all retractions (p. 5).

42 Comparing papers retracted for fraud with papers retracted for error,, journal IF was higher among fraudulent papers (p. 5).

43 The average number of authors was significantly higher for fraudulent papers,, and fraudulent papers were retracted significantly more slowly than erroneous papers It has been postulated that retracted papers involve relatively few co-authors, since having many co-authors would seem to provide a backstop against both error and fraud. In contrast, we hypothesized that fraud is easier to perpetrate when personal responsibility is diffused (p. 6, min utheving).

44 Perhaps surprisingly, fraud occurs more often in the United States than the rest of the world, whereas one would expect the strong research infrastructure in the United States to limit fraud. We find no evidence to support a contention that papers submitted from China or other Asian nations are more likely to be fraudulent (p. 8).

45 To ferske og kanskje tidstypiske? - medforfatter-henvendelser fra norske forskningsmiljøer:

46 Vi som PhD studenter opplever at det er en viss grad av uklarhet når r det gjelder retningslinjer for hvem og på p hvilken måte m man er kvalifisert som medforfatter i en publikasjon. På P NN er det en vanlig praksis at flere er medforfatter i en publikasjon og opplever at det er ikke alltid lett å forholde seg til det Mange av oss er med i forskningsgrupper, men ikke alle, og det har blitt en vanlig praksis for de som er i en forskningsgruppe å være med i de publikasjoner av alle de andre som er med i samme gruppen. Vi ser at dette kan være v problematisk ikke bare med tanke på p om det er etisk forsvarlig, men også fordi de som jobber i grupper har store fordeler når n r det gjelder antall publiserte arbeider de har når n r de er ferdige, som igjen har konsekvenser for veien videre (for eks. post doc stillinger). I andre tilfeller blir b veiledere automatisk medforfatter av våre v artikler, og det er ikke i alle tilfeller de har gjort mer enn å gi kommentarer eller eventuelt rette på p språk. Men samtidig føler vi at vi har ikke nok informasjon til å si noe imot den praksisen og derfor vil vi ha mer informasjon slik at vi er mer bevist på p hva som er etisk forsvarlig og på p hvordan kan vi takle situasjonen.

47 Kjære Jan Helge Solbakk, takk for tilsendte avtaler. Jeg har endret noen småting, men ingen realiteter, underskrevet og returnerer avtalene mandag. Har dere etablert samarbeid med noen i vår v r etikkomite? Så S lenge prosjektet finansieres fra Helse NN/NN universitetssykehus synes jeg det er viktig at vi også har noen reelle samarbeidspartnere med som også kan være v medforfattere på p publikasjoner fra prosjektet.

48 Forebyggingstiltak 1: Nedbygging av store forsknings- grupper som ikke er epistemologisk, men administrativt, organisatorisk eller økonomisk motivert (Petersdorf RG. The pathogenesis of fraud in medical science. Ann Intern Med 1986;104(2):252e4).

49 Forebyggingstiltak 2: Redusere pengestrømmen til programforskning og øke strømmen av ressurser til nysgjerrighetsorientert forskning.

50 Forebyggingstiltak 3a): Re-akademisering av klinisk forskning: The new biomedical research model called privatized has moved substantiable parts of clinical research from academic centers to private institutions, contract research organizations (CROs) or directly to individual researchers (Solbakk JH, Vidal S, Clinical Research Ethics, in: Chadwick R, Encyclopedia of Applied Ethics, forthcoming).

51 Forebyggingstiltak 3b): This model has changed the research payment system from academic investment or incentives for university researchers - the valid system until the early 1990s - to a direct payment system - occasionally of significant amounts - to researchers in the private sector. Most of the reseachers contracted from these centers are not named in the final publications and many of them have hardly any research experience in the field under investigation (Solbakk &Vidal 2010).

52 Forebyggingstiltak 3c): Direct funding of clinical research on the part of the pharmaceutical industry may have several impacts on the research conducted. First, it may direct the research towards primarly reaching business goals. Second, it may reduce the chance of sharing of research results. Third it may lead to a premature ending of the studies and to the suppression of publications. Besides, it may foster the publication of papers overestimating the positive results of the trial drug, and it makes it easier to involve ghost writers in the production of research papers (Solbakk & Vidal, 2010).

53 Forebyggingstiltak 4: Disclosure of the amount and SIZE of conflicts of interests..., the increasing influence of the pharmaceutical industry on clinical research and development may impact the decisions of editorial boards of medical journals through their finacial ties to highly renowned experts serving on these boards and on committees providing advise to national and international health authorities and organizations (Solbakk & Vidal, 2010).

54 Forebyggingstiltak 5: Re-akademisering av videre- og etterutdanningen av leger... the pharmaceutical industry funds a great deal of the so called continuous medical education programs of physicians e.g. in the USA, almost 60 % of this kind of funding originates from the pharmaceutical industry (Solbakk & Vidal, 2010).

55 Forebyggingstiltak 6: Re-akademisering av internasjonale retningslinjer for publisering av medisinske artikler.

56 Vancouver-reglenes reglenes forfatterdefinisjon (versjon 1985): Enhver forfatter skal ha deltatt i arbeidet i en slik utstrekning at han/hun kan ta offentlig ansvar for innholdet. Forfatterskap skal baseres på p vesentlig bidrag til a) idé,, planlegging og utforming eller analyse og tolkning av data, og b) utarbeiding av selve manuskriptet eller kritisk revisjon av innholdet, og c) godkjenning av den endelige manuskriptversjonen. Samtlige forutsetninger (a, b og c) må m være til stede.

57 Fjerde versjon av reglene (1991): All persons designated as authors should qualify for authorship. Each author should have participated sufficiently to take public responsibility for the content Any part of an article critical to its main conclusions must be the responsibility of at least one author.

58 Videre oppdatering av forfatterskapskriteriene (2000), 1: En hver forfatter skal ha deltatt i arbeidet i en slik utstrekning at han/hun kan ta offentlig ansvar for angjeldende deler av innholdet. En eller flere forfattere må m ta ansvar for integriteten i helheten av arbeidet, fra planlegging til publisering (min utheving).

59 Videre oppdatering av forfatterskapskriteriene (2000), 2: Forfatterskap skal utelukkende baseres på: p a) Vesentlige bidrag til idé og utforming, eller datainnsamling, eller analyse og tolkning av data b) Utarbeiding av selve manuskriptet eller kritisk revisjon av artikkelens intellektuelle innhold c) Godkjenning av artikkelversjonen som skal publiseres Samtlige kriterier (a, b og c) må m oppfylles.

60 Forebyggingstiltak 7: Adopt zero tolerance To create a zero-tolerance culture, we think that it is essential that an institution specifies and implements the requirements that all suspected misconduct must be reported, and all allegations must be thoroughly and fairly Investigated (Titus SL, Wells JA and Rhoades LJ, Repairing research integrity, Commentary, Vol 453, 19 June 2008, p ) 982).

61 Forebyggingstiltak 8: Protect whistleblowers Careful attention must be paid to the creation and dissemination of measures to protect whistleblowers. Responders to our survey said that reporting would be most likely to improve if institutions and the federal government increased the whistleblower protection. Indeed, more than two-thirds thirds of whistleblowers, in a Research Triangle Institute study, experienced at least one negative outcome as a direct result of their actions (Titus & al, 2008, p. 982).

62 Forebyggingstiltak 9: Clarify how to report Researchers in our study also emphasized what would promote reporting: establishing a reporting system that clearly identifies the individuals to whom allegations should be brought, and establishing clear policies, procedures and guidelines related to misconduct and responsible conduct (Titus & al, 2008, p. 982).

63 Forebyggingstiltak 10: Train the mentors If we want to build a stronger culture of integrity, then the current generation of researchers has to be educated to pay more attention to how they work with their junior team members. Mentors specifically need to become more aware of their roles in establishing and maintaining research rules and minimizing opportunities to commit research misconduct (Titus & al, 2008, p. 982).

64 Forebyggingstiltak 11: Model ethical behaviour People imitate the behaviour of powerful role models. Institutions successfully stop cheating, for example, when they have leaders who communicate what is acceptable behaviour, encourage faculty members and staff to follow the policies, develop fair and appropriate procedures for handling misconduct cases, focus on ways to develop and promote ethical behaviour, and provide clear deterrents that are communicated (Titus & al, 2008, p. 982)

65 Epilog: Ultimately we don t t have any clue what works, but it s s a safe guess that the institutions that innovate in research ethics and study outcomes will be the ones that prevent misconduct. If we re going to throw buckets of money at frontier science, we d d better throw a little bit more at finding the best ways to help new scientists do it responsibly (Glenn McGee, Bioethics.net,, ).