Disponibleenlignesur
ScienceDirect
www.sciencedirect.com
ARTICLE ORIGINAL
Devenir des communications libres présentées au congrès de la SIFUD-PP (2006—2012)
The fate of the oral communications presented at the SIFUD congress (2006—2012)
A. Hajji , X. Deffieux
∗Servicedegynécologie-obstétriqueetmédecinedelareproduction,hôpitalAntoine-Béclère, groupehospitalieruniversitaireParisSud,Assistancepublique—HôpitauxdeParis,157, ruedelaPorte-de-Trivaux,92140Clamart,France
Rec¸ule27septembre2015 ;acceptéle4janvier2016 DisponiblesurInternetle29janvier2016
MOTSCLÉS Communication libre;
Publication; Congrès; SIFUD
Résumé
Introduction.—Lestravaux présentésàl’occasiondes congrèsscientifiques restentsouvent confidentiels enraison de la non-indexation des communications. Cependant,une publica- tionultérieureresteindispensablepourladiffusiondesconnaissances.Lavaleurglobaled’un congrèsestenpartiereprésentéeparleniveaudepublicationdescommunicationsquiysont présentées.
Objectifs.—Analyser quantitativement et qualitativement le devenir des communications libresprésentéesaucongrèsannueldelaSIFUD-PPentre2006et2012.
Méthode.—Àpartirdunomdesauteursetdutitredescommunicationslibresprésentéeslors des congrès de2006à2012, nousavonsessayé dedécouvrirsi cescommunications avaient aboutiàunepublicationindexéePubMed/MedLinejusqu’enavril2015.Nousavonsétudiéde fac¸onanonymelacorrélationentrelesdonnéesprésentéesdanslerésumécommuniquélors ducongrèsdelaSIFUD-PPetlesdonnéespubliéesdansl’articlefinal.Nousavonsévaluéles caractéristiquesdelapublicationenfonctiondelalanguedepublication(franc¸ais/anglais), durangdelarevue(AouBversusautres),etdunombredecitationsdel’articledansGoogle- Scholar.
∗Auteurcorrespondant.
Adressee-mail:xavier.deffieux@abc.aphp.fr(X.Deffieux).
http://dx.doi.org/10.1016/j.purol.2016.01.002
1166-7087/©2016ElsevierMassonSAS.Tousdroitsr´eserv´es.
Résultats.—Au total, 270communications libres ont été présentées à la SIFUD entre 2006—2012,soitunemoyennede38,5(±15)paransur7ans.Englobalité,110articles(40%) ontétépubliésàcejour(avril2015)dansunerevueindexéePubMed/MedLine.Ànoterque 10articlesdescommunicationslibres(8%)avaientétépubliésavantlecongrès.Ledélaimoyen depublicationétaitde22mois±15mois.Surleplandela languedepublication,79articles (71%)ontétépubliésdansdes revuesanglophones.La publicationaeulieudans31revues différentes(49articles[44%]enurologie,14articles[12%]engynécologie,12articles[10%]en urogynécologie,11articles[10%]encolo-proctologie,16articles[14%]enneuro-urologieeten médecinephysiqueetréadaptation,3articles[2%]ensexologie).Aussi,63articles(57%)ont étépubliésdansdesrevuesayantunimpactfactor(IF)supérieurà2et39articles(35%)ont étépubliésdansdesrevuesderangAouB.
Discussion.—Letauxdepublicationaprèscommunicationoraleencongrèsestvariableselon lesspécialités et letype decongrès. Par exemple, letaux depublication descommunica- tionsprésentéesaucongrèsdel’ICS(InternationalContinenceSociety)en2003aétéde61%, tandisqueceluidel’AFU(Associationfranc¸aised’urologie)en2000aétéde34,5%.Le taux depublicationdescommunicationsprésentéesàlaSIFUD(40%surlapériodede2006—2012) estdonccomparableàceuxdesautrescongrèsnationaux maislégèrementinférieuràceux descongrès internationaux.Plusieurshypothèsespeuventexpliquerlanon-publicationd’une communication(abandon duprojet, communication concernantdes résultatspréliminaires, refusdepublicationparplusieursjournaux)etmalheureusementnousnedisposonspasdeces résultats.
Conclusion.—Aufinal,40%descommunicationslibresprésentéeslorsdescongrèsannuelsde laSIFUDontétépubliéesdansdesrevuesindexéesPubMed/MedLine,dont71%enanglais.
Niveaudepreuve.— 4.
©2016ElsevierMassonSAS.Tousdroitsr´eserv´es.
KEYWORDS Oralcommunication;
Publication;
Congress;
SIFUD
Summary
Introduction.—The subjects presented at scientific congresses often remain confidential becauseofthenon-indexationofthecommunications.Asubsequentpublicationisnecessary forthedisseminationofknowledge.Thevalueofacongressissomehowratedbythelevelof itspublications.
Objectives.—Toanalyze,quantitativelyandqualitatively,thefateofthecommunicationspre- sentedorallyattheannualmeetingoftheSIFUD-PPbetween2006and2012.
Method.—Fromtheauthors’namesandthetitleofthecommunicationspresentedorallyat congressesbetween2006and2012,weinvestigatedifthosecommunicationshadresultedasan indexedpublicationPubMed/MedlineuntilApril2015.Westudiedanonymouslythecorrelation betweenthedatapresentedinthecommunicationprovidedattheSIFUD-PPcongressandthe datapublishedinthefinalarticle.Weevaluatedthe‘‘value’’ofthepublicationaccordingtothe languageofpublication(French/English),therankingofthemagazine(AorBversusothers), andthenumberofcitationsofthearticleinGoogle-Scholar.
Results.—Atotalof270oralcommunicationswerepresentedattheSIFUDcongressbetween 2006and2012,soanaverageof38.5(±15)peryear.Globally,110articles(40%)havebeen publishedinanindexedjournalPubMed/MedLinetodate(April2015).Notethat10articlesof theoralcommunications(8%)werepublishedbeforethecongress.Theaveragetimeofpublica- tionwas22months±15months.Intermsofthelanguageofpublication,79articles(71%)were publishedinEnglishmagazines.Theywerepublishedin31differentjournals(49articles[44%]
inurology,14articles[12%]ingynecology,12articles[10%]inurogynecology,11articles[10%]
incoloproctology,16articles[14%]inneuro-urologyandphysicalmedicineandrehabilitation, 3articles[2%]insexology).Sixty-threearticles(57%)werepublishedinjournalswithanimpact factor(IF)higherthan2and39articles(35%)werepublishedinjournalsofrankAorB.
Discussion.—Therateofpublicationsoforalcommunicationsvariesaccordingtospecialties andthetypeofthecongress.Forexample,therateofthepublishedcommunicationsattheICS Congress(InternationalContinenceSociety)in2003was61%andoftheAFU(FrenchAssociation ofUrology)in 2000, was 34.5%.The rateof publicationofthe oral abstractspresented at theSIFUD (40%overtheperiod 2006—2012)is comparabletoothernational congressesbut
slightlyinferiortothoseofinternationalcongresses.Severalhypothesesmayexplainthenon- publicationoftheoralcommunications(quittingtheproject,communicationaboutpreliminary results,refusedpublicationbymanyjournals)andunfortunatelywedonothavethoseresults.
Weshouldgetbackindividuallytothesubmitterstoknowthereasonsfornon-publicationof theirworks.
Conclusion.—Intheend,40%oftheoralcommunicationpresentedattheannualcongressof theSIFUDwerepublishedinanindexedjournalsPubMed/MedLine.Seventy-onepercentofthem areinEnglish.
Levelofevidence.— 4.
©2016ElsevierMassonSAS.Allrightsreserved.
Introduction
LaSociétéinterdisciplinaire francophoned’uro-dynamique et de pelvi-périnéologie (SIFUD-PP), tout comme nombre d’autres sociétés savantes, organise chaque année un congrèsnational.Auseindecetévènement,leprogramme scientifique de la manifestation intègre des séances de communications orales. Depuis trente-huit ans, le for- mat de ces communications est identique: cinq à dix minutessontallouéesauprésentateur,ets’ensuitunbref échange avec l’auditoire, qui est l’occasion d’un débat aveclescollèguesfrancophonesprésents.Lesprésentations peuvent être faites par n’importe quelle personne signa- tairedurésumésoumis,maisellessontsouventeffectuées par lesinternes, chefs de clinique-assistants et médecins hospitalo-universitaires.Ainsi,chacunedescommunications représente un travail en coursou achevé par une équipe scientifique.Ilestdoncpertinentdes’interrogersurledeve- nirdescommunicationsprésentéesencongrès.En2007,25% descommunicationslibreslorsdescongrèsdelaSIFUD-PP de2003à2006,avaitaboutiàunepublication[1].Lebutde cetravailétaitd’évaluerlaproportiondecommunications présentéesaucongrèsdelaSIFUD-PP de2006—2012ayant aboutiàunepublicationd’unarticledansunerevueanglo- phone ou francophone. Les objectifs secondaires étaient d’étudierl’impactfactordesrevuesayantacceptélespubli- cationsidentifiées,lenombredefoisquel’articleaétécité ainsiqu’évaluerla concordanceentre lerésumé présenté pendantlecongrèsetl’articlepublié.
Méthodes
Recueil des données
Leprogrammedétaillédescommunicationsprésentéeslors des congrèsdela SIFUD-PPde2006à2012aété récupéré parlebiaisdusiteInternetdel’association[2].Nouspré- cisons que 270communicationsorales du congrès ont été retenuespourlaprésenteanalyse.Pourtouteslescommu- nicationsorales,lesspécialitésontétérecensées(urologie, gynécologie,médecinephysiqueetrééducation,sexologie, proctologie).Pourchaquecommunication,unepublication correspondanteaensuiteétérecherchéeauseindelabase dedonnéesPubMed/Medlineselonl’algorithmesuivant:le nomdel’auteurprésentateurdelacommunicationetcelui
du dernier auteur. En cas d’échec, la liste complète des publicationsdel’auteurprésentateur,puiscelledudernier auteurétaientanalyséesenyassociantunmot-cléenrap- portaveclaprésentation.Aussi,nousavonsétudiédefac¸on anonyme,lacorrélationentrelesdonnéesprésentéesdans lerésumé communiqué lorsdu congrèsde la SIFUD-PP et lesdonnéespubliéesdansl’articlefinal.Nousavonsévalué lescaractéristiquesdelapublication:languedepublication (franc¸ais/anglais),rangdelarevue(AouBversusautres), etnombredecitationsd’articlesdansGoogle-Scholar.
Analyses statistiques
Des analyses descriptives ont été réalisées pour tous les paramètres étudiés. Les données quantitatives sont pré- sentéesparleurmoyenne etleur écart-type.Lesdonnées qualitativessont décritessous formede nombreet/oude pourcentage.
Résultats
Nousavonsconstatéque270communicationsoralesontété présentées,soitunemoyennede38,5(±15)paransur7ans et110articles(40%)ontétépubliésàcejour(avril2015) dans unerevue indexée PubMed/Medline,dont 79articles (71%)dansunerevueanglophoneet31articles(28%)dans une revue francophone. Dix articles (8%) ont été publiés avant le congrès (dont 7articles dans une revue anglo- phone).Lenombredecommunicationsannuellesainsique lenombredecommunicationpubliées etnonpubliéespar ansontreprésentéesdanslaFig.1.
Quarante-neuf articles(44%)ont été publiés dans une revuespécialisée enurologie, 16articles (14%) en neuro- urologieetmédecinephysiqueetréadaptation,14articles (12%) en gynécologie, 12articles (10%) en urogynécolo- gie,11articles(10%)encolo-proctologieet3articles(2%) dans une revue de sexologie. Parmi les articles publiés avantlecongrès,4ontétépubliésdans unerevuespécia- liséeenurologie,1enurogynécologie,3engynécologieou urogynécologie,1article enneuro-urologie et 1article en colo-proctologie.Le délaimoyenentrela présentationen congrèsetlaparutiondel’articleétaientde22±15mois.
Lesjournauxdanslesquelscesarticlesontétépubliéssont énumérésdansleTableau1.Nousremarquonsquesoixante- troisarticles(57%)ontétépubliésdansdesrevuesayantun
Figure1. Lenombredecommunicationsparannée,lenombred’articlespubliésetlenombredecommunicationsnonpubliées.
impactfactor(IF)supérieurà2ettrente-neufarticles(35%) ontétépubliésdansdesrevuesderangAouB.Danstrente- septcas(soit33%descommunicationspubliées),lecontenu des articles était différent de celui des présentations de
congrès,intégrantdesdonnéesoudesanalysessupplémen- taires (y comprisdes augmentations decohortes pour les étudesprospectives). Notonsque41articles(37%)ontété citésplusde10foisdansGoogle-Scholar.
Tableau1 RevuesdanslesquelleslesarticlesenrapportaveclescommunicationsprésentéesaucongrèsdelaSIFUD-PP de2006—2012ontétépubliés.L’impactfactoren2014.
Nomdujournal Nombred’article IF2014
AmericanJournalofGastroenterology 1 9,213
AnnalsofPhysicalandRehabilitationMedecine 2 0,43
AnnalsofSurgery 1 7,188
ArchivesofGynecologyandObstetrics 1 1,279
BJUInternational 5 3,13
BMJOpen 1 2,271
BRJournalofDermatology 1 4,1
ColorectalDisease 4 2,351
DiseasesoftheColonandRectum 2 3,198
EuropeanJournalofObstetricsandGynecologyandReproductiveBiology 2 1,695
EuropeanUrology 5 13,93
FemalePelvicMedecineandReconstructiveSurgery 1 1,093
GastroenterologieCliniqueetBiologique 2 1,983
GynécologieObstétriqueetFertilité 3 0,52
InternationalBrazJUrol 5 0,956
InternationalJournalofColorectalDisease 1 2,415
InternationalJournalofGynecologyandObstetrics 3 1,537
InternationalUroGynecology 14 2,161
TheJournalofSexualMedicine 3 3,15
JournaldeGynécologieObstétriqueetBiologiedelaReproduction 5 0,622
JournalofMinimalIinvasivesGynecology 1 1,830
JournalofPediatricSurgery 1 1,387
JournalofUrology 9 4,471
MacromoleculairBioscience 1 3,65
Neuro-UrologyandUrodynamics 11 2,873
NeurogastroenterologyandMotility 1 3,424
PresseMédical 1 1,077
Progrèsenurologie 24 0,658
SpinalCord 4 1,804
TechniquesinColoproctology 1 1,344
Urology 4 2,188
Tableau2 Exempledetauxdepublicationobtenusaprèscommunicationsoralesencongrèspourdifférentesspécialités.
Auteurs Année Congrès Tauxdepublications,%
Urologie
Autorinoetal.[6] 2006 WCE2001—2002 20,50
Autorinoetal.[7] 2008 SIU2002—2004 22,10
Autorinoetal.[8] 2007 EAU2000—2001 47,30
Cartwrightetal.[3] 2007 ICS2003 61,60
Ngetal.[9] 2004 AUA1998—2000 37,80
GourtaudetBruyère[4] 2008 AFU2000—2001 34,50
Gynécologie
Schnatzetal.[10] 2008 NAMS1999—2003 38,30
Propstetal.[11] 2015 SGSASM2004—2012 82,4
Manucketal.[12] 2015 SMFM2003—2010 77,1
Mufflyetal.[13] 2014 AUGS2007—2008 56
GandhietGilbert[14] 2004 SGI90—99 75
Traumatologie
Rabendaetal.[15] 2015 ECCEO-IOF112011 75,6
Kwongetal.[16] 2007 IOC1999—2001 40,3
Rhumatologie
Yilmazetal.[17] 2013 EULAR2008 35
Otorhinolaryngologie
Cohenetal.[18] 2012 AA0-HNS2000—2004 60
WCE:WorldCongressofEndourology;SIU:Sociétéinternationaled’urologie;EAU:EuropeanAssociationofUrology;ICS:International ContinenceSociety;AUA:AmericanUrologicalAssociation;AFU:French AssociationofUrology; NAMS:NorthAmericanMenopause Society; SGSASM: Societyof GynecologicSurgeons Annual Scientific Meeting; SMFM: Society for Maternal-Fetal Medicine; AUGS: AmericanUrogynecologic Society;SGI: SocietyofGynecologicInvestigation; ECCEO:European CongressonOsteoporosis,Osteoar- thritis;IOC:InternationalOrthopaedicConference;EULAR:EuropeanLeagueAgainstRheumatism;AAO-HNS:AmericanAcademyof Otolaryngology,HeadandNeckSurgery.
Discussion
Chaquespécialité médicale étant représentéeparune ou plusieurssociétéssavantes,organisantaumoinsuncongrès annuel, nombre de travaux de recherche sont présentés sous la forme decommunications orales. La présentation d’unecommunicationoraleaenthéorieplusieursintérêts: propager uneinformation rapidement,mettre enlumière untravailencours,recueillirdescommentairesdelapart del’auditoire, permettantainsid’améliorer untravail de rechercheendébattantavecdescollègues.Lacommunica- tionorale a égalementdes vertus pédagogiques. Pour les médecinsenformation,elleestl’exercicedelacommuni- cationenpublic,quiestunatoutimportantpourunfutur rôleuniversitaireoudemanagement.
Le taux de publication après communication orale en congrès est variableselon les spécialitéset selon le type decongrès. Àtitred’exemple,le taux depublicationdes communicationsprésentéesaucongrèsdel’ICS(Internatio- nal Continence Society) en2003était de61% [3] etpour lescongrèsdelaAFU(Associationfranc¸aised’urologie)de 2000—2001[4],étaitde34,5%(cf.exemplesrapportésdans leTableau2)[5—18],Letauxdepublicationdescommuni- cationsprésentéesàlaSIFUDétaitde40%surlapériodede 2006—2012,cequiestcomparableàceuxdesautrescongrès nationaux,maisinférieuràceuxdescongrèsinternationaux.
Plusieurs hypothèses peuvent expliquer la non- publicationd’une communication. Les journaux médicaux refusent de publier certaines publications par choix édi- torial.Un projet peut être abandonné, les auteurs ayant jugé sa contribution d’importance mineure et priorisant la publication d’autres axes de recherche. Une commu- nicationconcernant des résultats préliminaires peut être intégréeplustarddansuntravailplusimportantetvoirsa publication reportée. Des compagnies pharmaceutiques, impliquéesdirectementdanscertainstravaux,fontparfois lechoixdenepaspubliercertainsrésultats.Lefinancement dedéplacementproposé parlescongrès auxparticipants, pourrait être un motif encourageant pour présenter une communication sans que l’auteur ne souhaite vraiment publiersesrecherches.Enfin,enFrance,afindevaliderles DES (diplômes d’études spécialisée), les internes doivent présenterune communicationoubien unposter lorsd’un congrès,maispeudeDESimposentunepublicationdansune revueindexée. C¸an’est le cas engynécologie quedepuis très peu de temps.Enfin, le devenir des communications peutvarierselonlestatutdel’équipequiprésentelesujet (universitaireounon-universitaire).
Dans une démarche d’optimisation (et de contrôle qualité!), certaines sociétés savantes demandent qu’un manuscrit complet soit soumis en même temps que le résumé, pour s’assurer de la «robustesse» des données
(méthodologieetrésultats).C’estlecasdelaSouthernTho- racicSurgicalAssociation[5].
Lefaitque lapublicationdes articlesentexteintégral soittardive(parfoisplusieurs annéesaprès),souligne par- ticulièrementl’intérêt des communicationslibres pour se tenirinformédesnouveautés.Toutefois,iln’estpasvérita- blementpossibled’apprécierlavaleurd’unerecherchesur unsimplerésumé.
Uneaugmentationdunombredecommunicationsestdû àl’augmentationdunombredeparticipantetl’intérêtplus importantàlapelvi-périnéologie.Néanmoins,lenombrede communicationsde valeur qui aboutissent à une publica- tion est stable. Nous ne pouvons expliquer cet écart qui se creuse entre le nombre croissant des communications présentéesetle nombrestable des publications. Ilserait toutefois intéressant d’évaluer les critères d’acceptation descommunicationslorsducongrèsdelaSIFUD-PP.
Leslimitesdecetravailsontd’abordliéeslaméthodo- logie choisie pour repérer les publications définitives. La recherche ayant été limitée à la base de données Pub- Med/Medline,uncertainnombred’articlespubliésdansdes revuesnonindexéesontpuêtreoubliés.
Conclusion
Letauxdepublicationsousformed’articlesentexteinté- gralsuiteà unecommunicationoraleau coursducongrès nationaldelaSIFUD-PPestfaible(40%),maissesituedans lamoyennedesautrescongrèsdespécialités.
Déclaration de liens d’intérêts
Lesauteursdéclarentnepasavoirdeliensd’intérêts.
Références
[1]FacioneJ,ChapusJ-J,LagaucheD,AmarencoG.Devenirdes communicationsoralesdelaSIFUD-PP:étudesurquatre ans despublicationsémanantdecescommunications.PelvPerineol 2007;2(4):309—12[Internet,cited2015Sep6].
[2]http://www.sifud-pp.org/congres/congres-annuels/2007/
index.phtml.
[3]Cartwright R, Khoo AK, Cardozo L. Publish or be damned?
The fate of abstractspresented at theInternational Conti- nence Society Meeting 2003. Neurourol Urodyn 2007;26(2):
154—7.
[4]GourtaudG,BruyèreF.[Whatisthepublicationrateofpapers presentedattheFrenchAssociationofUrologyannualconfe- rences?].ProgUrol2009;19(1):60—4.
[5]FosbølEL,FosbølPL,HarringtonRA,EapenZJ,PetersonED.
Conversionofcardiovascularconferenceabstractstopublica- tions.Circulation2012;126(24):2819—25.
[6]Autorino R, Quarto G, Sio MD, Lima E, Quarto E, Damiano R,et al.Fateofabstracts presentedat theWorldCongress of Endourology: are they followed by publication in peer- reviewedjournals?JEndourol2006;20(12):996—1001.
[7]AutorinoR, QuartoG,DiLorenzo G, GiuglianoF,Quattrone C, Neri F, et al. Whathappens to the abstracts presented at the Societè Internationale d’Urologie meeting? Urology 2008;71(3):367.
[8]AutorinoR, QuartoG, Di Lorenzo G, DeSioM, DamianoR.
AreabstractspresentedattheEAUmeetingfollowedbypubli- cationinpeer-reviewedjournals?Acriticalanalysis.EurUrol 2007;51(3):833—40[discussion840].
[9]Ng L, Hersey K, Fleshner N. Publication rate of abstracts presentedattheannualmeetingoftheAmericanUrological Association.BJUInt2004;94(1):79—81.
[10]Schnatz PF, Romegialli A, Abrantes J, Marakovits K, Cun- ningham D, O’Sullivan DM, et al. The North American MenopauseSociety:fromabstracttopublication.Menopause 2008;15(5):996—1001.
[11]Propst K, O’Sullivan D, Tulikangas P. Quality evaluation of abstracts presented at the society of gynecologic sur- geons annual scientific meeting. J Minim Invasive Gynecol 2015;22(6):1045—8.
[12]ManuckTA,BarbourK, JanickiL, BlackwellSC, BerghellaV.
ConversionofSocietyforMaternal-FetalMedicineabstractpre- sentationstomanuscript publications. AmJObstetGynecol 2015;213(3):405.e1—6.
[13]MufflyTM, Calderwood CS, DavisKM, Connell KA. The fate ofabstracts presented atannual meetings of theamerican urogynecologicsocietyfrom2007to2008.FemalePelvicMed ReconstrSurg2014;20(3):137—40.
[14]Gandhi SG, Gilbert WM. Society of Gynecologic Investiga- tion:whatgetspublished?JSocGynecolInvestig2004;11(8):
562—5.
[15]RabendaV,BruyèreO,CooperC,Rizzoli R,Buckinx F,Qua- bronA,etal.Publicationoutcomesoftheabstractspresented atthe 2011EuropeanCongress onosteoporosis,osteoarthri- tis and musculo-skeletal diseases (ECCEO-IOF11):a position paper of the European Society for clinical and economical aspects ofosteoporosis, osteoarthritis and musculo-skeletal diseases(ESCEO)andtheInternationalOsteoporosisandOther Skeletal Diseases Foundation (IOF). Arch Osteoporos 2015;
10:11.
[16]KwongY,KwongFNK,PatelJ.Publicationrateoftraumaabs- tractspresentedatanInternationalOrthopaedicconference.
Injury2007;38(7):745—9.
[17]YilmazS, KalyoncuU, CinarM,Karadag O, KocaSS,Simsek I,etal.Featuresandpublicationratesofscientificabstracts presentedatarheumatologycongress–EULAR2008.BullHosp JtDis2013;71(2):124—7.
[18]CohenMA,MirzaN,DowK,AbboudSK.Presentationandpubli- cationratesamongwomenandmenatAAO-HNSmeetings.ORL JOtorhinolaryngolRelatSpec2012;74(6):325—9.