1. Commentaires sur le thème du temps
1.1 Réalisation d’une visite
« Le temps pour procéder à l'évaluation ou le temps de rédaction est souvent trop court. Il nous manque souvent l'équivalent d'une demi-journée ce qui occasionne des nuits presque blanches la veille de la séance synthèse. »
« Je fais des visites depuis 2011. Je pense sincèrement que la crédibilité de la démarche pour les années à venir passera soit par une diminution des critères à évaluer, soit par une augmentation du temps alloué à la démarche. »
« But I often find myself and the team leader are really rushed trying to complete our tracers, we feel that an extra half day added to the survey would be more humane in terms of pressure on us, and would do more justice to the organization. After all, they have worked for this day for 3 or 4 years, and we may only spend one hour on a whole priority process! We cannot realistically be as thorough as we would like. »
« Timing is the key. Need enough time to properly access the area being reviewed. Difficult at the best of times, very difficult when rushed. »
« Time allocated for tracers can vary from organization to organization depending on size and complexity. Often the time allotted is the same no matter what size site you are on. This often results in not enough time in the larger sites and too much time in the smaller sites. »
1.2 Répartition suffisante de temps
« For the most part surveys allocate enough time for traces. There is the odd survey: usually large regional surveys where surveyors are pushed for time. »
« The overall time available is appropriate, but when multisite surveys are done, more time needs to be allocated to pulling together multi-site results. This is especially important if Accredirate is not used, as the multisite information is not accessible until the last day. »
« Tracers are excellent but there is often limited time to really dig into a situation and multiple site surveys constrain the time available to be thorough considerably. »
1.3 Horaire de travail
« Pour ma part la plus gros défi c'est le temps! Les visiteurs (ceux avec qui j'ai travaillé) passent de nombreuses heures au-delà des heures normales de travail pour terminer le travail. C'est épuisant. Lorsque nous passons la journée à effectuer des traceurs (deux normes et des centaines de critères) le travail de cotation et de rédaction se fait en soirée (après le souper) et durant la nuit. C'est exténuant et non acceptable. Je travaille de 6h00 le matin jusqu'à 2h00 du matin… souvent. À revoir SVP. Après une visite je suis littéralement épuisée… et je ne suis pas la seule! Le travail d'un visiteur est exigeant et le travail bien fait est de mise. La rigueur doit être au rendez-vous de notre part. »
« La qualité de l'évaluation repose entre autre sur l'investissement en temps du visiteur. Par exemple, si je prends ma situation, mes journées de travail lors des visites sont de 05h00 à 0h00 chaque jour. Je le fais afin de me permettre le plus de temps possible à l'exercice du traceur. »
« Le fait que la plupart des visiteurs surtout ceux qui ont des traceurs cliniques, travaillent le soir très tard est une préoccupation. Nous ne devrions pas nous retrouver à travailler plus de 10 heures par jour! Une réflexion importante à se pencher. »
1.4 Charge de travail
« The most time consuming part of the survey is the compilation of survey data between surveyors, particuarly for multi-site surveys, and the preparation of reports. The time necessary for surveyor information exchange and collaboration on a daily basis is sometimes underestimated. »
« I still find at times, no matter the size of the organization, the assignments are excessive and unbalanced. Some surveyors have down time during the day to enter data while others work right through the day especially when travel is involved. I also feel rushed sometimes when carrying out an appropriate assessment especially when it's an area I'm not familiar with. » « This creates challenges with timing of course. The on-site surveys are very rushed, hard to be thorough, when moving from group to group, need to have more travel/movement time especially in multi-site or larger organizations and chances for the peer reviewers to consult during the day. Most of this takes place at night and as well prep for the next days. On recent surveys, some of us have adjusted the priority processes schedule so that there is a more equal distribution of work load. When the org is good and prepared, the flow can work but when there are issues, or quality of the work is not so high, it is important to have flexibility for the peer reviewers to optimize the feedback for the org and for accurate work. »
1.5 Répartition des tâches
« Le nombre de normes à coter n'est pas équitable entre les visiteurs »
« Il existe une grande disparité dans le temps alloué pour les visites. Certaines permettent une visite complète et des traceurs adéquats. Cela se produit surtout dans les centres de petite et moyenne taille. Lors des visites de très grands centres (ex : CHUM, CUSUM, services correctionnels, etc.) ou quand plusieurs déplacements sont requis, le temps alloué (ou le nombre de visiteurs) est nettement insuffisant pour permettre de couvrir adéquatement les services. Certains horaires attribuent beaucoup de processus prioritaires cliniques (donc 5 volets pour chacun des processus cliniques) à un même visiteur ce qui génère une surcharge de travail pour ce dernier. Il serait intéressant qu'il y ait plus d'uniformité entre les horaires élaborés par les différentes spécialistes d'Agrément Canada. »
« The question around number of priority processes to be assessed is totally inappropriate on a solo survey, very busy but appropriate for a two person survey, and extremely easy on a large survey. Team leader often gets as many priority processes as other surveyors and has a lot more work to do. »
« Doing episode of care which A.C. counts as one priority process has 5 parts to it. Doing environmental services is just a couple of questions, so no distribution is not fair. Appropriateness of time to prepare is ridiculous now. We used to get 1/2 a day now we get 2 hours and that includes travel time to the facility and set up time so of course we do all the prep on our own time. »
2. Déroulement d’une visite
2.1 Le bon déroulement d’une visite, son efficacité et la qualité des résultats qui en découlent
« La personnalité du chef d'équipe, la composition des visiteurs et l'expertise de chacun est aussi essentielle à la planification et au déroulement de toute visite que le support fourni par l'équipe d'Agrément Canada en regard des traceurs. »
« De même, la qualité du travail de collaboration de l'équipe fait une grande différence dans le respect du délai alloué lors des visites. »
« When conducting an on-site survey, the surveyors should reach a common ground with respect to the final assessment of the organization meeting the standards, especially related to the information collected during a tracer. I think it is imperative that if the surveyor thinks that a tracer resulted in questionable information or provided weak evidence that the organization met the required standards, the surveyor should go back and reassess this tracer and invite the other surveyors to participate in order to validate the findings. This helps to eliminate any surveyor bias in the evaluation process. »
« Each surveyor is independent in how to approach the tracer in a given priority process or organization. There is not usually a lot of discussion about it. The tracer has moved the survey process from self-assessment and talking to a few committee members, who prepared for the site visit, to a more interactive process, which engages service providers, and makes accreditation more relevant. The tracers do not always proceed in a logical manner, as the eventualities of the survey day and availability of people have to be taken into account. It is the surveyor who is responsible for making the most of what the organization provides and applying this information to the on-site survey and survey requirements. »
2.2 Le chef d’équipe
« Le rôle du chef d'équipe est primordial. J'ai fait certaines visites avec des chefs très organisés et d'autres où le chef avait de la difficulté à faire ses traceurs donc à encadrer la visite. »
« La compétence du chef d'équipe est un élément fondamental pour une visite bien réussie et satisfaisante pour les visiteurs ainsi que pour l'établissement visité. Si je peux me permettre, j'ajouterais qu'Agrément Canada doit être vigilant pour le choix et l'encadrement des chefs d'équipe afin de bien représenter l'organisme et de maintenir les liens de confiance. »
« The team leaders have variable leadership priorities. Some are so insecure they don't have time to meet with the team on a daily basis for the needed exchanges to ensure a cohesive approach to the report. Other team leaders don't have the leadership skills or knowledge. »
« I have had very positive experience the last few surveys....highlighting the impact of a very interactive and supportive leader. »
2.3 Séances d’échange d’information
« Il est à noter que les discussions, échanges quotidiens, etc. entre pairs et avec le coordonnateur sont particulièrement utiles en début de visite. Le temps consacré à ces activités diminue au fur et à mesure que la visite progresse. À noter aussi que l'équipe de visiteur est constamment en contact avec le coordonnateur (et son équipe) tout au long de la visite pour des ajustements. Ceci se fait systématiquement le matin et selon le besoin au cours de la journée. »
« I have done ten surveys and I have not yet been happy with the peer surveyor discussion. In my mind, it should be more formal sharing, instead of some more vocal surveyors going on for an hour about one issue and no time for anyone else to talk about what they have found. Sometimes a day or two later I find out that someone saw something that I should have known for my set of standards. Very irritating!! »
« Effectiveness of daily peer reviewer sharing sessions depends greatly on the person who is leading the sessions. They can vary from highly effective to not effective. »
« If you have 20 surveyors over several provinces and we are trying to do a teleconference you have 5 minutes each and even then it is an hour and a half teleconference and everyone still has to travel to a different location so there is no real daily peer review. »
2.4 Personnel interne aux organisations
« Par ailleurs, et c'est un commentaire sur l'ensemble de la démarche Qmentum, il y a selon moi une certaine indifférence du corps médical et même parfois un certain cynisme exprimé par les médecins avant, pendant et après les visites. Cela me semble démotivant pour l'ensemble des autres gestionnaires, professionnels et travailleurs qui de leur côté, travaillent fort pour s'y préparer et se sentent vraiment concernés par l'atteinte ou non des résultats. Agrément Canada est probablement conscient de cela et c'est un enjeu délicat j'en conviens. Il faudra un jour progresser là-dessus, tant dans le processus continu d'amélioration de la qualité que dans la construction de critères et normes plus ciblés vers le corps médical. »
« Medical staffs on-sites have very little understanding of tracers - and tend to dominate time. » « Many organizations continue to struggle to gain appropriate engagement of medical staff in the survey process. »
« In the last set of questions I take medical staff to be the medical staff of the organization under survey and it is true that most physicians are not well aware of what the survey is about, nor what a tracer involves. »
3. La préparation
3.1 Préparation des visiteurs et des organisations
« De plus, il est actuellement presqu'impossible pour des visiteurs d'être au fait de toutes les recommandations qu'un établissement puisse avoir reçues dans les mois précédant une visite, et d'arrimer avec la démarche nos commentaires. C'est pourquoi je suis de plus en plus sévère sur la préparation à la visite, qui laisse vraiment à désirer chez certains visiteurs, dont certains n'ont même pas pris le temps de voir les résultats de la dernière visite d'Agrément chez l'établissement visité, ni lu la planification stratégique, etc. »
« I develop my questions on my own time prior to the on-site survey as there is little time to do this during the planning morning. I find the validator sheets most helpful when doing a tracer; the sheets are well organized and addresses the standards »
« Sites prepare differently and expect to be challenged to demonstrate their compliance. » « The main issue that I have confronted is having an organization that is highly prepped for our arrival with everyone on their best behaviour. Everyone wants the highest award possible. It is like trying to get all A's in university. You don't learn as much and you tend to focus on gaming the system »
« For proper tracer planning, it is always helpful to get some of the important information prior to onsite survey (at least 1 week before the survey). A list of required documents/policies and procedure (required during Tracer Methodology) will be helpful for surveyors as well as organization. Current list of required documents need revision, addition of some of the important policies and procedures in the list of required documents will help organization to understand the process better. »
3.2 Documentation requise
« Il nous manque souvent la documentation requise pour bien se préparer à effectuer le traceur. Nous sommes à la remorque de cette dernière en cours de visite »
« La documentation fournie par l'établissement est généralement suffisante. La disponibilité de la documentation «obligatoire» devrait toujours être fournie à l'avance pour permettre de consulter la documentation spécifique aux processus prioritaires sur place avant le début de la visite comme tel. »
« It is hard to plan for the survey if we do not get all the info we need in advance. On our planning time prior to the survey, A. C. has encouraged us not to ask for anything more than their standard list. Many of us still do as it is not possible to do a survey without background information, and this is why facilities that are in major problems with the MOH in Ontario are getting good reviews from AC because surveyors do not have time on-site to look at mins etc. They are passing A.C. standards and gave not had an Infection control meeting for a year and staff are not communicated with on any level... it is quite scary. »
« Availability of documentation... there is little time other than at noon and after 5 to refer to documentation on-site, that is why it was so much easier when we used to get it ahead of time… »
4. La formation
4.1 Amélioration continue
« En ce qui concerne la formation continue, même si c'est dispendieux, je crois que le congrès devrait se tenir aux deux ans. Il permettrait une mise à jour constante. À tout le moins, des rencontres de chefs d'équipe devraient se tenir sur une base plus régulière, ce qui ne se fait actuellement que lors du congrès. »
« Personnellement, malgré plusieurs années comme visiteurs, il m'a fallu environ 5 visites pour développer une approche qui rencontre les objectifs des traceurs, mais approche probablement différente de mes collègues. Ce manque de cohérence entre les visiteurs peut engendrer auprès des établissements une confusion quant à l'outil. »
« La formation sur les processus prioritaires a été très bonne, mais encore à ce jour, plusieurs visiteurs n'ont pas la même compréhension ou approche quant à l'utilisation des traceurs et Agrément Canada n'a pas été capable de mettre en place une formation claire et concrète sur l'utilisation des traceurs. »
« Emphasis should be placed on the importance of informing staff/leadership/doctors about the tracer practice that surveyors follow. This is often inconsistent from one organization to another. Surveyors need to have access to the clinicians at any time during the survey without feeling that they are bothering the staff or in their way. »
« The continuous ongoing training of surveyors is very important in assuring accuracy of the ratings and consistency across surveys. »
4.2 Commentaires généraux
4.3 Critères d’analyse
« Les établissements ont de plus en plus de normes et de critères à faire évaluer. Agrément Canada en ajoute, mais il n'en retire pas. Je crois que pour faire preuve d'efficacité et ne pas perdre le sens de l'évaluation, une équipe devrait régulièrement se pencher à la "désélection" de critères. Cela aurait pour effet d'accorder une importance plus relative aux critères qui méritent une attention particulière. »
« Je crois qu'il faudrait aussi revoir les libellés des critères, car pour un même aspect, comme l'interdisciplinarité, il peut y avoir 6 ou 7 questions (Ex: Travaillez-vous en inter? Avez-vous des locaux pour travailler en inter? Avez-vous de la formation pour travailler en inter? Est-ce qu'on encourage l'inter? Etc.) Ce serait probablement un bon moyen de diminuer le nombre de critères! »
« The concept of the tracer methodology is an "ideal". It does not reflect both the time allocated during a survey to carry out such a process and more importantly, it is too prescriptive when
specific tracers are pre-determined by the Accreditation Specialist within the body of the schedule. To be effective, a tracer needs to be determined by the Surveyor during the site survey, as questions/processes are questioned during the survey process. When the tracers are "pre-determined" by the specialist and identified in the schedule, there is literally almost no point in carrying out that tracer… it's a waste of everyone's very valuable time as the organization has "prepared" for this tracer. »
« One issue with respect to the tracers related to Human Capital, is that the prior consent to view a human resource record usually means that the organization can select from among its most complete HR records prior to our visit. While we ask for specific criteria (e.g. long term employee, a manager, an RN, and RPN/LPN, a PSW, clerical person etc.) it is not as random as a health record. In Ontario, the PHIPA exemption size for HR records for example used to assess the effectiveness of Human Capital. »
« The biggest challenge is not the tracer methodology… It works generally well and is a much better way to see and interact with front line staff and events that occur on the front line. The biggest challenge is the time needed to carefully complete the documentation at the end of each tracer. There are still way too many badly flawed questions that often are focused on minor issues and major issues are often covered superficially. There are only three answers… Yes, No and N/A and most situations fall between. Recently assessed a good small hospital that scored well because they meet most of the criteria with policies and processes that meet the intent of the question but the quality of the policy or process was generally of a poor quality. A gradient