4 Calibration and Numerical Results
4.4 Summary of Sensitivities
Para Cagnoli cit. por Rebello (2004, p. 81) “a medida da excelência da biblioteca está no quanto os recursos e serviços apoiam as atividades de ensino-aprendizagem e pesquisa nas instituições de ensino superior”. Quanto às possíveis razões para se avaliar os serviços de uma biblioteca, Lancaster cit. por Coletta and Rosenfeld (2007) alude à necessidade de estabelecer uma escala para: i) mostrar o nível de desempenho e comparar com outras bibliotecas; ii) justificar a existência das bibliotecas; e iii) identificar as possíveis causas de fracasso ou ineficiência dos serviços e melhorá-los. Os resultados das investigações e dos estudos de avaliação das bibliotecas possibilitam não só perceber o seu valor, mas são também, uma ferramenta poderosa ao fornecer informação que pode servir à tomada de decisão.
De acordo com Segurado, T. M. C. F. (2009, p. 10) “A atenção dedicada às atividades relacionadas com a avaliação de desempenho e da qualidade nas bibliotecas aumentou entre os profissionais das instituições de informação portuguesas. (…). Também Ochôa and Pinto (2007, p. 3) referem que “esta área de investigação reúne práticas regulares de auscultação do nível de satisfação dos utilizadores, havendo inúmeros questionários que são lançados com alguma regularidade.” Para Melo and Sampaio (2010, p. 1):
as investigações, no âmbito das medições da qualidade e do desempenho das bibliotecas e centros de documentação podem englobar os seguintes factores: perceção da qualidade da biblioteca por todas as partes interessadas – técnicas de benchmarketing – indicadores para aferição dos serviços eletrónicos – modelo do balanced scorecard – aferição de custos - avaliações qualitativas com base em inquéritos e grupos focais de utilizadores – avaliações do impacto e dos resultados dos vários serviços da biblioteca.
Neste contexto, apresentamos no quadro seguinte algumas abordagens utilizadas para avaliar o desempenho e eficácia nas bibliotecas:
Quadro 6. Métodos e modelos para avaliação de desempenho das bibliotecas (sistematização própria)
8 Segurado, T., & Amante, M. J. (2010). Avaliar para melhorar: o caso da Biblioteca do ISCTE-IUL. Paper presented at the Congresso Nacional de Bibliotecários, Arquivistas e Documentalistas: Politicas de Informação na Sociedade em Rede, Guimarães.
9 Para uma melhor compreensão desta ferramenta sugere-se a leitura do artigo: Melo, L. B., & Sampaio, M. I. C. (2010). Medição da Qualidade em Bibliotecas e Centros de Informação: Novos Indicadores de Desempenho. Paper presented at the 10º Congresso Nacional de Bibliotecários, Arquivistas e Documentalistas: Políticas de Informação na Sociedade em Rede, Guimarães
Métodos e modelos para avaliação (eficácia e desempenho) de bibliotecas
Descrição
Indicadores de desempenho
Em Portugal uma das ferramentas para avaliação das bibliotecas é a utilização da NP ISO 11620:2004. Esta norma apresenta um conjunto de indicadores de desempenho, nos quais, as bibliotecas se podem basear para avaliar os serviços e a satisfação dos utilizadores. São instrumentos de grande qualidade. A vantagem das bibliotecas realizarem avaliações com indicadores de desempenho prende-se com o facto de poderem avaliar individualmente os serviços. A norma estabelece assim, um conjunto de indicadores para aplicação em todos os tipos de bibliotecas e oferece orientação detalhada sobre a metodologia a empregar.8
Balanced Scorecard
Esta ferramenta de medição e gestão do desempenho continua a ser aplicada com sucesso em programas de avaliação e desempenho das bibliotecas, especialmente na Alemanha9. Baseia-se em indicadores de desempenho e “foram apresentados pela primeira vez por Robert kaplan e David Norton em 1992, como um conjunto de indicadores financeiros e não financeiros”(Marques e Oliveira, 2008, p. 109). “As perspectivas do BSC são as seguintes: recursos e infra-estruturas, utilização, eficiência, potencial e desenvolvimento” (Melo e Sampaio, 2010, p. 1).
Modelo de Excelência da EFQM
Criado pela Fundação Europeia para a Gestão da Qualidade (1999), este modelo aparece ligado aos modelos de gestão da qualidade e avaliação de desempenho das organizações. Engloba nove critérios para a avaliação e assenta essencialmente na liderança, nos processos, nos resultados e nos clientes (Ochôa e Pinto, 2012).
Metodologia LibQual+
Baseada no modelo ServQual, surgiu em 1999 e foi um projeto desenvolvido em parceria pela Association of Research Libraries e a Texas A&M University. Trata-se de um modelo de avaliação cujo enfoque reside em vários aspetos dos serviços, dados demográficos e nível de utilização das bibliotecas ("Assessing the value of library services,"). Esta ferramenta é padronizada e utilizada por várias bibliotecas nos Estados Unidos da América, Inglaterra, Austrália, entre outros.
VALOR DAS BIBLIOTECAS DO ENSINO SUPERIOR: ESTUDO DE CASO DA UA
40
Quadro 6. Métodos e modelos para avaliação de desempenho das bibliotecas (continuação). Métodos e modelos para
avaliação de bibliotecas Descrição
Modelo ServQual
Este modelo é baseado na “teoria dos gaps”, isto é, a avaliação é realizada em função da diferença (gap) entre as expetativas e as perceções do utilizador, relativamente aos aspetos da biblioteca que estão a ser medidos. Deste processo, resulta uma escala de avaliação da qualidade dos serviços (Melo e Sampaio, 2010). Segundo Lancaster, cit. por Rebello (2004, p. 81) a medida da qualidade e da satisfação do utilizador “é a diferença entre as expetativas em relação ao serviço e o desempenho observado”. De acordo com Parasuraman, Berry e Zeitham cit. por Teixeira and Filho (2008) os utilizadores avaliam a qualidade do serviço comparando o que desejam, ou esperam, com aquilo que obtêm. O modelo SERVQUAL, tem assim, por objetivo, analisar qualitativamente e quantitativamente o grau de satisfação do utilizador em relação à prestação de serviços. No Brasil por exemplo, o modelo Servqual, tem servido de fundamento para o Programa de Avaliação da Qualidade dos Produtos e Serviços do Sistema Integrado das Bibliotecas da Universidade de São Paulo e que teve o seu início em 2002.
“Projeto SECABA Lab – Laboratório para a Qualidade e Avaliação” (SECABA LAB, 2008)
Implementado em Espanha e adaptado do modelo “LIBqual+” é uma ferramenta que procura fomentar uma cultura de excelência na prestação dos serviços, conhecer os utilizadores e ter um melhor conhecimento do que estes percebem como serviços de qualidade, de modo a, obter informação que possa ser comparável com outras bibliotecas semelhantes – benchmarking. Esta ferramenta mede a perceção e a expetativa dos utilizadores em três grandes dimensões (Fig 2).
Figura 2. Dimensões para avaliação da qualidade das bibliotecas. Adaptado do projeto Secaba Lab – Laboratório para a Qualidade e a Avaliação.
As bibliotecas têm sido capazes de recolher dados sobre o nível de satisfação dos utilizadores, e através de indicadores de desempenho têm conseguido monitorizar produtos e serviços. A informação recolhida é muito útil para perceber o nível de desempenho e qualidade dos serviços, no entanto, não se foca especialmente no valor dos mesmos, nomeadamente no impacto das bibliotecas na aprendizagem, no ensino e na investigação
.
Assim, de acordo com Streatfield and Markless (2009) a maioria das bibliotecas sente-se confortável com a tradicional recolha de dados estatísticos para avaliação do desempenho e eficácia dos serviços. Isto porque, a avaliação do impacto das bibliotecas nos utilizadores é considerada uma tarefa muito difícil.Neste contexto, as estatísticas e as avaliações do desempenho dos serviços, resultam das atividades que são desenvolvidas nas bibliotecas, mas não são suficientes para medir o valor e para providenciar informação sobre os utilizadores (Henczel, 2006). É necessário caminhar para além do quantitativo e procurar resultados que avaliem o impacto, a experiência e o valor. Um nível de utilização alto da biblioteca e o volume de documentos disponibilizados, não implica que o valor percebido pelos utilizadores seja na mesma medida, isto porque, “usage is not synonymous with value” (Troll, cit. por Poll (2003, p. 6). Em suma, as estatísticas continuam a ocupar um lugar de destaque mas não são suficientes para perceber o impacto dos serviços nos utilizadores (Guimarães et al., 2006).
Atualmente, e porque os padrões de utilização das bibliotecas se modificaram com a introdução das novas tecnologias, a avaliação tende a centrar-se mais nos resultados, no valor para o utilizador e no retorno do investimento (valor financeiro). Esta realidade tem sido alvo de vários estudos e originou a necessidade de olhar para novos métodos de avaliação das bibliotecas.
Qualidade dos serviços da biblioteca Valor afetivo do serviço Empatia, motivação Competências Eficácia Espaço fisico da biblioteca Conforto Espaço acolhedor Disponibilidade Controlo da informação Cobertura/atualidade Recursos Acessibilidade
VALOR DAS BIBLIOTECAS DO ENSINO SUPERIOR: ESTUDO DE CASO DA UA