Uma das questões avaliadas e elencadas na revisão bibliográfica foram os Fatores Críticos para o Sucesso – FCS de projetos de PMIs e os reflexos destes nos FCS de PPP/PFI. Partiu-se da premissa de interdependência dos FCSs, sendo estes
organizados e agrupados42 em 24 características de impacto positivo e 21
características de impacto negativo.
Quadro 32 – Fatores críticos para o sucesso – FCSs (a)
Posição Positivos Posição Negativos
1 Propostas contrárias apresentadas 1 Propostas contrárias apresentadas 2 Montante de tempo e informação disponível 2 Aprovação preliminar da proposta 3 Aprovação preliminar da proposta 3 Negociação e finalização do projeto 4 Negociação e finalização do
projeto 4 Valor do bônus
5 Valor do bônus 5 Estabelecimento do preço
ideal 6 Estabelecimento do preço
ideal 6 Transparência do processo
7 Transparência do processo 7 Publicação para licitação 8 Publicação para licitação 8 Concessão apropriada de
contratos e acordos 9 Concessão apropriada de contratos e acordos 9 Alinhamento estratégico de metas e objetivos 10 Alinhamento estratégico de metas e objetivos 10 Papéis e responsabilidades claramente definidos dos participantes do projeto 11 Definição clara e documentada de escopo do projeto 11 Evitar duplicações de instalações similares 12 Papéis e responsabilidades claramente definidos dos participantes do projeto
12 Apoio à aquisição de terras
13 Evitar duplicações de instalações similares 13 Aprovação e expedição de permissões Continua Conclusão
42 Decorrente das integrações dos FCSs de PPP/PFI e PMI que convergiram nas categorias de Micro e Macro nível (tabelas 23 a 28).
Posição Positivos Posição Negativos
14 Apoio a aquisição de terras 14 Subsídios construtivos
15 Aprovação e expedição de permissões 15 Coordenação da Sociedade de Propósito Específico com investidores financeiros 16 Subsídios construtivos 16 Coordenação da Sociedade de Propósito Específico com arquitetos e engenheiros 17 Coordenação da Sociedade de Propósito Específico com investidores financeiros
17
Coordenação da Sociedade de Propósito Específico com supervisores e
inspetores dos construtores 18
Coordenação da Sociedade de Propósito Específico com arquitetos e engenheiros 18 Coordenação da Sociedade de Propósito Específico com o construtor 19 Coordenação da Sociedade de Propósito Específico com supervisores e inspetores dos construtores
19 Contramedida para evitar queixas públicas
20 Boa governança 20 Rendimento mínimo
garantido 21
Coordenação da Sociedade de Propósito Específico com o construtor
21 Informações disponíveis inconsistentes
22 Contramedida para evitar queixas públicas
23 Rendimento mínimo garantido
24
Alocação apropriada de risco entre o setor público e privado
Fonte: Elaborado pelo Autor.
Apresentada a relação de FCSs aos avaliadores, foi pedido para que os 5 (cinco) mais críticos tanto positivos como negativos fossem ranqueados, atribuindo o grau de relevância do primeiro ao quinto colocado. Os FCSs foram ordenados em postos de posição encontrando os seguintes resultados do grupo amostral.
1ºFCS Positivo Posto de
Posição Freq. % Descrição
1 14 31,1 Transparência do processo
2 7 15,6 Definição clara e documentada de escopo do projeto
3 6 13,3 Montante de tempo e informação disponível 4 6 13,3 Alocação apropriada de risco entre o setor público
e privado
5 5 11,1 Propostas contrárias apresentadas
2º FCS Positivo Posto de
Posição Freq. % Descrição
1 8 17,8 Alocação apropriada de risco entre o setor
público e privado
2 6 13,3 Papéis e responsabilidades claramente definidos dos participantes do projeto
3 5 11,1 Montante de tempo e informação disponível
4 4 8,9 Transparência do processo
5 4 8,9 Alinhamento estratégico de metas e objetivos
3º FCS Positivo Posto de
Posição Freq. % Descrição
1 8 17,8 Papéis e responsabilidades claramente
definidos dos participantes do projeto
2 6 13,3 Definição clara e documentada de escopo do projeto
3 5 11,1 Montante de tempo e informação disponível 4 5 11,1 Aprovação preliminar da proposta
5 5 11,1 Transparência do processo
4º FCS Positivo Posto de
Posição Freq. % Descrição
1 8 17,8 Transparência do processo
2 7 15,6 Alocação apropriada de risco entre o setor público e privado
3 4 8,9 Propostas contrárias apresentadas
4 4 8,9 Montante de tempo e informação disponível 5 4 8,9 Publicação para licitação
5º FCS Positivo Posto de
Posição Freq. % Descrição
1 7 15,6 Boa governança
2 6 13,3 Montante de tempo e informação disponível 3 6 13,3 Papéis e responsabilidades claramente
definidos dos participantes do projeto 4 4 8,9 Publicação para licitação
5 3 6,7 Aprovação preliminar da proposta Fonte: Elaborado pelo Autor.
Os Fatores Críticos para o sucesso Negativos tiveram o mesmo tipo de abordagem sendo ordenados também por escala de relevância. Daquele que
causaria o efeito mais nefasto no projeto de PMI se não fosse observado ao quinto mais prejudicial para a evolução da PPP/PFI.
Tabela 5 – Postos de posição FCSs negativos
1º FCS Negativo Posto de
Posição Freq. % Descrição
1 18 40 Informações disponíveis inconsistentes
2 14 31 Propostas contrárias apresentadas 3 5 11 Apoio a aquisição de terras
4 2 4,4 Estabelecimento do preço ideal 5 2 4,4 Rendimento mínimo garantido
2º FCS Negativo Posto de
Posição Freq. % Descrição
1 8 18 Propostas contrárias apresentadas
2 7 16 Aprovação preliminar da proposta 3 5 11 Rendimento mínimo garantido 4 4 8,9 Valor do bônus
5 4 8,9 Transparência do processo
3º FCS Negativo Posto de
Posição Freq. % Descrição
1 7 15,6 Negociação e finalização do projeto
2 6 13,3 Estabelecimento do preço ideal 3 5 11,1 Propostas contrárias apresentadas
4 4 8,9 Coordenação da Sociedade de Propósito Específico com investidores financeiros
5 3 6,7 Valor do bônus
4º FCS Negativo Posto de
Posição Freq. % Descrição
1 9 20 Valor do bônus
2 7 15,6 Aprovação preliminar da proposta 3 4 8,9 Propostas contrárias apresentadas 4 3 6,7 Negociação e finalização do projeto 5 3 6,7 Apoio a aquisição de terras
5º FCS Negativo Posto de
Posição Freq. % Descrição
1 10 22,2 Estabelecimento do preço ideal
2 9 20 Aprovação preliminar da proposta 3 7 15,6 Negociação e finalização do projeto
4 4 8,9 Valor do bônus
5 4 8,9 Subsídios construtivos Fonte: Elaborado pelo Autor.
Posterior à análise das posições, os 24 FCSs positivos e 21 FCSs negativos foram submetidos a Análise Hierárquica de Clusters [Agrupamento], organizados e
interpretados foram estabelecidos 09 agrupamentos e armazenamento nos respectivos centroides (tomando por intervalo a distância euclidiana quadrática), sem a transformação de valores considerando que estes já estão padronizados em números naturais e inteiros.
Os FCSs positivos plotados no gráfico 6 resultaram na aglomeração de coeficientes por meio da Stopping Rules Hierarchical Cluster Analysis (PHIPPS, 1971), representando o montante de heterogeneidade encontrada na solução de cluster, em que as barras significam o grau de alteração dos coeficientes na tabela de aglomeração, com o respectivo estágio de parada.
Gráfico 6 – Stopping rule analysis FCSs positivos
Fonte: Elaborado pelo Autor.
Observada a melhor solução de heterogeneidade, 9 (nove) agrupamentos clusters com soluções distintas foram encontradas, a numeração que antecede o fator crítico indica a ordem na lista apresentada aos entrevistados:
Figura 15 – Agrupamento de FCSs positivos
7 Transparência do processo 8 Publicação para licitação
9 Concessão apropriada de contratos e acordos
3 Aprovação preliminar da proposta
24 Alocação apropriada de risco entre o
setor público e privado 10 Alinhamento estratégico de metas e objetivos
12
Papéis e responsabilidades claramente definidos dos participantes do projeto
21 Coordenação da Sociedade de Propósito
Específico com o construtor
22 Contramedida para evitar queixas públicas
14 Apoio a aquisição de terras
2 Montante de tempo e informação
disponível 18
Coordenação da Sociedade de Propósito Específico com arquitetos e engenheiros 19
Coordenação da Sociedade de Propósito Específico com supervisores e inspetores dos construtores
17 Coordenação da Sociedade de Propósito
Específico com investidores financeiros
11 Definição clara e documentada de
escopo do projeto 16 Subsídios construtivos
15 Aprovação e expedição de permissões
13 Evitar duplicações de instalações similares
1 Propostas contrárias apresentadas 6 Estabelecimento do preço ideal
23 Rendimento mínimo garantido
5 Valor do bônus
20 Boa governança 4 Negociação e finalização do projeto
3 - Cluster: Responsabilidade 2 - Cluster: Risco
1 - Cluster: Transparência
9 - Cluster: Coordenação de Stakeholders 8 - Cluster: Atos Jurídicos
7 - Cluster: Governança 6 - Cluster: Concorrência 5 - Cluster: Escopo 4 - Cluster: Informações
Fonte: Elaborado pelo Autor.
A análise de cluster das matrizes de distância (dissimilaridade) tem sido o procedimento mais utilizado para exibir estruturas de distância em termos de árvores (MASON et al., 2005) cuja topologia é definida como a relação de padrão de ramificação entre os fatores (MOUCHET et al., 2008).
Os resultados mostraram que o comprimento do dendograma exposto a seguir e o número da FCSs estão positivamente correlacionados. Em geral, os valores de diversidade funcional provenientes de diferentes números de FCSs só podem ser comparados se alguma normalização for utilizada para explicar o efeito do número de Fatores Críticos subjacente (CRUZ; MARQUES, 2013) não sendo estes objetos enquadrados no recorte do trabalho. Tal verificação analítica é ensejo para projetos futuros.
Gráfico 7 – Dendograma agrupamentos positivos
Fonte: Elaborado pelo Autor.
Outro recorte foi a análise dos FCS – Negativos, pela Stopping Rules
Hierarchical Cluster Analysis que resultou em 8 (oito) agrupamentos clusters, conforme observado no Gráfico 8.
Gráfico 8 – Stopping rule analysis FCSs negativos
Fonte: Elaborado pelo Autor.
A melhor solução de heterogeneidade para os FCSs – Negativos foi com 8
(oito) agrupamentos clusters, conforme observado na figura 16, seguindo o mesmo princípio dos FCSs – positivos.
Figura 16 – Agrupamento de FCSs negativos
1 - Cluster: Informações Inconsistentes 7 - Cluster: Rendimentos Mínimos
21 Informações disponíveis inconsistentes 20 Rendimento mínimo garantido
2 - Cluster: Concorrência 8 - Cluster: Coordenação de Stakeholder (Partes Interessadas)
1 Propostas contrárias apresentadas 10Papéis e responsabilidades claramente definidos dos participantes do projeto
19 Contramedida para evitar queixas públicas
3 - Cluster: Bônus 9 Alinhamento estratégico de metas e objetivos
4 Valor do Bônus 8 Concessão apropriada de contratos e acordos
17Coordenação da Sociedade de Propósito Específico com supervisores e inspetores dos construtores
4 - Cluster: Aprovação preliminar da proposta 11 Evitar duplicações de instalações similares
2 Aprovação preliminar da proposta 18Coordenação da Sociedade de Propósito Específico com o construtor
16Coordenação da Sociedade de Propósito Específico com arquitetos e engenheiros
5 - Cluster: Negociação do Valor 13 Aprovação e expedição de permissões
3 Negociação e finalização do projeto 7 Pubicação para a licitação 4 Estabelecimento do preço ideal 6 Transparência do processo
15Coordenação da Sociedade de Propósito Específico com investidores financeiros
6 - Cluster: Aquisições 14 Subsídios construtivos
12 Apoio a aquisição de terras
Os Fatores Críticos Negativos identicamente ao processo anterior, tiveram as distâncias euclidianas redimensionadas possibilitando a observação dos núcleos agrupados.
Gráfico 9 – Dendograma agrupamentos negativos
Fonte: Elaborado pelo Autor.
O conjunto de dados que compõe as variáveis “Presença de Subjetivismo nas PMIs”, “Número total de PPP/PFI Gerenciadas” e “Número total de PPP/PFI Gerenciadas” foram testadas por meio da Correlação de Spearman (YUAN et al.,
2009), com P-value (α = 5%) significativo e encontrada relação monotônica
descendente não linear entre as variáveis. Tal comportamento resultou em uma correlação negativa fraca, reforçando o obtido na comparação de médias e mediana,
sendo possível rejeitar a Hipótese Nula (H0): Não existe correlação entre experiência com Projetos de PPP/PFI e PMI e reconhecimento de subjetivismo nas avaliações de PMIs (UNPs), mas suscitando a reflexão sob quais seriam os fatores que impactam no subjetivismo das PMIs (UNPs).
Tabela 6 – Coeficiente de correlação de Spearman
Nº Total de PPPs Gerenciadas Subjetivismo na avaliação de PMIs rô de Spearman Nº Total de PPPs Gerenciadas Coeficiente de Correlação 1 -0,317 Sig. (2 extremidades) 0,034 N 45 45 Nº Total de PMIs Gerenciadas Subjetivismo na avaliação de PMIs rô de Spearman Nº Total de PMIs Gerenciadas Coeficiente de Correlação 1 -0,305 Sig. (2 extremidades) 0,042 N 45 45
Fonte: Elaborado pelo Autor.
Outra análise contemplada no estudo foi a verificação da existência ou não de correlação entre a percepção dos respondentes sobre o atual desenho dos escopos das PMIs por meio do Coeficiente de Correlação Tau b de Kendall. Neste contexto as variáveis alvo são: “Subjetivismo nas Avaliações de Projetos de PMIs” e “Escopo de PMIs”.
Por meio do Coeficiente de Correlação de Tau b de Kendall, a correlação de postos de posições entre duas quantidades medidas, na qual é possível verificar a semelhança entre as ordens das observações quando classificadas por cada uma das quantidades. O índice de correlação entre as variáveis testadas será alto se as observações tiverem postos de posições semelhantes, ou seja, classificações equiparadas. Inversamente a correlação de Kendall, será baixa se a comparação dos postos de posições das variáveis comparadas apresentarem classificações distintas. Onde o coeficiente Tau b de Kendall é dado pela equação 2.
Equação 2:
, em que:
n é o número de observações da amostra, nc = Quantidade de pares concordantes e nd = Quantidade de pares discordantes. n0 é n(n-1)/2; n1 = e n2 = .
ti representa o número de valores empatados i-ésimo conjunto de empates para a
primeira variável “E”;
uj representa o número de valores empatados i-ésimo conjunto de empates para a
segunda variável “S”; Respeitando as propriedades: (i) intervalo do coeficiente , -1
< < +1 , (ii) quanto coeficiente = 1, indica equivalência padrão dos postos de posições das variáveis, ou seja, concordância entre os ranks das variáveis, (iii) quanto mais próximo de -1, maior será a discordância entre os postos de posições e (iv) quanto mais próximo de 0 (zero), presentará independência entre as variáveis comparadas.
O teste de hipótese do coeficiente indica se duas variáveis podem ser estatisticamente dependentes ou não se levando em conta distribuição não paramétrica e amostra relativamente pequena (n<=50, no estudo n=45) e P-Value (α
= 5%), traçando como Hipótese (Ho): correlação entre as variáveis “(E) – Escopo
de PMIs” e “(S) – Subjetivismo nas Avaliações de Projetos de PMIs”.
Tabela 7 – Correlação tau b de Kendall
Escopo de PMIs Subjetivismo nas Avaliações de Projetos de PMIs tau_b de Kendall Escopo de PMIs Coeficiente de Correlação 1 0,267 Sig. (2 extremidades) - 0,04759 N 45 45
Fonte: Elaborado pelo Autor.
Resultando em correlação fraca e P-Value significativo, reforçando o obtido
definição do escopo (E) fator de impacto no (S) subjetivismo das PMIs (UNPs), sendo este um dos fatores preditivos, mas não determinante.
A tabela de referência cruzada da argumentação relativa a mensuração do grau de subjetivismo de avaliação dos escopos do projeto e o grau de clareza destes resultou em respostas centradas em concordância forte para o grau de subjetivismo nas avaliações e escopos poucos definidos.
Tabela 8 – Referência cruzada de subjetivismo43
Concordo
Totalmente Concordo
Concordo
Parcialmente Neutro Discordo
Discordo Totalmente
Pouco Definido 8 9 9 2 0 0 28
Flexível e Ajustável 3 0 9 0 0 0 12
Bem desenhado 0 1 1 0 0 0 2
Prefiro não informar 0 0 2 1 0 0 3
11 10 21 3 0 0 45
Total
Q19 - Subjetivismo nas Avaliações de Projetos de PMIs
Total
Q22 - Escopo de PMIs
Fonte: Elaborado pelo Autor.
As Propriedades de Visão de Produto foram organizadas nas tabelas 9 e 10 e ilustradas pelos respectivos gráficos 10 e 11, com os postos de posições de acordo com o grau de relevância atribuído pelos respondentes a melhoraria identificada nos procedimentos de avaliação dos Projetos de PMI (UNP) submetidos aos entes concedentes. É possível observar notadamente a forte tendência dos respondentes as propriedades Clareza e Concisão, no primeiro e segundo posto de posição e um acentuado preterimento as posições finais as propriedades relacionadas a flexibilidade e acessibilidade.
Tabela 9 – 1º ao 5º Posto de relevância das propriedades de visão do produto Propriedade 1 o Posto de Posição 2o Posto de Posição 3o Posto de Posição 4o Posto de Posição 5o Posto de Posição Clareza 28 13 5 2 1 Concisão 2 15 12 4 5 Priorizadora 2 7 10 13 4 Comunicadora 0 2 2 9 16 Antecipadora 0 0 3 2 9
Alinhado com a estratégia 12 6 2 6 4 Metafórica [Compreensão
intuitiva de objetos] 0 0 0 0 0 Análoga [Que converta o
intuitivo em explícito] 0 0 5 1 2
Acessível 1 1 3 5 3
Flexível 0 1 3 3 1
Número de Incidência ao Posto de Posição
Fonte: Elaborado pelo Autor.
Gráfico 10 – 1º ao 5º Posto de relevância das propriedades de visão do produto
Fonte: Elaborado pelo Autor. 1º Posto de Posição 2º Posto de Posição 3º Posto de Posição 4º Posto de Posição 5º Posto de Posição
Tabela 10 – 6º ao 10º Posto de relevância das propriedades de visão do produto Propriedade 6 o Posto de Posição 7o Posto de Posição 8o Posto de Posição 9o Posto de Posição 10o Posto de Posição Clareza 1 1 1 1 1 Concisão 3 0 1 2 0 Priorizadora 5 3 1 0 0 Comunicadora 5 8 2 0 0 Antecipadora 10 11 6 2 1
Alinhado com a estratégia 7 3 3 0 0 Metafórica [Compreensão
intuitiva de objetos] 2 11 11 10 9 Análoga [Que converta o
intuitivo em explícito] 2 3 13 12 7
Acessível 6 2 3 14 7
Flexível 4 3 4 4 20
Número de Incidência ao Posto de Posição
Fonte: Elaborado pelo Autor.
Gráfico 11 – 6º ao 10º Posto de relevância das propriedades de visão do produto
Fonte: Elaborado pelo Autor.
Cabe destacar que o coeficiente de Kuder-Richardson 20 Test (α = -0,155, Número de itens 10), apontou para Consistência Inexistente, colocando em questionamento a viabilidade de utilização dos dados. A pouca familiaridade dos entrevistados com as Propriedades pode ter conduzido a indicação de inconsistência. Contudo, quando instruídos sobre a forma de aplicação para a avaliação das variáveis qualitativas das propostas de PMIs, os resultados alcançam
6º Posto de Posição 7º Posto de Posição 8º Posto de Posição 9º Posto de Posição 10º Posto de Posição
consistência alta, o teste Kuder-Richardson 20 Test, atingiu α = 0,954, segundo parâmetro estabelecido pelo autor do teste.
Os dados obtidos são também indícios de que as observações teóricas realizadas e suposições iniciais de que as propriedades relacionadas às figuras de linguagem Análoga, Acessível e Flexível são mais difíceis de serem aplicadas ao contexto das PMIs, conforme identificado no Capítulo 3.
Consolidando os resultados dos especialistas em uma matriz indicada na tabela 11: ( ) variável qualitativa de projetos de PMIs (UNPs) x ( ) Propriedade de
Visão, definidos por: os resultados dos cruzamentos dos eixos conduziram
à criação do modelo proposto.
O conjunto de variáveis qualitativas inicialmente organizadas em 26 (vinte e seis), após agrupamento inicial alcança 13 (variáveis qualitativas críticas), derivadas do agrupamento inicial, sendo estas:
Descrição do Objeto, Justificativa do objeto, Relevância social, Governança, Justificativa do PPA, Descritivo da Inovação tecnológica, Justificativa da demanda
do projeto, Descrição, Responsabilidade [Setor Público], Descrição
Responsabilidade [Setor Privado], Descrição Risco, [Setor Público], Descrição Risco [Setor Privado], Aspectos jurídicos relevantes, Indicador de desempenho do Projeto, Capacidade máximo de oferta do serviço, Descritivo dos custos operacionais dos serviços ofertados, Previsão de demanda, Metas ambientais, Atividades ambientais, Impactos ambientais e por fim Beneficiados.
Tabela 11 – Matriz de propriedade de visão de produto x variáveis qualitativas
Fonte: Elaborado pelo Autor.
Clareza Concisão Priorizadora Comunicadora Antecipadora Alinhada com a
estratégia Metafórica Análoga Acessível Flexível Não Aplicável
Objetivo do Projeto 61 32 21 16 6 37 2 14 15 6 5 Relevância Social 35 8 28 30 6 26 2 9 13 5 6 Governança 45 16 20 23 9 40 2 6 13 12 6 Inovação Tecnológica 24 10 15 11 17 28 3 10 17 20 11 Responsabilidade 50 13 18 18 16 26 3 6 12 9 5 Risco 52 16 18 12 20 32 3 9 10 7 6 Aspectos Jurídicos Relevantes 56 21 12 16 22 21 2 8 13 6 5 Indicador de Desempenho do Projeto 49 27 22 17 16 29 2 13 19 9 6 Investimento 40 14 23 12 11 35 1 6 15 16 10 Capacidade Máxima de Oferta do Serviço 37 13 26 19 9 28 2 5 12 13 10 Custos Operacional dos Serviços Ofertados 38 20 24 14 11 23 2 8 18 14 7 Metas e Impactos Ambientais 50 17 21 17 21 31 3 9 10 14 5 Beneficiados 40 15 22 31 11 26 4 9 21 10 7
A consolidação dos resultados estatísticos levou à proposição de um modelo conceitual integrado de Variáveis Qualitativas de Projetos de PMIs (UNPs) a propriedade de Visão de Produto. A próxima seção apresenta as dimensões que subsidiaram a geração do modelo de avaliação.