Utilizando a Programação Multicritério (Analytic Hierarchy Process – AHP) para Selecionar e Priorizar Projetos na Gestão de Portfólio

Publicações

PMI Global Congress 2010 – North America
Washington – DC – EUA – 2010

Управление проектами 2011. Работа с Заказчиком проекта
Project Management 2011. Working with Project Customer
Moscou – Rússia – 2010

Resumo

Este artigo tem como objetivo apresentar, discutir e aplicar o Analytic Hierarchy Process (AHP) na priorização e na seleção de projetos em um portfólio. O AHP é um dos principais modelos matemáticos para apoio à teoria de decisão disponíveis no mercado.
Ao se avaliar como as organizações decidem sobre os projetos, percebe-se que sempre existe um desejo de construção de critérios claros, objetivos e matemáticos (HAAS; MEIXNER, 2005). No entanto, a tomada de decisão é, em sua totalidade, um processo mental cognitivo resultante da seleção do curso mais adequado de ação, baseado em critérios tangíveis e intangíveis (SAATY, 2009) arbitrariamente escolhidos por quem toma a decisão.
O artigo também discute a importância e os possíveis critérios para a priorização de projetos e, em um exemplo de priorização fictício, evidencia todos os passos do AHP, no qual os resultados de prioridade são apresentados e as possíveis inconsistências são determinadas.

Importância da Priorização e Seleção de Projetos

Um dos principais desafios das organizações está na sua capacidade de fazer escolhas certas e consistentes, de modo alinhado com seu direcionamento estratégico. Provavelmente, um dos maiores desafios intelectuais da ciência e tecnologia está em como tomar decisões certas, dada uma situação específica (TRIANTAPHYLLOU, 2002).
Com a dinâmica do ambiente mudando de modo jamais visto anteriormente, fazer as escolhas certas, com base em critérios adequados e alinhados, torna-se um fator crítico de sucesso ou até mesmo de sobrevivência organizacional.
De modo simplificado, a priorização dos projetos em um portfólio nada mais é do que uma ordenação baseada em uma relação entre os custos e os benefícios de cada projeto. Terão maior prioridade os projetos em que os benefícios crescem em relação aos custos. É importante ressaltar que essa referência a custo/benefício não se refere a critérios exclusivamente financeiros, tais como a Taxa Financeira de Custo/Benefício, mas sim ao conceito amplo dos ganhos e dos esforços requeridos para realizar cada projeto.
Uma vez que as organizações estão inseridas em um contexto complexo, variável e muitas vezes caótico, o desafio da definição anteriormente apresentada está exatamente em determinar o que é custo e o que é benefício para uma determinada organização.

Tabela 1 – Diferentes percepções e sinônimos para as definições de baixo custo e alto benefício

Analisando a tabela anterior, observa-se que as diferentes dimensões mostram como é complexo determinar uma “tradução” exata para o que significa baixo custo e alto benefício. Por isso, um critério ou “tradução” única não é um viável para se decidir sob qual(is) projetos devem ser realizados ou não. É preciso uma análise multicritério (TRIANTAPHYLLOU, 2002) que permita decisões, avaliando as diferentes dimensões e necessidades organizacionais em conjunto.
O PMI, no seu padrão para o gerenciamento de portfólio (PMI, 2008), afirma que o escopo de um portfólio de projetos é o escopo alinhado com as metas estratégicas da organização. Essas metas, por sua vez, estão alinhadas a cenários de negócio diferentes para cada organização. Com isso, não existe um modelo perfeito que cubra os critérios certos a serem utilizados por todo e qualquer tipo de organização na priorização e seleção de projetos. A determinação de quais critérios serão utilizados tem como base os valores e as preferências do tomador de decisão.

Critérios Usuais Empregados na Priorização de Projetos

Apesar de a decisão ter como base os valores e as preferências do tomador de decisão, uma série de critérios ou objetivos específicos podem sem empregados na priorização dos projetos e na determinação do real significado da relação ótima entre custos e benefícios.
Os principais grupos de critérios são:
Financeiros – Conjunto de critérios que visam captar os benefícios financeiros do projeto. São associados diretamente a custos, produtividade e lucros. São exemplos de critérios financeiros:

• Retorno do Investimento (ROI) – É a margem de lucro percentual do projeto. Permite comparar retorno financeiro de projetos com diferentes investimentos e margens de lucro.
• Lucro (em moeda) – O valor (em moeda) do lucro financeiro proporcionado pelo projeto. Um projeto pode ter um menor ROI mas um lucro nominal maior.
• Valor Presente Líquido (VPL) – É a diferença entre os ganhos e os gastos do projeto, imaginando que toda a receita e toda a despesa será realizada na data atual. Para isso é preciso trazer todos os valores futuros para a data presente utilizando uma taxa de juros determinada. Permite avaliar e comparar projetos que tenham despesas e receitas futuras em períodos de tempo diferentes.
• Período de Retorno (Payback) – É o período de tempo necessário para recuperar todos os investimentos originais do projeto.
• Taxa Financeira de Custo/Benefício – É a razão entre o valor presente dos ganhos e o valor presente das despesas. Quanto maior é esse quociente, mais viável é o projeto do ponto de vista de custo/benefício.

Estratégicos – Conjunto de critérios diretamente relacionado aos objetivos estratégicos da organização. Os critérios/objetivos estratégicos são determinados através de mecanismos de desdobramento da estratégia, tais com o Balanced Scorecard. Diferentemente dos critérios financeiros, os critérios estratégicos são específicos para cada organização. Uma organização com estratégias diferentes terá critérios de priorização diferentes. Alguns exemplos de critérios estratégicos encontrados em organizações são: aumentar a habilidade para competir no mercado internacional, utilizar práticas ecologicamente aceitáveis, otimizar os processos internos, reduzir custos em comparação a competidores, melhorar a reputação dos produtos e serviços, etc.
Riscos (Ameaças) – Determina o nível de risco que a organização corre ao realizar o projeto. O critério de avaliação de riscos baseados em ameaças pode ser ampliado para incluir as oportunidades (HILSON, 2003). No entanto, muitas vezes a avaliação das oportunidades trazidas pelo projeto já estão cobertas e são tratadas pelos critérios estratégicos, anteriormente citados. Outra dimensão também possível para esse critério é o risco organizacional de não se fazer o projeto.
Urgência – Determina o nível de urgência do projeto. Projetos urgentes requerem ação e decisão imediata e têm maior prioridade do que projetos não urgentes.
Comprometimento das Partes Interessadas – Conjunto de critérios que avalia o grau comprometimento das partes interessadas com o projeto. Quanto mais alto é o comprometimento com o projeto, mais prioritário o projeto se torna. O comprometimento pode ser avaliado de modo amplo, em que todas as partes interessadas são consideradas como um único grupo, ou pode ser desmembrado nos diferentes interessados, como:

• Comprometimento do cliente
• Comprometimento da comunidade
• Comprometimento da organização
• Comprometimento dos órgãos reguladores
• Comprometimento da equipe do projeto
• Comprometimento do gerente do projeto

Conhecimento Técnico – Avalia o conhecimento técnico necessário para se realizar o projeto. Quanto maior é o conhecimento técnico disponível, maior será a facilidade de se realizar determinado projeto e, consequentemente, menor será o “custo” de sua realização. É importante ressaltar que, caso exista a necessidade de se estabelecer um critério ou objetivo relacionado ao processo de aprendizado e desenvolvimento de novos conhecimentos organizacionais, esses critérios precisam estar associados ao conjunto de critérios estratégicos e não ao conhecimento técnico.

Analytic hierarcy process

A programação multicritério por meio do Analytic Hierarchy Process é uma técnica estruturada para tomada de decisão em ambientes complexos em que diversas variáveis ou critérios são considerados para a priorização e seleção de alternativas ou projetos.
O AHP foi desenvolvido na década de 1970 por Thomas L. Saaty e foi extensivamente estudado a partir dessa época. Atualmente é aplicado para a tomada de decisão em diversos cenários complexos, em que pessoas trabalham em conjunto para tomar decisões e onde percepções humanas, julgamentos e consequencias possuem repercussão de longo prazo (BHUSHAN; RAI, 2004).
A utilização do AHP se inicia pela decomposição do problema em uma hierarquia de critérios mais facilmente analisáveis e comparáveis de modo independente (Figura 1). A partir do momento em que essa hierarquia lógica está construída, os tomadores de decisão avaliam sistematicamente as alternativas por meio da comparação, de duas a duas, dentro de cada um dos critérios. Essa comparação pode utilizar dados concretos das alternativas ou julgamentos humanos como forma de informação subjascente (SAATY, 2008).

Figura 1 – Exemplo de hierarquia de critérios/objetivos

O AHP transforma as comparações, muitas vezes empíricas, em valores numéricos que são processados e comparados. O peso de cada um dos fatores permite a avaliação de cada um dos elementos dentro da hierarquia definida. Essa capacidade de conversão de dados empíricos em modelos matemáticos é o principal diferencial do AHP com relação a outras técnicas comparativas.
A partir do momento em que todas as comparações foram efetuadas e os pesos relativos entre os critérios a serem avaliados foi estabelecida, a probabilidade numérica de cada uma das alternativas é calculada. Essa probabilidade determina a probabilidade que a alternativa tem de atender a meta estabelecida. Quanto maior a probabilidade, mais aquela alternativa contribui para a meta final do portfólio.
Os cálculos matemáticos envolvendo o AHP podem parecer simples em um primeiro momento, no entanto, em casos mais complexos, as análises e cálculos tornam-se grandes e exaustivos e, usualmente, só são viáveis através do uso de softwares específicos de cálculo.

A Escala de Comparação (escala SAATY)

A comparação entre dois elementos utilizando o AHP pode ser realizada de diferentes formas (TRIANTAPHYLLOU; MANN, 1995). No entanto, a escala de relativa importância entre duas alternativas proposta por Saaty (SAATY, 2005) é a mais amplamente utilizada. Atribuindo valores que variam entre 1 a 9, a escala determina a importância relativa de uma alternativa com relação a outra, conforme apresentado na Tabela .

Tabela 2 – Escala de relativa importância de Saaty (SAATY, 2005)
Usualmente procura-se utilizar os números ímpares da tabela para assegurar razoável distinção entre os pontos da medição. O uso dos números pares só deve ser adotado quando existir a necessidade de negociação entre os avaliadores e quando o consenso natural não for obtido, gerando a necessidade de determinação de um ponto médio como solução negociada (compromise) (SAATY, 1980).
A partir da escala de Saaty, é construída uma matriz de comparação (Tabela ).

Tabela 3 – Matriz comparativa (supondo que critério 1 domina o critério 2)

Exemplo de Aplicação do AHP em um Portfólio

Visando exemplificar os cálculos de AHP na priorização de projetos, optou-se por desenvolver um modelo de decisão fictício para a organização ACME. Na medida em que o exemplo é desenvolvido, os conceitos sobre os termos e as abordagens de AHP serão discutidos e avaliados.
O primeiro passo da construção do AHP está na determinação dos critérios que serão utilizados. Como já discutido anteriormente, cada organização desenvolve e estrutura seu próprio conjunto de critérios, que, por sua vez, estarão alinhados aos seus objetivos estratégicos organizacionais.
No caso da organização fictícia ACME, foram estudados com a área financeira, a área de planejamento estratégico e a área de gerenciamento de projetos os critérios a serem utilizados e determinou-se o seguinte conjunto de 12 (doze) critérios divididos em 4 (quatro) grupos, conforme a hierarquia apresentada na Figura 2.

Figura 2 – Hierarquia de critérios da organização fictícia ACME

determinação da matriz comparativa, do vetor de prioridade (eigen) e da inconsistência

A partir da montagem da hierarquia, os critérios precisam ser avaliados dois a dois, visando determinar a importância relativa entre eles e seu peso relativo na meta global.
A avaliação se inicia pela determinação do peso relativo dos grupos de critérios iniciais (Figura 3). A Tabela apresenta os dados de peso relativo entre os critérios determinado pelos tomadores de decisão da ACME.

Figura 3 – Grupo de critérios/objetivos iniciais ACME

Tabela 4 – Matriz comparativa do grupo de critérios ACME

Para interpretar e dar os pesos relativos a cada critério, é necessário normalizar a matriz comparativa anterior. A normalização é feita pela divisão entre cada valor da planilha com o total de cada coluna (Tabela ).

Tabela 5 – Matriz comparativa normalizada do grupo de critérios ACME

A determinação da contribuição de cada critério na meta organizacional é calculada a partir do vetor de prioridade ou vetor de Eigen. O vetor de Eigen apresenta os pesos relativos entre os critérios e é obtido de modo aproximado¹ através da média aritmética dos valores de cada um dos critérios, conforme apresentado na Tabela . Observa-se que o somatório dos valores do vetor sempre totaliza 1 (um).

Tabela 6 – Cálculo do vetor de Eigen ACME

¹ O cálculo exato do vetor de Eigen é determinado apenas em casos específicos. A maioria dos casos práticos utiliza essa aproximação visando simplificar o processo de cálculo, uma vez que a diferença entre o valor real e o valor aproximado é inferir a 10% (KOSTLAN, 1991).

Como comparação, calculou-se com software matemático o valor exato do vetor de Eigen através do uso de matrizes potenciais. Os resultados obtidos são mostrados na Tabela .

Tabela 7 – Resultados comparativos para o cálculo do vetor de Eigen aproximado e exato

Observa-se que os valores aproximados e reais são muito próximos e, muitas vezes, o cálculo do vetor real requer um trabalho matemático que pode ser dispensável (KOSTLAN, 1991).
Os valores encontrados para o vetor de Eigen tem significado físico direto no AHP. Ele determina a participação ou o peso daquele critério no resultado total da meta. Por exemplo, no caso da organização ACME, os critérios estratégicos têm um peso de 46,04% (cálculo exato do vetor de Eigen) da meta total. Uma avaliação positiva nesse fator contribui aproximadamente 7 (sete) vezes mais do que uma avaliação positiva no critério Comprometimento das Partes Interessadas (peso de 6,84%).
O próximo passo do processo é verificar a inconsistência dos dados. A verificação visa captar se os tomadores de decisão foram consistentes nas suas opiniões para a tomada de decisão. (TEKNOMO, 2006). Se, por exemplo, os tomadores de decisão afirmarem que Critérios Estratégicos são mais importantes do que Critérios Financeiros e que Critérios Financeiros são mais importantes do que Compromisso das Partes Interessadas, seria uma inconsistência na tomada de decisão se eles afirmassem que o Compromisso das Partes Interessadas é mais importante do que os Critérios Estratégicos (se A > B e B > C seria inconsistente afirmar que A < C).
O índice de inconsistência tem como base o número principal de Eigen. Ele é calculado através do somatório do produto de cada elemento do vetor de Eigen (Tabela ) pelo total da respectiva coluna da matriz comparativa original (Tabela ). A Tabela apresenta o cálculo do número principal de Eigen (λ_Max)².

Tabela 8 – Cálculo do número principal de Eigen

²Os valores do vetor de Eigen utilizados a partir deste momento nos cálculos foram os valores reais e não os valores aproximados, uma vez que os valores reais já estavam calculados e disponíveis.

O cálculo do índice de consistência (SAATY, 2005) é dado pela seguinte equação:
CI=(λ_Max-n)/(n-1)
em que CI é o índice de consistência e n é o número de critérios avaliados.
Para o caso da organização ACME, o índice de consistência (CI) é
CI=(λ_Max-n)/(n-1)=(4.04-4)/(4-1)=0.0143
Visando verificar se o valor encontrado do índice de consistência (CI) é adequado, Saaty (SAATY, 2005) propôs o o que foi chamado de taxa de consistência (CR). Ela é determinada pela razão entre o valor do índice de consistência (CI) e o índice de consistência aleatória (RI). A matriz será considerada consistente se a razão for menor que 10%.
CR=CI/RI<0.1 ~ 10%

O valor de RI é fixo e tem como base o número de critérios avaliados, conforme a Tabela .

Tabela 9 – Tabela de índices de consistência aleatória (RI) (SAATY, 2005)

Para o caso da organização ACME, a taxa de consistência para a matriz do grupo inicial de critérios é
CR=0,0143/0,9=0,0159=1,59%
Como esse valor é menor que 10%, a matriz pode ser considerada consistente.
Com isso os resultados de critérios de prioridade para o primeiro nível podem ser observados na Figura 4.

Figura 4 – Resultados da matriz comparativa de critérios para os grupos de critérios da organização ACME, evidenciando a contribuição de cada critério para a meta definida para a organização

Pela Figura 4 e pelos valores do vetor de Eigen apresentados, evidencia-se que os Critérios Estratégicos têm 46,04% de contribuição na meta, enquanto o Comprometimento das Partes Interessadas contribui com 6,84% para a meta.

Demais cálculos envolvendo os critérios

Igualmente ao que foi feito para o grupo inicial de critérios para a ACME, torna-se necessário avaliar os pesos relativos dos critérios do segundo nível da hierarquia (Figura 5). Esse processo é realizado de modo idêntico ao passo apresentado para o primeiro nível da hierarquia (Grupo de Critérios) apresentado anteriormente.

Figura 5 – Hierarquia de critérios organização fictícia ACME com destaque para o segundo nível da hierarquia

As tabelas a seguir mostram as matrizes comparativas de critérios já com as comparações par a par realizadas pelos tomadores de decisão.

Tabela 10 – Matriz comparativa de critérios – Comprometimento das Partes Interessadas

Tabela 11 – Matriz comparativa de critérios - Financeiros

Tabela 12 – Matriz Comparativa de Critérios - Estratégicos

Tabela 13 – Matriz comparativa de critérios – Outros Critérios

Os gráficos a seguir mostram os resultados de prioridade para os subcritérios de cada um dos grupos de critérios e os seus respectivos índices de inconsistência. Observa-se que nenhum dos critérios apresenta inconsistência acima do tolerável.

Figura 6 – Resultados de prioridade para os Critérios de Comprometimento das Partes Interessadas

Figura 7 – Resultados de prioridade para os Critérios Financeiros

Figura 8 – Resultados de prioridade para os Critérios Estratégicos

Figura 9 – Resultados de prioridade para os Outros Critérios

A prioridade global de cada um dos critérios é determinada através da multiplicação de cada prioridade do primeiro nível por sua respectiva no segundo nível. Os resultados são apresentados na hierarquia da Figura 10. Observa-se também que a soma dos pesos dos 12 (doze) fatores totaliza 1.

Figura 10 – Hierarquia de critérios organização fictícia ACME com as prioridades globais de cada um dos critérios

Avaliação dos projetos candidatos ao portfólio

Com a árvore estruturada e as prioridades dos critérios estabelecidas, é possível determinar agora como cada um dos projetos candidatos comporta-se em relação aos critérios estabelecidos.
Da mesma forma que foi realizada para a priorização dos critérios, os projetos candidatos são confrontados dois a dois dentro de cada um dos critérios estabelecidos.
No caso apresentado da organização ACME, foram identificados 6 (seis) projetos diferentes que precisam ser priorizados. Os projetos fictícios candidatos são:

• Mudança para um novo escritório
• Novo Sistema ERP
• Abertura do Escritório na China
• Desenvolvimento de Novo Produto para Mercado Internacional
• Terceirização da Infraestrutura de TI
• Nova Campanha de Marketing Local

Para aplicar o AHP, os tomadores de decisão da ACME compararam os 6 (seis) projetos em cada um dos 12 (doze) critérios definidos. Os resultados estão evidenciados nas 12 (doze) tabelas seguintes.



Tabela 14 – Matriz comparativa dos projetos no critério Comprometimento do Time



Tabela 15 – Matriz comparativa dos projetos no critério Comprometimento da Organização



Tabela 16 – Matriz comparativa dos projetos no critério Comprometimento do Gerente do Projeto



Tabela 17 – Matriz comparativa dos projetos no critério Retorno de Investimento



Tabela 18 – Matriz comparativa dos projetos no critério Lucro (US$)



Tabela 19 – Matriz comparativa dos projetos no critério Valor Presente Líquido



Tabela 20 – Matriz comparativa dos projetos no critério Melhoria na Habilidade de Competir em Mercados Internacionais



Tabela 21 – Matriz comparativa dos projetos no critério Melhoria de Processos Internos



Tabela 22 – Matriz comparativa dos projetos no critério Melhoria da Reputação



Tabela 23 – Matriz comparativa dos projetos no critério Redução dos Riscos (Ameaças) para a Organização



Tabela 24 – Matriz comparativa dos projetos no critério Urgência



Tabela 25 – Matriz comparativa dos projetos no critério Conhecimento Técnico Interno

Ao se calcular todas as prioridades e os índices de inconsistência é possível determinar o peso relativo de cada um dos projetos em cada um dos critérios, conforme apresentado nos 12 (doze) gráficos a seguir (um gráfico para cada critério).



Figura 11 – Resultados de prioridade para os projetos segundo o critério Comprometimento do Time



Figura 12 – Resultados de prioridade para os projetos segundo o critério Comprometimento da Organização



Figura 13 – Resultados de prioridade para os projetos segundo o critério Comprometimento do Gerente do Projeto



Figura 14 – Resultados de prioridade para os projetos segundo o critério Retorno de Investimento



Figura 15 – Resultados de prioridade para os projetos segundo o critério Lucro (US$)



Figura 16 – Resultados de prioridade para os projetos segundo o critério Valor Presente Líquido



Figura 17 – Resultados de prioridade para os projetos segundo o critério Habilidade para Competir em Mercados Internacionais



Figura 18 – Resultados de prioridade para os projetos segundo o critério Melhoria nos Processos Internos



Figura 19 – Resultados de prioridade para os projetos segundo o critério Melhoria na Reputação



Figura 20 – Resultados de prioridade para os projetos segundo o critério Redução nos Riscos (Ameaças) Organizacionais



Figura 21 – Resultados de prioridade para os projetos segundo o critério Urgência



Figura 22 – Resultados de prioridade para os projetos segundo o critério Conhecimento Técnico Interno

O cruzamento entre todas as avaliações dos projetos em todos os critérios determina a prioridade final de cada um dos projetos com relação à meta.
O mecanismo de cálculo da prioridade final pode ser determinado pelo somatório dos produtos entre o peso de prioridade da alternativa e o peso do critério.
Para exemplificar o processo, a Tabela mostra o processo de cálculo para a alternativa “Mudança para um Novo Escritório”.



Tabela 26 – Avaliação final da prioridade do projeto Mudança para um Novo Escritório segundo os critérios escolhidos e ponderados para a organização ACME

O mesmo processo pode ser repetido para os outros 5 (cinco) projetos. Os resultados finais obtidos para os projetos em todos os critérios estão descritos na Figura 23.



Figura 23 – Resultados finais para as prioridades do portfólio de projetos da ACME

Pela Figura 23, o projeto com maior aderência as metas definidas é o Desenvolvimento de Novo Produto para o Mercado Internacional. Ele contribui em 34,39% (0,3439) da meta. Para ilustrar a importância da diferença entre os pesos e prioridades de cada projeto, o projeto do novo produto internacional contribui cerca de 3 (três) vezes mais para a meta do que o projeto relacionado à campanha de marketing local, que, por sua vez, contribui apenas em 13,1% (0,131) para a meta global.

Conclusões

O AHP tem atraído o interesse de muitos pesquisadores, principalmente devido às propriedades matemáticas do método e ao fato de que a entrada de dados é sensivelmente simples de ser obtida (TRIANTAPHYLLOU; MANN, 1995). Sua simplicidade é caracterizada pela comparação par a par das alternativas segundo critérios específicos (VARGAS, 1990).
Sua aplicação na seleção de projetos para o portfólio permite que os tomadores de decisão tenham uma ferramenta específica e matemática de apoio à decisão. Essa ferramenta suporta e qualifica as decisões, além de permitir que os tomadores de decisão justifiquem suas escolhas e simulem os resultados.
O uso do AHP também pressupõe a utilização de software específico para os cálculos matemáticos. Neste artigo, buscou-se mostrar os principais cálculos realizados durante a análise, visando propiciar ao gerente do projeto o entendimento adequado da técnica, como também a complexidade do volume de cálculo a ser realizado manualmente (caso softwares específicos não sejam utilizados).
Outro aspecto importante é a qualidade das avaliações realizadas pelos tomadores de decisão (COYLE, 2004). A tomada de decisão adequada precisa ser consistente e coerente com os resultados organizacionais. A coerência das respostas pode ser calculada pelo índice de inconsistência. No entanto, o índice de inconsistência somente permite a avaliação da consistência e a regularidade das opiniões dos tomadores de decisão e não se essas opiniões são as mais adequadas para o contexto organizacional.
Finalmente, é importante ressaltar que a tomada de decisão pressupõe um entendimento mais amplo e complexo do que o uso isolado de uma técnica específica. Ela pressupõe que a decisão sobre um portfólio é fruto de negociação, de aspectos humanos e de análise estratégica, em métodos como o AHP favorecem e orientam a realização dos trabalhos, mas não podem e devem ser utilizados como critérios universais.

Referências

BHUSHAN, N.; RAI, K. (2004). Strategic Decision Making: Applying the Analytic Hierarchy Process. New York: Springer.
COYLE, G. (2004). The Analytic Hierarchy Process. New York: Pearson Educational.
HAAS, R.; MEIXNER, O. (2005). An Illustrated Guide To Analytic Hierarchy Process. Vienna: University of Natural Resources and Applied Life Sciences.
KOSTLAN, E. (1991). Statistical Complexity of Dominant Eigenvector Calculation. Hawaii: Journal of Complexity Volume 7, Issue 4, December 1991, p. 371-379. Available at http://www.developmentserver.com/randompolynomials/scdec/paper.pdf
HILLSON, D. (2002). Use a Risk Breakdown Structure (RBS) to Understand Your Risks. San Antonio: PMI Global Congress and Symposium.
PMI (2008). The Standard for Portfolio Management: Second Edition. Newtown Square: Project Management Institute.
SAATY, T. L (1980). The Analytic Hierarchy Process. New York: McGraw-Hill International.
SAATY, T. L. (2005). Theory and Applications of the Analytic Network Process: Decision Making with Benefits, Opportunities, Costs, and Risks. Pittsburgh: RWS Publications.
SAATY, T. L. (2008). Relative Measurement and its Generalization in Decision Making: Why Pairwise Comparisons are Central in Mathematics for the Measurement of Intangible Factors – The Analytic Hierarchy/Network Process. Madrid: Review of the Royal Spanish Academy of Sciences, Series A, Mathematics. Available at http://www.rac.es/ficheros/doc/00576.PDF.
SAATY, T. L. (2009). Extending the Measurement of Tangibles to Intangibles. International Journal of Information Technology & Decision Making, Vol. 8, N. 1, p. 7-27, 2009. Available at SSRN: http://ssrn.com/abstract=1483438.
TEKNOMO, K. (2006) Analytic Hierarchy Process (AHP) Tutorial. Available at http://people.revoledu.com/kardi/tutorial/ahp/
TRIANTAPHYLLOU, E., MANN S. H. (1995). Using The Analytic Hierarchy Process For Decision Making in Engineering Applications: Some Challenges. International Journal of Industrial Engineering: Applications and Practice, Vol. 2, N. 1, p. 35-44, 1995. Available at http://www.csc.lsu.edu/trianta/Journal_PAPERS1/AHPapls1.pdf .
TRIANTAPHYLLOU, E. (2002). Multi-Criteria Decision Making Methods: a comparative study. New York: Springer.
VARGAS, L.G. (1990). An Overview of the Analytic Hierarchy Process and its Applications. European Journal of Operational Research, 48, p. 2-8.