Impacto

Luisa Veras de Sandes-Guimarães

Uma das abordagens para avaliação da qualidade de periódicos científicos, centrada na análise quantitativa de desempenho da pesquisa, envolve a utilização de indicadores bibliométricos de impacto. Com base no número de citações, verifica-se o nível de interesse de outros pesquisadores pelos artigos publicados em determinado periódico. O cálculo do impacto de publicações na comunidade científica faz parte dos estudos ou análises de citações, ramo pertencente à Bibliometria.

Análise de citações e fator de impacto

A criação e disseminação de conhecimento em uma área são facilitadas por meio da circulação de ideias entre grupos de pesquisadores. Cada autor contribui para o corpo de conhecimento de sua área criando e adicionando uma nova informação descoberta. No entanto, deve-se destacar que um artigo nunca está sozinho, mas sim inserido na literatura sobre o assunto, que forma a base para constituição de novos estudos. Neste processo, as citações são extremamente importantes, pois simbolizam o reconhecimento pela qualidade de trabalhos previamente escritos e publicados.

De acordo com Guedes e Borschiver (2005), a análise de citações apresenta três aplicações principais: em bibliotecas auxilia no gerenciamento das coleções; na ciência possui o papel de mapear o desempenho de autores; e na administração fornece bases para a tomada de decisão com relação a financiamento de pesquisas, auxílios, bolsas de estudo, orçamento de sistemas de informação etc. A técnica também é utilizada na avaliação de periódicos científicos, cálculo da produtividade de autores, medição de qualidade da informação, medição do fluxo de informação, indicação de estruturas e tendências científicas etc.

As citações representam uma ligação entre o documento citado e o citante. A natureza dessa relação é difícil de caracterizar, devido às múltiplas razões pelas quais autores citam uns aos outros, como as quinze enumeradas por Garfield: homenagear aos pioneiros; dar crédito aos trabalhos relacionados (homenagem aos pares); identificar equipamentos, metodologias etc.; fornecer uma bagagem de leituras sobre o tema; corrigir o trabalho de outros; corrigir seu próprio trabalho; criticar estudos anteriores; justificar reivindicações; alertar para futuros trabalhos; evidenciar trabalhos mal disseminados, mal indexados, ou sem citações; autenticar dados e classes de fatos físicos constantes etc.; identificar publicações originais nas quais uma ideia ou conceito foi discutido; identificar publicações originais ou outros trabalhos descrevendo um conceito ou termo epônimo; negar trabalhos ou ideias de outras pessoas (alegações negativas); contestar alegações de prioridade de outros (homenagem negativa) (Smith, 1981).

O aperfeiçoamento da análise de citações tem sido caracterizado pelo desenvolvimento de novas técnicas e medidas, pela pesquisa de novas ferramentas e pelo estudo de unidades de análise distintas. Tais tendências acarretam um acelerado aumento da quantidade e dos tipos de estudos que utilizam a análise de citações. Os primeiros estudos de citação baseavam-se, em geral, em listas de referências localizadas em artigos publicados e divulgados em um restrito conjunto de periódicos. Os dados sobre citações eram transcritos e manipulados manualmente. Portanto, devido a tal enfadonho processo, a maior parte dos estudos apresentava necessariamente um escopo limitado. Porém, com a introdução do computador e de sistemas informatizados, foi possível otimizar de maneira significativa esta situação de duas formas: por meio da impressão de índices contendo dados de citação de uma enorme quantidade de documentos e por meio da análise de dados de citação disponíveis em formato legível por máquina (Smith, 1981).

Segundo Araújo (2006) o método de contagem de referências foi utilizado por Gross & Gross pela primeira vez em 1927, dois anos depois foi empregado por Allen, e posteriormente, em 1931, por Gross & Woodford. No entanto, foi na década de 1960, com a utilização de novas ferramentas computacionais, que a técnica ganhou novo fôlego. Foi o ano de 1963 que marcou a passagem da bibliometria para uma nova fase, quando Eugene Garfield, fundador do Institute of Scientific Information (ISI), criou o primeiro índice de citações, o Science Citation Index (SCI). Posteriormente, Garfield criou outros índices buscando englobar mais áreas do conhecimento, o Social Sciences Citation Índex (SSCI) e o Arts & Humanities Citation Índex (A&HCI). Garfield também cunhou um dos conceitos mais relevantes nos estudos de citações, o Fator de Impacto.

Em princípios da década de 1960, Irving Sher e Eugene Garfield criaram o Fator de Impacto de periódicos para auxiliar no processo de seleção de revistas a serem inseridas no Science Citation Index (SCI). Ambos sabiam que o SCI precisava incluir um grupo central de grandes periódicos altamente citados. Entretanto, também reconheciam que pequenos, mas importantes, periódicos de revisão não seriam selecionados se os critérios fossem pautados somente na publicação por si só ou na contagem de citações. Era necessário, portanto, utilizar um método simples para comparar periódicos independentemente do seu tamanho, e por isso criou-se o Fator de Impacto (Garfield, 1999).

O fator de impacto de um periódico é baseado em dois elementos: o numerador, que é o número de citações no ano corrente a quaisquer itens publicados em uma revista nos últimos dois anos, e o denominador, que é o número de artigos publicados nos mesmos dois anos. Os dados sobre o Fator de Impacto de todos os periódicos indexados (hoje agregados na base de dados Web of Science) são publicados anualmente, desde 1976, no Journal of Citations Reports (JCR).

Exemplo de cálculo do Fator de Impacto

FI 2006 do periódico Physical Review Letters

Nº de citações recebidas em 2006 para

artigos publicados em: 

2005=

2004=

Total=

28078

23332

51410

Nº de artigos publicados em:

2005=

2004=

Total=

3694

3575

7269

Cálculo

Citações recebidas / Número de artigos 

51410 / 7269 =

7.072

Fonte: adaptado de Mugnaini e Strehl (2008)

Garfield (1999) acredita que os estudos de citação devem ser normalizados levando em consideração algumas variáveis como área do conhecimento ou disciplina, e as práticas de citação. A densidade de citação e a meia-vida também são variáveis importantes. A densidade de citação (número médio de referências citadas por artigo) seria significativamente menor para um artigo de matemática do que para um artigo de ciências da vida. A meia-vida (número de anos que cobrem 50% das citações no ano corrente para o periódico) de uma revista de fisiologia seria mais longa do que a de um periódico da biologia molecular ou astronomia. Apesar de tal ressalva de Garfield, o cálculo do índice continua desconsiderando as variáveis citadas por Garfield (meia-vida e densidade de citação de cada área do conhecimento) e a interpretação de tais dados também.

Dong, Loh e Mondry (2005) afirmam que a imediata disponibilidade do FI e a falta de outros indicadores de qualidade reconhecidos contribuíram para a atribuição do FI como o indicador de qualidade de periódicos. Entretanto, os autores lembram que o cálculo do FI é enviesado por vários fatores, incluindo: idioma e abrangência preferencial das bases de dados; procedimentos utilizados para coletar citações; algoritmo utilizado para calcular o FI; distribuição das citações de periódicos; citações de artigos inválidos; preferência dos Publishers por artigos de determinado tipo; comportamento das citações em diversas disciplinas; possibilidade de exercício de influência de editores de periódicos.

De acordo com os autores, as bases do ISI Web of Science abrangem menos de um quarto dos periódicos científicos do mundo, e exibem preferência por periódicos publicados em língua inglesa. Periódicos que não estão neste idioma possuem FI relativamente baixo devido à baixa cobertura de periódicos em “língua estrangeira” nessas bases (Dong et al., 2005). Os autores lembram que hoje o inglês é a língua franca da ciência, assim como foi o alemão no século XIX e início do XX, e o Latim e Grego anteriormente.

Além disso, no cálculo do FI e na contagem de citações, são consideradas apenas as citações recebidas de artigos de revistas indexadas nas bases do ISI Web of Science. Portanto, o cálculo do índice não computa citações provenientes de livros, artigos de eventos, teses, dissertações e outros periódicos não indexados na base (Harzing & Van der Wal, 2008). Este ponto prejudica periódicos brasileiros, pois, além da questão do idioma, há baixa representatividade desses periódicos na base, resultando em um FI que representa apenas parcialmente o impacto de dada publicação.

Outra questão apontada em alguns estudos é a diferença dos padrões de publicação e citação nas diversas disciplinas (Leite, Mugnaini, & Leta, 2011; Mugnaini & Población, 2010; Harzing & Van der Wal, 2008; Mugnaini & Strehl, 2008; Dong et al., 2005; Amin & Mabe, 2000; Narin, 1976). Artigos de áreas de crescimento acelerado tendem a citar referências muito mais recentes que campos de pesquisa mais tradicionais, em particular as áreas teóricas e matemáticas, levando a substanciais variações de FIs entre distintas disciplinas. Além disso, a coleta de citações num período de apenas dois anos após a publicação tem um efeito importante sobre o FI. Periódicos de campos de pesquisa que crescem rapidamente tendem a publicar trabalhos com um curto intervalo de tempo entre a submissão e a aceitação. Um grande percentual dos trabalhos é citado dentro de dois anos e, por consequência, o periódico apresenta alto FI. No entanto, existem muitos periódicos de outras áreas que apresentam mais longa meia-vida de citações e muitos trabalhos dessas revistas ainda são citados por um período de tempo bem maior do que dois anos pós-publicação.

Mugnaini e Población (2010) realizaram um estudo sobre o impacto dos tipos de documentos (artigo, livro, anais, teses etc.) nas citações de cinco revistas científicas de distintas áreas do conhecimento. Os autores constataram que o livro foi mais citado numa revista de Ciências Sociais Aplicadas, enquanto que na revista da área de Saúde Coletiva esse tipo de documento é utilizado nas mesmas proporções dos artigos científicos. Citações a periódicos internacionais prevalecem na revista de Física e na de Medicina. Anais e teses são destacados na revista de Veterinária e na de Ciência da Informação. As constatações são importantes para compreender a cultura de comunicação científica de cada área.

Leite et al. (2011) propuseram uma nova abordagem para investigar a produtividade científica. O International Publication Ratio (IPR) - índice internacional de publicação – foi desenvolvido para permitir a distinção entre grupos com diferentes tendências de publicação. Os autores coletaram por meio do banco de dados Lattes informações dos doutores da comunidade científica brasileira, incluindo área do conhecimento, afiliação e publicações. No total, 34.390 pesquisadores tiveram seus currículos analisados e suas publicações foram classificadas em cinco grupos de acordo com o IPR: (1) altamente internacional (entre 80.1-100% de publicações internacionais), (2) principalmente internacional (com 60.1-80%), (3) intermediário (com 40.1-60%), (4) principalmente nacional (com 20.1-40%) e (5) altamente nacional (com 0-20%). Os dados do IPR foram associados com as áreas do conhecimento dos pesquisadores.

Foram encontradas evidências de que o desempenho internacional é uma variável dependente da área do conhecimento. Áreas dedicadas a questões com interesses internacionais, tais como Biologia, Engenharia e Ciências Exatas e da Terra, apresentam uma grande fração de pesquisadores com IPR mais alto. Mas isso não é verdade para os campos essencialmente devotados às questões com os interesses locais e nacionais. A utilização do IPR oferece um bom exemplo da importância das idiossincrasias de cada campo como fatores críticos a serem considerados ao comparar desempenhos em diferentes áreas, dentro de um cenário onde a avaliação geral determina o destino dos recursos (Leite et al., 2011).

De acordo com Dong et al. (2005), devido à preferência que autores e pesquisadores dão às revistas com alto FI, editores podem ser tentados a aumentar artificialmente o FI de seu periódico. Uma forma muito rudimentar de fazer isso é solicitando a autocitação ao autor. Em 1997, o periódico Leukemia foi acusado de tentar manipular o seu FI. A revista solicitou aos autores que haviam submetido um artigo ao periódico que citassem mais artigos da própria revista. Mais tarde, em 2002, outro caso semelhante, o editor de um periódico sugeriu a inclusão de mais referências do próprio periódico. Sevinc (2004) também cita outros quatro casos de manipulação de FI e Falagas e Alexiou (2008) citam outros dez casos.

Mugnaini e Strehl (2008) destacam que durante um longo período de tempo somente os dados produzidos a partir bases do ISI Web of Science e os indicadores disponibilizados no JCR proporcionavam uma noção do impacto dos periódicos na comunidade científico-acadêmica. Segundo os autores, tal hegemonia também se estabeleceu em países com baixa representatividade de periódicos científicos nessas bases de dados internacionais.

Entretanto, Mugnaini e Strehl (2008) afirmam que a situação está mudando, pois outras bases de dados com capacidade de indexar citações foram criadas, disputando, portanto, espaço com o ISI Web of Science na produção de dados para calcular medidas de impacto de periódicos científicos. Os autores destacam, considerando o contexto da ciência dos países em desenvolvimento, as bases de dados: Scietific Electronic Library Online (SciELO), Scopus e Google Scholar.  Na área de Administração, destaca-se a base de dados Scientific Periodicals Electronic Library (SPELL), que indexa 92 periódicos da área de Administração, Contabilidade e Turismo e deve, em breve, gerar indicadores de impacto.

Além disso, outros índices para aferição de impacto foram constituídos, tais como, H-index, G-index, E-index e, mais recentemente, o Altmetrics, que propõe o uso de métricas não tradicionais para mensuração de impacto de artigos, tais como downloads e vizualizações, discussões em redes sociais, bookmarking (salvar em favoritos) entre outros.

Índice H

O índice H foi proposto de pelo pesquisador Jorge Hirsch (2005) e, inicialmente, tinha a função de subsidiar a avaliação qualitativa de pesquisadores da área da física. No entanto, a medida também ganhou destaque em outras áreas do conhecimento, sendo hoje intensamente utilizada na avaliação de impacto de pesquisadores. Além disso, passou a ser também utilizada para calcular o impacto de periódicos científicos, função proposta posteriormente por Braun, Glanzel e Schubert (2006). O seu cálculo é feito da seguinte maneira: um cientista/periódico tem índice H se H dos seus N artigos possuem pelo menos H citações cada, e os outros artigos tem menos de H citações cada (Hirsch, 2005). Por exemplo, um pesquisador/periódico com índice H de valor 7 possui 7 artigos com pelo menos 7 citações cada.

Como resultado, o índice H fornece uma combinação tanto de quantidade (número de artigos publicados) como de qualidade (impacto, ou citações que estes documentos receberam). Portanto, o índice H é preferível à simples medição do número total de citações, uma vez que faz a correção para os One Hit Wonders, ou seja, acadêmicos que são autores de um ou de um número limitado de artigos altamente citados, mas que não demonstraram desempenho acadêmico sustentado por um longo período de tempo. O índice H também é preferível à contagem do número de trabalhos publicados, pois faz a correção para artigos que não são citados, que apresentam impacto limitado sobre o campo. Em suma, o índice H favorece acadêmicos que publicam um fluxo contínuo de artigos com impacto duradouro e acima da média (Harzing & Van der Wal, 2009).

Ainda segundo os autores, assim como o índice H para autores provê uma medida de performance acadêmica sustentada e durável, o índice H para periódicos provê uma medida robusta de performance de periódicos sustentada e durável. Os autores fizeram uma comparação entre o índice H calculado com as citações obtidas no Google Scholar e o Fator de Impacto calculado pela base de dados Web of Science para uma amostra de 838 periódicos de economia e administração e mostraram que o primeiro provê uma mais abrangente e correta medida de impacto dos periódicos.

 

Referências

Amin, M., & Mabe, M. (2000). Impact factor: use and abuse. Perspectives in Publishing, (1), 1-6.

Araújo, C. A. (2006). Bibliometria: evolução histórica e questões atuais. Em Questão, 12(1), 11-32.

Braun, T., Glanzel, W., & Schubert, A. (2006). A Hirsch-type index for journals. Scientometrics, 69(1), 169-173. doi:10.1007/s11192-006-0147-4.

Dong, P., Loh, M., & Mondry, A. (2005). The impact factor revisited. Biomedical Digital Libraries, 2. doi:10.1186/1742-5581-2-7.

Falagas, M., & Alexiou, V. (2008). The top-ten in journal impact factor manipulation. Archivum Immunologiae et Therapiae Experimentalis, 56(4), 223-226. doi: 10.1007/s00005-008-0024-5.

Garfield, E. (1999). Journal impact factor: a brief review. Journal of the American Medical Association, 161(8).

Guedes, V., & Borschiver, S. (2005). Bibliometria: uma ferramenta estatística para a gestão da informação e do conhecimento, em sistemas de informação, de comunicação e de avaliação científica e tecnológica. Anais do Encontro Nacional de Ciência da Informação, Salvador, BA, Brasil, 6.

Harzing, A. W., & Van der Wal, R. (2009). A Google Scholar H-Index for journals: an alternative metric to measure journal impact in economics and business. Journal of the American Society for Information Science and Technology, 60(1), 41-46. doi: 10.1002/asi.20953.

Harzing, A. W., & Van der Wal, R. (2008). Google Scholar as a new source for citation analysis. Ethics in Science and Environmental Politics, 8, 61-73, 2008. doi: 10.3354/esep00076.

Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences, 102(46), 16569-16572, 2005. doi:10.1073/pnas.0507655102.

Leite, P., Mugnaini, R., & Leta, J. (2011). A new indicator for international visibility: exploring Brazilian scientific community. Scientometrics, 88(1), 311-319. doi: 10.1007/s11192-011-0379-9.

Mugnaini, R., & Población, D. (2010). Multidisciplinaridade e especificidade na comunicação científica: discussão do impacto na avaliação de diferentes áreas. Revista Eletrônica de Comunicação, Informação e Inovação em Saúde, 4(5), 23-30.

Mugnaini, R., & Strehl, L. (2008). Recuperação e impacto da produção científica na era Google: uma análise comparativa entre o Google Acadêmico e a Web of Science. Encontros Bibli, 13(nesp), 92-105. doi:10.5007/1518-2924.2008v13nesp1p92.

Narin, F. (1976). Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of scientific activity. Cherry Hill: Computer Horizons.

Sevinc, A. (2004). Manipulating impact factor: an unethical issue or and editor’s choice. Swiss Medical Weekly, 134(410). 

Smith, L. (1981). Citation analysis. Library Trends, 30(1), 83-106.

01/12/2016 - 10:11

Portal FGVENG

Escolas FGV

Acompanhe na rede