Uso de amostragem em auditoria e suas aplicações na Infraestrutura de Chaves Públicas Brasileira – ICP Brasil

Este artigo aborda o uso de amostragem nas atividades de auditorias anuais no âmbito da Infraestrutura de Chaves Públicas Brasileira – ICP-Brasil.

Por Pedro Pinheiro Cardoso,

Este artigo aborda o uso de amostragem nas atividades de auditorias anuais no âmbito da Infraestrutura de Chaves Públicas Brasileira – ICP-Brasil.

As entidades integrantes da ICP-Brasil também conhecidas como Prestador de Serviços de Certificação – PSCert são auditadas de duas formas: Pré-operacional, para fins de credenciamento, e auditorias anuais – Operacional, para fins de manutenção de credenciamento.

As auditorias realizadas no âmbito da ICP-Brasil têm por objetivo verificar se os processos, procedimentos e atividades das entidades integrantes da ICP-Brasil estão em conformidade com suas respectivas Declaração de Práticas de Certificação – DPC, Políticas de Certificado – PC, Política de Segurança – PS e demais normas e procedimentos estabelecidos pela ICP-Brasil e com os princípios e critérios definidos pelo WebTrust.

Os relatórios de auditoria devem concluir sobre os processos e procedimentos de responsabilidade dos PSCert sob avaliação, manifestando sobre a suficiência dos controles executados para mitigação dos riscos existentes, devendo observar os Critérios para Emissão de Parecer de Auditoria na ICP-Brasil definidos por Instrução Normativa da AC Raiz. 

O uso de amostragem é uma técnica necessária e amplamente utilizada para permitir conclusões sobre os controles avaliados sem a necessidade de fazer testes em todas as operações realizadas pelas entidades da ICP Brasil.

Diante da necessidade de uniformizar os entendimentos e aplicação das técnicas de amostragem é apresentado este artigo de forma orientativa e não se sobrepõem às técnicas eventualmente conflitantes com as metodologias de auditoria de cada empresa de auditoria independente.

O documento está dividido em seis partes sendo: Amostragem em Auditoria; Risco de Amostragem; Tipos de Amostragem; Tamanho da amostra; Usando a fórmula padrão e Métodos de seleção da amostra.

1 – Amostragem em Auditoria

A amostragem é uma técnica que consiste na obtenção de informações a respeito de uma população a partir da investigação de apenas uma parte dela.

O objetivo da utilização de amostragem é obter informações sobre uma parte da população e fazer afirmações válidas a respeito de suas características.

É bastante útil em situações em que a execução do censo é inviável ou antieconômica e a informação obtida da amostra é suficiente para atender aos objetivos pretendidos.

Para facilitar o entendimento sobre o tema é necessário a compreensão do conceito de população.

População é entendida como um conjunto de todos os elementos sob investigação. Segundo Cohran¹:

[]…a população a ser amostrada deve coincidir com a população sobre a qual se deseja a informação (população alvo). Às vezes, por razões de praticabilidade ou conveniência, a população amostrada é mais restrita que a população alvo. Caso isso aconteça, essa restrição deve ser mencionada nas conclusões dos resultados.

Amostragem em auditoria é a aplicação de procedimentos de auditoria em menos de 100% dos itens de uma população relevante para fins de auditoria, de forma que todos os itens da população tenham chance de serem selecionados².

O objetivo do auditor, ao usar amostragem em trabalhos de auditoria, é obter uma base razoável dentro dos critérios e objetivos estabelecidos em cada tipo de amostragem, para concluir sobre a população (população de pesquisa) da qual a amostra foi selecionada.

Para cumprir seus objetivos é importante que a amostra seja representativa em relação à população da qual foi selecionada, ou seja, para fins de conclusão ela deve ser aproximadamente uma réplica em pequena escala da população, permitindo mensuração do erro que se está cometendo ao não examinar toda a população.

2 – Risco de Amostragem

A medida do erro pode ser expressa por meio do risco de amostragem, que é o risco de que a conclusão baseada na amostra seja inadequada, ou seja, diferente da conclusão obtida se o procedimento fosse aplicado em toda a população.

O erro pode ser de dois tipos:

1. concluir que a população está adequada, sob determinado critério, quando na realidade ela está inadequada; e
2. concluir que a população está inadequada, sob determinado critério, quando na realidade ela está adequada.

O risco de amostragem, como parte do risco de auditoria, deve ser administrado e reduzido a níveis aceitavelmente baixos, em conformidade com o nível de asseguração necessário para a auditoria.

O risco de amostragem é influenciado pelo plano amostral utilizado e pelo tamanho da amostra, de forma que para um mesmo plano amostral, em geral, quanto maior for o tamanho da amostra menor o risco de amostragem.

3 – Tipos de Amostragem

Pode-se definir os dois tipos de amostragem segundo suas características gerais e aplicabilidade em auditoria: 

1. Amostragem probabilística: a seleção é feita por sorteio aleatório, é utilizada a teoria das probabilidades para calcular os resultados das amostras, e da mesma forma é calculado o risco de amostragem. Os resultados da amostra podem ser generalizados para toda a população e, em geral, a probabilidade de seleção dos itens é conhecida; 
2. Amostragem não-probabilística: pode ser definida como qualquer amostragem que não possui as características da amostragem probabilística, em geral, podemos dizer que: a seleção é feita por critérios subjetivos e o risco de amostragem não é calculado de forma objetiva. Os resultados da amostra não podem ser generalizados para toda a população e a probabilidade de seleção dos itens não é conhecida. 

A escolha do tipo de amostragem é determinada pela finalidade do procedimento de auditoria ^{3 4} devendo ser considerado também o dever de fornecer informação baseada em evidência suficiente e apropriada, e a necessidade de reduzir ou administrar o risco de chegar a conclusões inapropriadas. 

Na ICP-Brasil, o uso da amostragem probabilística é sempre recomendável em auditorias operacionais, enquanto a amostragem não-probabilística tem aplicabilidade restrita a análises pontuais em auditorias pré-operacionais. Desse modo, pode-se situar os tipos de amostragem segundo sua adequação:

– Amostragem probabilística deve ser utilizada quando a finalidade do procedimento de auditoria é obter evidências, informações, conclusões, avaliações ou recomendações sobre a população por meio da generalização dos resultados da amostra; (auditoria operacional);

– Amostragem não-probabilística não pode ser utilizada em procedimentos cuja finalidade é obter evidências, informações, conclusões, avaliações ou recomendações sobre a população por meio de generalizações do resultado da amostra. A amostra não- probabilística pode ser utilizada quando a finalidade do procedimento de auditoria é obter informações, conclusões, avaliações ou recomendações que se aplicam somente aos itens selecionados na amostra. (auditoria pré-operacional).

Na definição de uma amostra devem ser consideradas as características da população e ser determinado um tamanho de amostra que torne o risco de amostragem baixo o suficiente para atingimento dos objetivos⁵. Em trabalhos com diferentes objetos e procedimentos, há necessidade de definir a estratégia amostral e o tamanho de amostra adequado para cada caso.

Sendo assim, a amostragem em auditoria na ICP-Brasil deve ser planejada e executada visando o cumprimento dos objetivos de cada trabalho para emissão de opinião sobre a entidade auditada. 

Devido às particularidades técnicas que envolvem a amostragem, o auditor deve dispor dos recursos e conhecimentos técnicos necessários para a escolha da estratégia adequada, sempre observando o princípio do zelo profissional e da proficiência. 

Os resultados da amostra devem ser calculados em conformidade com a estratégia amostral utilizada. Na divulgação dos resultados da amostra deve-se informar se é possível generalizar os resultados para toda a população, ou seja, dizer que os resultados são generalizáveis implica que a amostra é probabilística.

Em amostras probabilísticas o risco é expresso em termos da precisão das estimativas, intervalos de confiança e inferências.

Devem estar adequadamente documentadas, inclusive nos papéis de trabalho, as informações suficientemente detalhadas sobre todas as etapas relativas ao processo de amostragem: questionário/checklist, descrição da população, descrição do plano amostral, processo e critérios de seleção da amostra, amostra efetivamente coletada, crítica de dados, identificação e tratamento de não-resposta e metodologia de cálculo dos resultados; para fins de transparência, consulta, respaldo e comprovação das conclusões do trabalho do auditor e viabilizar o trabalho de revisão. 

4 – Tamanho da amostra

Como calcular o tamanho de uma amostra?

a) Descubra o tamanho da população. O tamanho da população é o número total de pessoas ou objetos de um local. Em estudos de maior escala, pode-se usar um tamanho aproximado em vez do valor exato.

• A precisão na definição da população tem um maior impacto estatístico no caso de grupos menores. Se você deseja fazer um estudo sobre os ativos de uma organização ou empresa, por exemplo, é importante ter uma precisão na ordem das dezenas.

b) Determine a margem de erro. A margem de erro, também chamada de “intervalo de confiança”, define o erro máximo permitido nos resultados a serem obtidos.^[1]

• A margem de erro é uma porcentagem que indica a proximidade dos resultados obtidos na amostra do valor real para a população total do estudo.
• Margens de erro menores oferecem resultados mais precisos, mas também exigem amostras maiores.

A margem de erro recomendada é entre 5 e 10 para uso nas entidades Prestadoras de Serviços da Certificação – PSCert da ICP-Brasil, considerando as características da população (pessoas, equipamentos, certificados digitais e registros).

c) Defina o nível de confiança. O nível de confiança está fortemente relacionado ao intervalo de confiança (margem de erro). Ele define o nível de certeza de que a pesquisa realmente representa as características da população, considerando a margem de erro escolhida.

• Em outras palavras, escolher um nível de confiança de 95% significa que você tem 95% de certeza de que os resultados reais estão dentro da margem de erro.
• Um intervalo de confiança maior oferece uma maior precisão, mas também exige uma amostra maior. Os níveis de confiança mais comuns são 90%, 95% e 99%.

d) Especifique o desvio padrão. O desvio padrão indica a variação esperada entre as respostas.

• Resultados extremos têm uma maior chance de estarem corretos do que os mais equilibrados.
  • Se 99% da população responder “Sim” à sua pergunta e apenas 1% responder “Não”, por exemplo, provavelmente o resultado representará bem a opinião da população total.
  • Entretanto, se 45% responder “Sim” e 55% responder “Não”, haverá uma maior chance de erro.
• Como é difícil determinar um valor apropriado antes de analisar os resultados, a maioria dos pesquisadores escolherá o valor de 0.5 (50%) para o desvio padrão. Esse valor considera o pior caso possível, por isso, utilizá-lo garantirá que o tamanho da amostra é grande o suficiente para representar precisamente a população total considerando a margem de erro e o nível de confiança definidos.

e) Encontre o escore Z. O escore Z, também chamado de “valor padronizado”, é uma constante que é automaticamente definida de acordo com o nível de confiança. Ela indica o número de desvios padrão acima ou abaixo da média da população.

• Você pode calcular o escore Z à mão, usando uma calculadora online ou procurando-o em uma tabela de valores padronizados. Entretanto, todos esses métodos podem ser bem complicados.
• Como os níveis de confiança relativamente padronizados, a maioria dos pesquisadores simplesmente memorizará o escore Z a ser utilizado para os principais níveis de confiança:
  • 90% de confiança => escore z de 1,65.
  • 95% de confiança => escore z de 1,96.
  • 99% de confiança => escore z de 2,58.

5 – Usando a fórmula padrão

Se você tiver uma população pequena ou média e já tiver todos os valores-chave, basta utilizar a fórmula padrão para o tamanho de uma amostra, que é a seguinte:

N = tamanho da população.
z = escore z.
e = margem de erro.
p = desvio padrão.

Embora pareça complicado obter uma amostra que possibilite ao auditor concluir sobre toda a população, utilizando uma base razoável, é possível utilizar ferramentas automatizadas que facilitam esse trabalho. Por exemplo, citamos três bons locais para o cálculo:

https://comentto.com/calculadora-amostral/

https://pt.surveymonkey.com/mp/sample-size-calculator/

https://solvis.com.br/calculadora/

Exemplificando:

1 – Considerando que uma Autoridade de Registro emitiu durante o ano (período auditado) 1.000 (mil) certificados digitais e iremos adotar a margem de erro de 10% e intervalo de confiança de 90%, então o tamanho da amostra será de: 64.

2 – Considerando que uma Autoridade de Registro possui durante o ano (período auditado) 500 (quinhentos) equipamentos e iremos adotar a margem de erro de 5% e intervalo de confiança de 95%, então o tamanho da amostra será de: 218.

3 – Considerando que uma Autoridade Certificadora emitiu durante o ano (período auditado) 100.000 (cem mil) certificados digitais e iremos adotar a margem de erro de 10% e intervalo de confiança de 90%, então o tamanho da amostra será de: 69.

4 – Considerando que uma Autoridade Certificadora emitiu durante o ano (período auditado) 100.000 (cem mil) certificados digitais e iremos adotar a margem de erro de 5% e intervalo de confiança de 95%, então o tamanho da amostra será de: 383.

6 – Métodos de seleção da amostra

Existem muitos métodos para selecionar amostras. Os principais aplicáveis em auditorias na ICP-Brasil são os seguintes:

1. Seleção aleatória (aplicada por meio de geradores de números aleatórios como, por exemplo, tabelas de números aleatórios).
2. Seleção sistemática, em que a quantidade de unidades de amostragem na população é dividida pelo tamanho da amostra para dar um intervalo de amostragem como, por exemplo, 50, e após determinar um ponto de início dentro das primeiras 50, toda 50ª unidade de amostragem seguinte é selecionada. Embora o ponto de início possa ser determinado ao acaso, é mais provável que a amostra seja realmente aleatória se ela for determinada pelo uso de um gerador computadorizado de números aleatórios ou de tabelas de números aleatórios. Ao usar uma seleção sistemática, o auditor precisaria determinar que as unidades de amostragem da população não estão estruturadas de modo que o intervalo de amostragem corresponda a um padrão em particular da população.
3. Seleção ao acaso, na qual o auditor seleciona a amostra sem seguir uma técnica estruturada. Embora nenhuma técnica estruturada seja usada, o auditor, ainda assim, evitaria qualquer tendenciosidade ou previsibilidade consciente (por exemplo, evitar itens difíceis de localizar ou escolher, ou evitar sempre os primeiros ou os últimos lançamentos de uma página) e, desse modo, procura se assegurar de que todos os itens da população têm uma mesma chance de seleção. A seleção ao acaso não é apropriada quando se usa a amostragem estatística.

Sobre o autor

Pedro Pinheiro Cardoso é Especialista em Ciência da Computação (Gestão de Segurança da Informação e Comunicações), pós-graduado em Auditoria Interna e Externa.

Fonte: gov.br

Sobre o ITI

O Instituto Nacional de Tecnologia da Informação – ITI é uma autarquia federal, vinculada a Casa Civil da Presidência da República, que tem por missão manter e executar as políticas da Infraestrutura de Chaves Públicas Brasileira – ICP-Brasil. Ao ITI compete ainda ser a primeira autoridade da cadeia de certificação digital – AC Raiz.

Leia a coluna exclusiva sobre a ICP-Brasil!

Publicado decreto com novas atribuições para o ITI

GOVERNO E TECNOLOGIA

Aqui no Crypto ID você acompanha as principais ações do Governo Brasileiro e de outros Países relacionadas a privacidade, proteção de dados, serviços eletrônicos, formas de autenticação e identificação digital e Cibersegurança.

Acesse agora e conheça nossa coluna GovTech!

Você quer acompanhar nosso conteúdo? Então siga nossa página no LinkedIn!