Avaliações

Os critérios de aprovação e reprovação pelos quais uma execução é julgada, cada campo de um critério, o que cada resultado faz com a execução, e como os resultados se dobram num veredito.

Uma avaliação é um conjunto reutilizável de critérios de aprovação e reprovação. Cada critério vigia um canal legível dentro de uma janela da execução e julga as amostras gravadas dele contra uma faixa fixa ou uma tolerância em torno de outro canal; cada um fecha com um resultado próprio, e o veredito da execução é a dobra deles. O motor julga ao vivo sobre as linhas que o datalog grava, então o canal de um critério e o canal de referência dele precisam ser colunas do datalog do procedimento: o arquivo da execução prova o que foi julgado. As avaliações vivem em Process > Modelos > modelo > Preparação > Avaliações e exigem a permissão Editar receitas e avaliações.

A pasta Avaliações

Selecionar a linha Avaliações abre a página da pasta ("Critérios de aprovação e reprovação contra os quais uma execução é julgada. A avaliação lê canais do processo.") com um cartão por avaliação, por nome; clicar num cartão o abre, e o X o remove. Sem nenhuma, a página diz "Nenhuma avaliação ainda. Adicione uma."

A página da avaliação

O cabeçalho carrega o nome, a frase "Critérios de aprovação e reprovação contra os quais uma execução é julgada." e uma pílula contando os critérios. Todo campo salva sozinho, e toda edição redesenha a prévia do critério escolhido.

Definição

Sob os dois campos, o cartão diz quando um nome desta avaliação ou de um critério dela se lê igual ao de outro, o que uma versão publicada pode ter salvado (veja Nomes são endereços).

Como a execução é julgada

Este cartão declara a dobra que o motor aplica, na ordem dele:

• NOK se algum critério reprovar.
• Indeterminada se nenhum reprovou e um não pôde ser julgado.
• OK só quando todos eles aprovaram.

"A severidade não muda nada disso. Ela é lida contra o limiar de aborto do procedimento e decide apenas se uma reprovação também encerra a execução ali." O cartão também alerta antes de uma execução: "Um critério não pode ser julgado como está configurado, então uma execução terminaria Indeterminada." (ou "<n> critérios não podem ser julgados …"), e diz "Nenhum procedimento deste modelo roda contra esta avaliação ainda." enquanto nada a referencia.

A lista de critérios

A lista é encabeçada por Critérios, e o botão Critério dela acrescenta uma linha no primeiro canal legível do modelo (âncora Execução inteira, modo Janela inteira, uma faixa fixa com os dois lados abertos, severidade Grave, sem nome) e a escolhe. Clicar numa linha a abre na coluna Critério; sem nada escolhido, a coluna diz "Selecione um critério para editá-lo inteiro num lugar só, com o que cada campo decide ao lado dele." A lista carrega o critério inteiro e rola para o lado além da largura do painel.

O critério por inteiro

A coluna abre com uma prévia: a faixa do critério escolhido e o trecho que ele julga, sobre eixos declarados sem nenhuma amostra por perto (não há execução por trás de uma tela de configuração). Uma faixa fixa é desenhada nos valores de engenharia do canal, com espaço para uma reprovação de cada lado; uma faixa relativa é desenhada como desvio em relação ao canal de referência, que fica como a linha no zero. Quando nada pode ser desenhado (nenhum limite definido, nenhuma referência escolhida) a moldura diz por quê, em vez de ficar vazia. Sob ela, todo campo fica sobre uma legenda fixa e, onde a resposta se move com as entradas, sobre o efeito do que está em vigor. As frases de efeito escrevem os seus números no formato de número da estação (Idioma e formatos), com os dígitos que cada um tem: um limite da faixa ou uma tolerância com até as seis casas que o seu campo mostra, e um tempo em milissegundos abaixo de um segundo e em segundos daí em diante.

O que o resultado diz

Os motivos pelos quais um critério não pode ser julgado, perguntados no momento da configuração na ordem do próprio motor: "Ele não observa nenhum canal deste modelo."; "O canal que ele observa não é registrado pelo datalog do procedimento que o executa."; "Ele não segue nenhum canal de referência deste modelo."; "Até está no mesmo instante de De ou antes dele, então a janela fica vazia."; "Os limites dele estão incompletos ou invertidos."; "O canal de referência não é registrado pelo datalog do procedimento que o executa." Os motivos de datalog são perguntados apenas aos procedimentos que rodam a avaliação; uma avaliação que procedimento nenhum pegou ainda está inacabada, não errada.

Como os critérios se dobram num veredito

Toda linha gravada dentro de uma janela ativa é classificada uma vez: avaliada, indisponível (um valor faltando ou uma qualidade ruim) ou inválida (um valor bom que não é número finito; um NaN bom continua sendo dado bruto auditável, mas não certifica um critério numérico). Um limite fixo precisa do valor vigiado; um limite relativo precisa do valor vigiado e do de referência da mesma linha. Os contadores Amostras avaliadas, Amostras fora, Amostras indisponíveis e Amostras inválidas e o conjunto congelado de canais afetados são gravados por critério, e também são legíveis ao vivo nos pontos Procedure.* da unidade (veja O espaço de endereços da unidade).

Cada resultado também grava o que foi medido: o último valor avaliado do canal vigiado na janela (no modo Um ponto, a amostra julgada), o menor e o maior valor avaliado, e a pior excursão, a maior distância além de um limite entre as amostras contadas (0 quando houve amostras avaliadas e nenhuma saiu). Linhas indisponíveis e inválidas nunca contam, então uma janela sem nada avaliado não grava nenhum deles. Um arquivo de execução gravado por uma versão anterior não tem valores medidos e os lê vazios.

Cada resultado guarda ainda o trecho da execução que julgou: o modo, a âncora, o início e o fim de uma janela de tempo, o segmento e a sua estabilização. Uma execução aberta mais tarde continua dizendo o que foi julgado, e a evidência no registro da execução e no relatório PDF abre com ele (veja Critérios julgados). Um arquivo de execução gravado por uma versão anterior não o guardou, e a sua evidência mostra só os contadores.

Os resultados são rigorosos quanto à evidência. No modo Janela inteira, qualquer violação avaliada prova NOK; fora disso, uma linha indisponível ou inválida, uma observação interrompida ou uma janela vazia marcam o critério como Indeterminada; só evidência completa dentro da faixa o torna OK. O modo Um ponto decide pela última amostra ativa da janela apenas, e os contadores, a pior excursão e os canais afetados do seu resultado são só dessa amostra; o menor e o maior valor continuam cobrindo a janela inteira que ele vigiou. Um procedimento Temporizado reancora todo critério por ciclo e conta os ciclos reprovados. O veredito da execução se dobra em ordem: uma execução abortada ou qualquer critério NOK a torna NOK; fora isso, qualquer resultado Indeterminado a torna Indeterminada; resultados todos OK a tornam OK; uma execução sem avaliação termina sem veredito. Só um NOK confirmado dispara o limiar de aborto do procedimento ou a contagem de ciclos reprovados.

Nomes são endereços

Toda unidade publica o resultado da última execução dela sob Process.<Model>.<Unit>.LastRun.Evaluations.<Evaluation>.<Criterion> (LastRun), então o nome da avaliação e o nome de cada critério (ou, num critério sem nome, o do canal dele) são segmentos de endereço, os nomes higienizados: "Soak check" é Soak_check. Renomear um deles move esses endereços e reescreve as expressões, os scripts e as telas que os escreveram, como toda renomeação do modelo; renomear o canal de um critério sem nome também o move.

Dois nomes que se leem iguais respondem a um endereço só, que não sabe dizer qual resultado guarda, então:

Onde uma avaliação é usada

Remover avaliação

Remover avaliação fica no grupo de perigo da barra de detalhe com a avaliação selecionada, no menu de clique direito dela, e como o X no cartão da página da pasta. Ele pergunta antes ("Excluir avaliação", "Isso remove a avaliação e os critérios dela."). Todo procedimento que julgava por ela esvazia a referência de Avaliação dele e passa a terminar as execuções dele sem veredito. Ele exige Editar receitas e avaliações e fica cinza sob a trava de engenharia e o runtime parado.

O que uma avaliação não faz

• Ela não julga nada que um datalog não grave, e nada fora de uma execução ou de uma amostra.
• Ela não tem critérios de expressão: um critério é uma faixa ou uma tolerância sobre um canal.
• Ela não difere entre unidades em nada: um conjunto de limites serve toda unidade do modelo.
• Ela não encerra execução por si. Se um NOK aborta a execução é o limiar Abortar em NOK do procedimento, lido contra a severidade do critério.