1. Introdução

O PAI[1] é uma investigação de como avaliar a usabilidade de interfaces de sítios Web. Esta avaliação é objetivada num estudo de caso, dirigido ao sítio Web da secretaria de uma Escola do Ensino Superior.

O PAI tem como objetivo primário apresentar soluções eficazes relativamente às questões de usabilidade detetadas. Visa aumentar o desempenho e garantir que a interface de um sítio Web vai ao encontro das expectativas do utilizador, particularmente em termos de facilidade de navegação e de rapidez no acesso aos conteúdos.

1.1. Contexto do PAI

Esta investigação foi conduzida no Instituto Superior de Contabilidade e Administração do Porto, ISCAP, na região do grande Porto. É uma escola superior, com 125 anos de existência. A comunidade iscapiana tem cerca de 3600 pessoas de corpo discente, mais 300 docentes e uma centena de funcionários, para além dos convidados. Esta dimensão requer um funcionamento eficiente da secretaria, quer no âmbito administrativo, quer no âmbito letivo. Grande parte das funções administrativas e letivas necessárias são executadas a distância, ou seja, através de uma secretaria virtual.

A previsão de forte adesão pela comunidade iscapiana revelou-se bem sucedida (ver Tabela 1), de tal modo que o modelo foi adotado por todas as sete escolas do Instituto Politécnico do Porto, onde o ISCAP se insere, o maior Politécnico do País. (Em 2012 mais de 18 mil estudantes frequentam as sete Escolas do Politécnico do Porto, localizadas em seis cidades do distrito do Porto).

Tabela 1. Número de acessos mensais ao sítio Web da secretaria durante os últimos doze meses

O gráfico da tabela 1, ilustrado pela figura1 mostra o número de acessos durante os últimos doze meses e a sua variação sazonal.

Figura 1. Número de acessos mensais ao sítio Web da secretaria on-line durante o ano de 2012. As cinco barras verticais em cada mês correspondem às cinco colunas da tabela 1 (visitantes únicos, número de visitas, páginas, hits, bytes) Fonte:http://stats.iscap.ipp.pt/awstats/awstats.pl?config=secretaria.iscap.ipp.pt (acedido em Janeiro de 2012)

2. A Interação Homem-Computador, IHC. Perspetiva

A interface de um sistema computacional deve prioritariamente facilitar a interação com o utilizador, tornando-a natural, fácil e intuitiva.

A IHC tornou-se um palco interdisciplinar de um desafiante teste no domínio da aplicação e desenvolvimento da psicologia e das ciências sociais no contexto do desenvolvimento da tecnologia e respetivo uso.

2.1. A importância da IHC no Desenvolvimento de Interfaces

O extraordinário crescimento da IHC nos últimos 25 anos transformou esta área num fenómeno global à escala mundial. Os profissionais em IHC desenvolveram princípios de desenho, diretrizes e normas que ajudam os programadores a obter consistência, retorno informativo, prevenção de erros, atalhos para utilizadores especialistas e controlo centrado no utente nas interfaces com o utilizador. O sucesso é medido por métricas de desempenho individuais, tais como tempo de aprendizagem, velocidade e taxas de erros, enquanto que a satisfação é avaliada através de questionários detalhados[3]. A elevada contribuição da IHC na melhoria das interfaces foi rapidamente reconhecida pela comunidade académica e o seu campo de ação expandiu-se do ambiente de trabalho do computador pessoal à Web e às interfaces móveis usadas por milhares de milhões de pessoas à volta do mundo.

2.2. A Importância da IHC na Usabilidade das Interfaces

A usabilidade é um termo central na IHC e foram desenvolvidas várias interpretações para explicar o seu significado: desde “a capacidade de um sistema poder ser usado por humanos de forma fácil e eficaz”[4], “qualidade no uso”[5], até à definição das normas ISO 9241-110:1999, que descrevem até que ponto um sistema computorizado pode ser usado pelos utilizadores de forma a atingir objetivos específicos com eficácia, eficiência e satisfação num dado contexto[6]. Esta é a questão-chave em IHC: melhorar a usabilidade de sistemas interativos de forma a que sejam eficazes, eficientes e de fácil utilização. As investigações no âmbito desta questão originaram um conjunto de diretrizes para melhorar a usabilidade dos sistemas[7], métodos para prever problemas de usabilidade[8],[9] técnicas para testar a usabilidade dos sistemas[10] e originaram várias discussões relativas à medição ou avaliação da usabilidade[11],[12] e[13].

A avaliação da usabilidade, AU, usa uma metodologia que permite medir aspetos de usabilidade na interface de um sistema com o utilizador, identificando problemas específicos na interface[14],[15]. A AU é um processo que requer várias atividades, tais como: especificar os objetivos da avaliação, identificar os utilizadores alvo, selecionar métricas de usabilidade, selecionar um método de avaliação e as tarefas a serem executadas, desenhos experimentais, recolher, analisar e interpretar os dados[14],[15],[16] e[17].

O objetivo da IHC é o desenvolvimento e implantação de interfaces “amigáveis”, user-friendly, permitindo ao utilizador realizar as suas tarefas com segurança, eficácia, eficiência e satisfação, ou seja, originando interfaces com elevado grau de usabilidade.

3. Técnicas de Avaliação da Usabilidade AU

3.1. A Funcionalidade e a Usabilidade

Um dos grandes desafios no desenvolvimento de sistemas computacionais usáveis por pessoas é saber como fazer a transição entre o que pode ser feito — funcionalidade — e como deve ser feito — usabilidade — com o objetivo de satisfazer as necessidades do utilizador.

A avaliação da usabilidade, AU, permite identificar problemas específicos na interface de um sistema[5].

Seguindo Dix et al.[18] e Rocha & Baranauskas[19] a avaliação tem como objetivos principais: avaliar a funcionalidade do sistema, avaliar a satisfação do utilizador relativamente ao uso da interface, avaliar problemas do funcionamento geral do sistema.

3.2. A Escolha de um Método de Avaliação

Existe uma grande diversidade de métodos para avaliação de sistemas interativos. Para vários autores[8],[9],[10] e[11] os métodos atuais de AU podem ser agrupadosgenericamente em cinco classes: teste (testing) ou observação direta, inspeção (inspection), inquérito (inquiry), modelação analítica (analytical modeling), simulação (simulation).

Normalmente a AU é feita através da combinação de dois ou mais métodos, na perspetiva de detetar diferentes problemas[1].

4. Metodologia de Investigação

4.1. A Metodologia do PAI

A metodologia de investigação utilizada no PAI para avaliar a usabilidade começou por seguir o preconizado por Shneiderman[14] através do uso de sessões de testes ao utilizador e do uso de questionários[1]. Como esta investigação é um work in progress, obrigou a uma pesquisa aturada para obter informação relevante que contribuísse para uma avaliação da usabilidade mais completa. Encontrámos na avaliação heurística um complemento importante aos resultados finais entretanto conseguidos com os métodos anteriormente referidos.

Com o objetivo de ser completos nesta investigação do PAI, decidiu-se como é comum em muitas áreas, que se estudaria todos os métodos em avaliação em uso para se criar o equivalente de um menor múltiplo comum, isto é, um supermétodo completo e que englobe sem redundãncias todos os existentes e portanto seja abrangente e não deixe de fora qualquer diretriz normativa. Claro que esta filosofia nem sempre resulta mas deve sempre ser verificada num estudo completo de um problema.

Após a pesquisa de fontes, ida a seminários e workshops[28] sobre o problema, concluí-se que para verificar o conjunto de regras descritas nas diversas fontes, a melhor solução era usar um sistema já desenvolvido e aplicado pela empresa UserFocus[28].

O sistema de verificação desenvolvido pela UserFocus Corporation é baseado na compilação e integração de diversas fontes, sendo[29] as principais:

– Verificações na ISO 9241-110 (Checkpoints in BS EN-ISO 9241-110: Ergonomics of human system interaction — Part 110: Dialogue principles).

– Dez princípios de usabilidade e aplicação na Web (Jakob Nielsen’s 10 usability principles (and the Web-related derivatives of these principles).

–As 187 diretrizes para um desenho eficaz na Web (The 187 guidelines for effective Web design and usability described in usability.gov’s “Research-Based Web Design & Usability Guidelines).

– As melhores práticas na Web (Best practice on the Web, as revealed through our consulting experience with clients in a variety of sectors).

Para se aplicar este método à investigação da interface do sítio Web escolhido constituíram-se cinco grupos de avaliadores para participarem no estudo. Os participantes foram contatados pessoalmente solicitando-lhes estar em sessões de avaliação do grau de conformidade de quinze ecrãs (Ver seção IV, parte B) e usando um conjunto de nove heurísticas.

Os resultados foram obtidos preenchendo uma folha de cálculo disponibilizada no sítio Web da organização que desenvolveu o conjunto de heurísticas, UserFocus, onde figuram, agrupados por heurística (nove no total), todos os pontos de verificação (247 no total) a serem testados em cada interface (ecrã). Uma lista abreviada das heurísticas utilizadas é apresentada na Tabela 2.

Estas diretrizes têm o benefício de um consenso internacional já estabelecido e aceitação na comunidade científica. Além disso podem ser aplicadas a qualquer sistema interativo.[29].

A seleção dos ecrãs analisados foi feita com base nas funcionalidades mais utilizadas no sítio Web da secretaria, para se detetar os problemas de usabilidade nos ecrãs de utilização mais frequente, que é precisamente um dos objetivos principais deste estudo.

Tabela 2. A avaliação heurística: um sistema de verificação desenvolvido pela UserFocus Corporation[28]. Diponível em http://www.userfocus.co.uk/ eacedido em Novembro de 2011

4.2. Estudo de SÍTios Web com Ecrãs Gerados Dinamicamente

O sítio Web em estudo, tal como muitas das interfaces Web atuais, usa as modernas facilidades de geração de código que permitem criar no momento os ecrãs, dinamicamente, com a vantagem da personalização da resposta do sítio para cada pedido (query) dos utilizadores.

Obviamente esta enorme variedade de ecrãs, que resulta da “explosão” combinatória dos elementos possíveis de constituir a interface, arrasta o problema da impossibilidade de se poder analisar todos os ecrãs suscetíveis de serem gerados que são sempre em número elevadíssimo.

É este um dos novos problemas de avaliação de sítios Web com geração dinâmica de ecrãs: a impossibilidade prática de se analisar a totalidade dos ecrãs, neste caso concreto do sítio Web da secretaria, não só por falta de meios humanos mas também porque a análise exaustiva implicaria verificar a conformidade de cada ecrã com 247 questões para cada um.

Houve assim que decidir que ecrãs deviam ser objeto de avaliação de usabilidade. Com efeito, sendo os ecrãs gerados dinamicamente, vários dos ecrãs repetem-se Com pequenas variações (por exemplo, as barras laterais esquerdas e superior mantêm-se na maioria das vezes).

Analisou-se quais são quase iguais e quais são bastante diferentes e estudou-se os essencialmente diferentes. A lista dos ecrãs estudados foi a seguinte:

1. Página inicial

2. Notas

3. Mensagens

4. Propinas

5. Transferências

6. Plano de curso

7. Sistema

8. Certidões/Diplomas

9. Calendário de Exames

10. Cursos

11. Atualizar os dados pessoais

12. Listagem de horários

13. Histórico

14. Regime de avaliação

15. Inscrições

Para o estudo de cada ecrã utilizou-se a folha de cálculo, semiautomatizada, disponibilizada no sítio Web da empresa UserFocus[28], que calcula automaticamente a pontuação final para cada uma das diretrizes após a resposta a 247 questões para cada ecrã.

Sendo este procedimento muito intensivo em trabalho, a solução ideal afigura-se ser uma maior automatização das diretrizes, ou seja, a aplicação de uma ferramenta que executasse a análise de todo o sítio Web com uma intervenção mínima do avaliador. Porém, como o estudo[15] mostra, esta não é uma solução completamente viável.

5. Resultados do PAI

A avaliação heurística foi aplicada usando as diretrizes da UserFocus e os resultados obtidos com a metodologiadescrita na seção anterior, IV secção parte A, são apresentados a seguir:

5.1. Resultados da Avaliação Quantitativa

De novo chama-se à atenção que um estudo preliminar dos diferentes ecrãs usados revelou que a análise de conformidade deveria incidir sobre quinze ecrãs essencialmente distintos. É um número elevado de ecrãs. Acresce ainda que a metodologia de análise da UserFocus é muito intensiva em trabalho. Com efeito cada ecrã exige uma análise e respostas a nove folhas de cálculo (agrupadas num livro) com um total de 247 questões para cada ecrã.

Assim esta avaliação quantitativa foi extremamente trabalhosa: avaliou-se a conformidade de quinze ecrãs utilizando um conjunto de 247 questões gerando um total de quinze livros num total de 247x15=3705 operações. Obviamente estas mais de 37 centenas de operações resultam num estudo muito exaustivo dos ecrãs utilizados mais frequentemente no sítio Web.

O elevado número de itens em análise acarreta também o problema de como apresentar de modo razoável e sumário esta enorme quantidade de informação obtida, para ser facilmente utilizável num relatório eficaz do diagnóstico da AU no sítio Web analisado. Como melhor método de apresentação para os resultados obtidos na análise dos quinze ecrãs assentou-se na síntese do seu conjunto que foi efetuado na Tabela 3 (partes 1/3, parte 2/3 e parte 3/3).

Pretendeu-se identificar a “pegada” caraterística de cada ecrã para o que se elaborou um gráfico tipo radar para cada ecrã (Ver a última coluna da Tabela 3). Além da pegada, o gráfico permite identificar rapidamente, por inspeção visual, quais as diretrizes menos conseguidas na interface, que correspondem no gráfico radar a “raios” mais curtos.

Esta tabela deve ser vista na perspetiva de sintetizar 247 questões para cada um dos quinze ecrãs analisados heuristicamente. A análise da última linha da tabela mostra que a pontuação obtida por ecrã foi, neste caso sempre superior a 50%, o que significa que mais de metade dos itens verificados são aplicáveis.

A média global da análise é de 72% (com um desvio padrão de 10%) o que é um resultado bastante favorável em termos de usabilidade.

No entanto, o objetivo de uma análise deste tipo é detetar problemas de usabilidade e não derivar métricas dessa usabilidade. Por isso a pontuação por si só não permite tirar grandes conclusões mas estabelece comparações entre pontuações obtidas em determinadas áreas ou funções[29] mostrando fraquezas da interface ou áreas ou funções do sítio Web que devem ser melhoradas. No caso concreto de estudo do PAI, o sítio Web de uma escola de ensino superior, a pontuação obtida na área da Pesquisa foi de 48%, o que é um valor muito baixo comparado, por exemplo, com a área da Confiança e credibilidade (86%). Além disso um desvio padrão de 20% (muito elevado) indica uma grande variação de pontuações nesta área. Estes valores sugerem que o gestor do sítio deve concentrar-se em melhorar prioritariamente a área da Pesquisa[29] que se apresenta como um ponto mais fracoda interface.

Não devem ser ignorados os valores obtidos pelas diretrizes "Formulários de entrada de dados" e "Ajuda, retorno e tolerância a erros" que, apesar de serem superiores a 50%, não correspondem a uma alta usabilidade. Por outro lado apresentam, respetivamente, um desvio padrão de 26% e 21%, valores que são considerados altos.

As figura 2 e figura 3 ilustram a distribuição da pontuação média obtida por diretriz e os valores obtidos para o desvio padrão e mostram visualmente esta conclusão.

Figura 2. Pontuação média obtida por diretriz

Tabela 3. Avaliação da usabilidade dos ecrãs: Página inicial, Notas, Mensagens, Propinas e Transferências (parte 1/3)

Tabela 3. Avaliação da usabilidade dos ecrãs: Plano de curso, Sistema, Certidões/Diplomas, Calendário de Exames e Cursos (parte 2/3)

Tabela 3. Avaliação da usabilidade dos ecrãs: Actualizar os dados pessoais, Listagem de horários, Histórico, Regime de avaliação e Calendário de exames (parte 3/3)

Figura 3. Desvio padrão obtido por diretriz. Note-se que esta escala (raio 30%) é ampliada relativamente à escala usada na Fig. 2 anterior (100%)

5.2. Resultados da Avaliação Qualitativa

Os dados qualitativos obtidos resultam maioritariamente dos comentários dos avaliadores aquando da execução da avaliação heurística. Estes comentários são compilados e sintetizados na Tabela 3.

Estes resultados listam aspetos onde não se verificou conformidade com os itens de controlo das diretrizes e refletem o grau de usabilidade do sítio Web.

5.3. Conclusões do uso da Metodologia UserFocus

A avaliação heurística consistiu na verificação da conformidade de um conjunto de ecrãs, representativo do sítio Web a ser analisado, com um elevado número de diretrizes.

Os resultados obtidos indicam, neste caso, já se ter alcançado um grau de usabilidade muito razoável em termos gerais.

A simples enumeração das conclusões obtidas, ilustrada quer na tabela de síntese, Tabela 3 (partes 1/3, parte 2/3 e parte 3/3), quer na tabela 4, quer nas breves considerações desta seção, ilustram bem as vantagens desta heurística e os resultados que podem ser tirados para a melhoria da interface.

6. Conclusões

O estudo apresentado nas secções anteriores corresponde à investigação em curso do PAI no que diz respeito à avaliação heurística. O resultado final deste estudo para o sítio Web analisado, está a ser consubstanciado numa proposta com orientações pormenorizadas destinadas a auxiliar o gestor a aumentar significativamente o grau de usabilidade do sítio Web da secretaria nos vários aspetos referidos.

As orientações serão baseadas não só nos resultados obtidos no teste ao utilizador, e nos resultados dos inquéritos, mas também nas conclusões obtidas da avaliação heurística aqui resumida.

Tabela 4. Resumo da análise de todos os ecrãs Resultados da avaliação heurística Usabilidade da Página Principal Não existe uma hiperligação que agrupe informação sobre o sítio Web, p. ex., "Acerca de nós". Orientação de Tarefas O número de ecrãs por tarefa poderia ser reduzido.A política de privacidade não se encontra em local de acesso fácil. Navegação e Arquitetura da Informação Não existe um mapa do sítio que permita uma visão geral da sua estrutura.Existem categorias que apresentam demasiada profundidade.Não existe um mapa do sítio que permita uma visão geral da sua estrutura.Os guias de navegação não estão colocadas no topo da página. Formulários e Entrada de Dados O posicionamento do cursor nas caixas de formulários devia ser automático.Não é possível alterar os valores predefinidos nos formulários.Nos ecrãs de entrada o cursor não é colocado em local visível e necessário.Os rótulos não estão justificados à direita. Confiança e Credibilidade Os conteúdos deveriam ser atualizados com mais frequência.O sítio Web não permite obter assistência técnica. Estilo e Qualidade do Conteúdo As frases não se encontram escritas na voz ativa.Nem sempre a designação da hiperligação está em conformidade com o título da página.As etiquetas dos botões não começam por palavras de ação. Esquema de Página e Desenho Visual Ao fazer clique no logótipo da Escola não há encaminhamento para o respetivo sítio na Web.Os botões e hiperligações não apresentam qualquer alteração (cor, forma) após terem sido ativados. Usabilidade da Pesquisa O sítio não inclui uma opção de pesquisa avançada, por exemplo, refinar a pesquisa (de preferência com o nome "pesquisa avançada").A opção de pesquisa não se encontra em local onde os utilizadores esperariam encontrá-la (canto superior direito da página).A página de resultados da pesquisa não apresenta meta-informação útil, tal como o tamanho do documento, a data em que o documento foi criado e o tipo de ficheiro (.doc, .pdf, etc.).O motor de pesquisa não oferece verificação ortográfica automática, plurais e sinónimos.As mensagens de erro podiam ser mais cordiais e menos autoritárias. Ajuda, Retorno e Tolerância a Erros A ajuda não fornece instruções passo-a-passo para ajudar os utilizadores a realizar tarefas.O sítio não dá feedback (por exemplo: "Você sabia?"). A aprendizagem do utilizador seria mais rápida.As mensagens de erro são pouco explícitas o que torna difícil a correção dos erros.Devia existir uma secção de FAQ (Frequently asked questions).Desenho visual da ajuda pouco atrativo.

De uma forma geral pode concluir-se que a utilização de técnicas de interação Homem-Computador na avaliação da funcionalidade e usabilidade do sítio Web da secretaria foi essencial no sentido de apresentar sugestões que levaram a maior usabilidade, eficiência e a aumentar o grau de satisfação à generalidade dos utilizadores (professores, funcionários, alunos e convidados).

Vários desenvolvimentos possíveis e a clarificação dos limites e expansões do método estão a ser considerados no PAI, em particular como considerar a avaliação da usabilidade, AU, em sítios Web dinâmicos e complexos. Dada a geração de um ecrã para cada “query” dos utilizadores, obviamente a conformidade com as diferentes diretrizes normativas terá que ser realizada a montante da geração do ecrã dinâmico, no código que o cria.

Por outro lado, em projetos de envergadura e responsabilidade, é natural que se queira em definitivo ter confiança na sua usabilidade. Então, uma análise como a realizada impõe-se. Há contudo que considerar os contras dos grandes custos em trabalho e, portanto, tempo e recursos.

Conclui-se então:

1. Haverá que garantir a usabilidade a montante da geração dos ecrãs, para garantir criação de ecrãs em conformidade com as diretrizes normativas de usabilidade.

2. O uso total das diretrizes de usabilidade, com um método completo como o utilizado, só se justifica em projetos que não podem falhar, mission critical, projetos de alto risco e de grande envergadura pelo elevado nível de trabalho e portanto de recursos envolvidos.

A divulgação do PAI, e o caso de estudo de usabilidade de um sítio Web de bastante complexidade e com um elevado número de utilizadorres, aqui descrito e analisado, nomeadamente expondo fatores que contribuem para uma maior ou menor satisfação permite avaliar situações similares ou facilmente extrapoláveis. Pode-se ajuizar em particular da pertinência da avaliação heurística adotada e do uso de recursos que essa decisão irá implicar.

Notes

1. Organização especializada em Usabilidade na Web e sedeada no Reino Unido.