O pessoal do Box and Arrows publicou um artigo bastante esclarecedor sobre como projetar um sistema de avaliação decente. Eles partem do ponto de vista de que as avaliações e reputações são um sistem de gestão de riscos, sobretudo risco de fazer a escolha errada. Uma analogia um pouco restrita ao modelo “mercadológico” de pensar, mas que com um pouco de imaginação nos ajuda a entender como fazer o design dessas ferramenteas seja qual for a aplicação. 

Eles indicam indicam três questões básicas para guiar o design: 

1 Quem está avaliando?
Não adianta em muita coisa ver que o filme recebeu 5 estrelas, se as pessoas que o avaliaram tem um gosto diferente do seu. Para a avaliação ser relevante, é preciso deixar claro quem achou o quê sobre o produto avaliado, como faz a amazon ao usar o nome real das pessoas, e melhor ainda é dar prioridade a avaliações de pessoas que tem um gosto parecido com o seu, como faz a Netflix.

2 O que está sendo avaliado?
É preciso deixar bem claro o que está sendo avaliado, para que as notas realmente reflitam a opinião das pessoas. No caso de uma loja por exemplo, ao se deparar com uma nota dada a um produto, é preciso saber se a nota avalia a qualidade do produto em si, seu preço, ou o prazo de entrega. De preferência, é interessante permitir que os usuário avaliem cada critério separadamente, e a média deles construa uma avaliação geral.

3 Que comportamento está sendo encorajado?
É preciso entender que em um sistema de reputação estamos obrigatóriamente estimulando alguns tipos de comportamento – aqueles que fazem sua reputação subir, e desestimulando outros – aqueles que a fazem cair. Depois de tomarmos consciência desse fato, podemos passar a usá-lo para conduzir a comunidade na construção de um ambiente melhor para todos. Algumas forma de fazer isso são: 

• Liste os comportamentos que quer encorajar e desencorajar, e crie avaliações para cada um deles
• Seja tranparente ao mostrar como a reputação de cada usuário está sendo construída
• Mantenha o sistema de reputação flexível, para evitar manpulação
• Reflita a realidade, ou o modelo mental do público que está atingindo

via Bokardo