É claro que o usuário também não ajuda. O fato de muitos não alterarem a senha padrão é um outro vetor de segurança, visto que o SSH vem ativo por padrão, embora não possa ser acessado de fora se estiver em uma LAN sem o redirecionamento da porta.
Outras questões como manter o sudo ativo para o usuário "pi" faz com que qualquer atacante que tenha acesso ao sistema possa virar root facilmente
