Você pode usar o comando rm para excluir arquivos e pasta via ssh.
COMO FAZER
apagar arquivos específicos:
rm nome_do_arquivo1.txt nome_do_arquivo2.txt
apagar arquivos com a mesma extensão:
rm *.txt
apagar uma pasta inteira e seu conteúdo de forma recursiva:
rm -rf nome_da_pasta/
Para apagar todos os arquivos e pastas no diretório atual, sem excluir o diretório em si:
rm -rf *
Tome cuidado ao utilizar o comando rm, pois caso você remova algum arquivo por engano, o erro será irreversível.
SUGESTÃO DE APLICATIVO PARA ACESSO SSH
Caso você ainda não tenha um comando para acesso ssh na sua maquina, pode utilizar o Putty, é simples e gratuito. :)