¿Sería una buena idea tener una clave ssh privada en mi teléfono inteligente para conectarme a mi servidor?

En mi opinión, eso tiene más sentido que configurar la contraseña de su servidor en algo fácil que pueda escribir en el teclado de un teléfono. Todavía puede tener una frase de contraseña en la clave. Lo hice en mi tableta Android rooteada, pero el cliente ssh quiere los permisos de archivo apropiados en las teclas y no funcionaría desde un directorio VFAT, por lo que esa aplicación en particular no funcionó en mi teléfono no rooteado.

Las aplicaciones ya tienen acceso a su sistema de archivos en Android, según lo establecido por los permisos de la aplicación (acceso a la cámara, etc.). Tener claves SSH en el dispositivo no hará ninguna diferencia. La posibilidad de que alguna aplicación aleatoria entienda las claves SSH y las use para acceder a su servidor sin su conocimiento me parece casi nula, ya que SSH no es (hasta donde yo sé) un protocolo Android incorporado.