Depende de lo que quieras que haga tu servidor.
Si desea algo realmente pequeño, silencioso y de bajo consumo de energía, puede instalar servicios en una Raspberry Pi. Puede que no sea potente, pero si solo desea un uso con poco tráfico para algunos usuarios, será suficiente. Instale el sistema operativo Raspbian estándar y agregue un servidor web como Apache o (mi preferencia) NGinx. Esto le permitirá servir páginas web estáticas o archivos que coloque en el directorio raíz del servidor. También puede usar esta configuración como un servidor FTP. Nuevamente, esto es para aplicaciones de uso ligero.
Si desea avanzar hacia algo más poderoso, una computadora portátil usada de eBay es la mejor solución. Todavía es pequeño, consume relativamente poca electricidad, tiene su propia batería como fuente de alimentación de “respaldo” y es silencioso. También puedes moverlo fácilmente. Recomiendo un Lenovo ThinkPad usado con Debian instalado en él.
Si desea instalar sus propios componentes, compre un gabinete de su elección y agregue los componentes que desee. Debido a los estándares de la industria, es fácil obtener la placa base, la CPU, la memoria, la fuente de alimentación y las unidades adecuadas que se adaptan a los gabinetes. Para el sistema operativo, nuevamente, recomiendo Debian.
Si desea ser un usuario avanzado, puede comprar su propio servidor de montaje en rack de centro de datos usado. Sus ventajas incluyen componentes de alto grado, piezas garantizadas para trabajar juntas, múltiples CPU con múltiples núcleos, fuentes de alimentación redundantes, múltiples puertos de red, controladores RAID, puerto de red de servicio fuera de banda, bahías de unidades de intercambio en caliente en el frente (depende en el modelo, por supuesto), memoria de corrección de errores, tolerancia al calor y la vibración. Estos servidores solo cuestan unos pocos cientos de dólares, definitivamente una gran ganga. Sin embargo, pagará la electricidad necesaria para ejecutar dicho hardware de alta gama, se calienta, hace mucho ruido, suele ser pesado y largo, no exactamente algo que arroje debajo de su escritorio. Tienes que encontrar un rincón en la casa donde pueda mantenerse fresco y no enloquezca a todos (y a las mascotas). Sin embargo, es divertido tener uno, y puede probar todo tipo de proyectos en él, ejecutando múltiples máquinas virtuales que brindan varios servicios simultáneamente.
Si no desea lidiar con el hardware, puede activar un VPS (servidor privado virtual) barato en OVH, Atlantic o DigitalOcean. Debe saber lo suficiente como para conectarse de forma remota al servidor y administrarlo desde una línea de comandos.
Puede actualizar a un servidor dedicado, lo que significa que el proveedor le da acceso a uno de sus propios cuadros de servidor. Esto definitivamente cuesta más dinero.
Si desea configurar su servidor exactamente a su manera, pero no quiere soportar el consumo de calor, ruido y electricidad, puede utilizar los servicios de colocación, lo que significa que compra su servidor de eBay, lo configura y lo envía a los datos centrar y pagarles para alojarlo.
Como su pregunta no tiene demasiados detalles, espero poder brindarle información general.