Cómo acceder y visualizar todas las categorías de Wikipedia

Los volcados de la base de datos de todo el contenido de Wikipedia se ponen a disposición del público de forma rutinaria. Si bien no me he mirado, estoy seguro de que incluyen categorías.

A partir de ahí, ciertamente podría extraerlos y crear algún tipo de vista de árbol jerárquico. Cómo exactamente harías eso depende de cuál sea exactamente tu objetivo final.

Necesitará una máquina bastante robusta para hacer esto, especialmente en términos de espacio de almacenamiento. La buena noticia es que el espacio de almacenamiento se ha vuelto muy barato (recientemente obtuve una unidad de 5 TB a la venta por menos de $ 100, para un proyecto de análisis de datos grande similar), por lo que es bastante posible que lo haga. Como estás haciendo un proyecto de una sola vez, no es algo que necesites para responder en tiempo real, un disco estándar estándar lo hará bien.

También es completamente posible que alguien haya hecho algún trabajo existente que podría usar como punto de partida. El análisis del contenido de Wikipedia es bastante común. Puede echar un vistazo para ver si alguien ha hecho algo que le convenga, entonces no tendría que comenzar desde cero.