¿Por qué hay un error al configurar el objeto en org.apache.hadoop.util.ReflectionUtils.setJobConf?

Personalmente no tengo experiencia en el uso de Hadoop, sin embargo, si “mira” el seguimiento de la pila, parece ser una Excepción de tiempo de ejecución en org.apache.hadoop.util.ReflectionUtils.setJobConf …

privado estático vacío setJobConf (Object theObject, Configuration conf) {
75 // Si JobConf y JobConfigurable están en classpath, AND
76 // theObject es de tipo JobConfigurable AND
77 // conf es de tipo JobConf entonces
78 // invocar configure en el objeto
79 prueba {
80 Clase JobConfClass =
81 conf.getClassByName (“org.apache.hadoop.mapred.JobConf”);
82 Clase JobConfigurableClass =
83 conf.getClassByName (“org.apache.hadoop.mapred.JobConfigurable”);
84 if (jobConfClass.isAssignableFrom (conf.getClass ()) &&
85 jobConfigurableClass.isAssignableFrom (theObject.getClass ())) {
86 Método configureMethod =
87 jobConfigurableClass.getMethod (“configure”, jobConfClass);
88 configureMethod.invoke (theObject, conf);
89}
90} catch (ClassNotFoundException e) {
91 // JobConf / JobConfigurable no en classpath. no es necesario configurar
92} catch (Excepción e) {
93 lanzar una nueva RuntimeException (“Error al configurar el objeto”, e);
94}
95}

Claramente, las clases JobConf y JobConfigurable están en la ruta de clase (de lo contrario, habría caído a través del bloque de captura CNFE), por lo que se ha producido otra excepción … parece que la excepción anidada es java.lang.reflect.InvocationTargetException que sugiere que hubo un problema con la ‘invocación’ en la línea 88 anterior.

Entonces, tratando de invocar el método ‘configure’ en la instancia de trabajo de destino con la configuración pasada. Sugiero que intente obtener la excepción causal
de alguna manera en el nivel superior y luego: e.getCause (). getCause (). printStackTrace ()

Espero que eso ayude…

Responderé con la perspectiva exactamente opuesta de Larry Cable: estoy muy familiarizado con map-reduce y Hadoop, pero no soy un desarrollador de Java (sí, esto es posible).

Tu orden me parece extraña. Su comando:

hadoop jar Sentiment.jar SentimentAnalysis test.txt SentimentOutput classifier.txt

Has identificado el frasco y la clase principal, pero ¿qué pasa con los siguientes argumentos? Recuerde que cuando su trabajo se ejecuta, se ejecuta en Hadoop y busca archivos en HDFS. Si test.txt está en el sistema de archivos local, no lo encontrará. También estoy asumiendo que SentimentOutput es el directorio de destino. Todas las rutas deben estar completamente calificadas en hdfs (es decir, / user / chris / mydirectory /).

Es más que probable que necesite utilizar la transmisión de Hadoop que le permite procesar datos de un sistema de archivos local: Hadoop Streaming

O puede poner sus archivos de texto en HDFS utilizando los comandos “hadoop fs”.

El hecho de que el trabajo se ejecute e inmediatamente falle cuando intenta mapear me indicaría que simplemente no puede encontrar algo que le haya dicho que busque. Y supongo que está buscando HDFS para estos archivos y no puedo encontrarlos.

haga clic y verifique el siguiente enlace,
Error al configurar el objeto en org.apache.hadoop.util.ReflectionUtils.setJobConf

¿Tienes la versión correcta de Java? ¿El usuario que ejecuta el script tiene los permisos correctos? Es probable que sea un error de permisos o que algún módulo no esté instalado.

More Interesting

¿Hay algún proveedor de Cloud que le permita desconectar un nuevo servidor instantáneamente (idealmente menos de 10 segundos, pero menos de 30 también es aceptable)?

¿Cuáles son algunas ideas de proyectos de graduación (código abierto basado en ERP en la nube)?

¿Qué lenguaje de programación podría convertirse en el lenguaje de "Cloud Computing"?

¿Cuál es el precio mensual promedio para que alguien administre un servidor Amazon ec2?

Digamos que quiero iniciar un nuevo servicio de chat. Mi inicio usaría solo los servicios de AWS. ¿Cómo podría estimar la cantidad / tamaño de los recursos de AWS (EC2, S3, DynamoDB, Lambda, etc.) que pueda necesitar? No tengo ninguna estimación sobre el número de suscriptores que podría obtener.

¿Ralentiza significativamente una PC para ejecutar Dropbox y Google Drive simultáneamente?

Si quiero desarrollar mi carrera en computación en la nube como desarrollador, ¿cuáles son / son las mejores certificaciones disponibles?

¿Cuál es la diferencia entre una aplicación basada en la nube y en la web?

¿Qué tipo de características proporciona AWS WAF (sin AWS Shield)?

¿Por qué Uber decide construir su centro de datos mientras que Netflix / Quora han demostrado que permanecer estratégicamente en la nube tiene sentido?

¿Qué es el almacenamiento en la nube? ¿Cuál es la diferencia entre el servidor web y el almacenamiento en la nube?

¿Puedo construir un sitio web a gran escala con millones de usuarios usando ASP.NET MVC?

Procesamiento de transmisión: ¿Alguien ha usado Vimeo PRO para codificar y almacenar videos? ¿Qué pasa con la nube DailyMotion? ¿Cuál sería mejor? ¿Puedo usar alguno de ellos para codificar y luego descargar / almacenar los archivos en mi S3?

¿Qué servicio en la nube es el mejor, AWS o Microsoft Azure?

¿Qué comandos utilizaron los técnicos que accidentalmente fallaron en AWS S3 en la región del norte de Virginia?