¿Cuál es la fortaleza y la debilidad del departamento de CS de Caltech, especialmente en el área de Machine Learning?

Yisong Yue obviamente tiene una perspectiva mucho más actual. Pero permítanme dar mi perspectiva como estudiante universitario (2004, la primera clase en graduarse con un título de “CS” en lugar de “E&AS”).

Primero, Caltech es un lugar fabuloso para aprender los fundamentos de la informática y, en general, la ciencia. Muchas personas se quejan de tener que tomar la mecánica cuántica como un curso obligatorio, pero estoy muy contento de haberla tenido cuando tomé un curso de computación cuántica en Princeton más tarde. También creo que soy capaz de mantener una conversación con casi cualquier científico sin importar el campo.

Específicamente para ciencias de la computación, la experiencia de pregrado proporciona bases muy sólidas (con algoritmos / teoría de computabilidad tan rigurosos como los cursos de posgrado en Princeton) con la flexibilidad de explorar lo que le interesa.

Para mí, desafortunadamente, mis intereses estaban en el procesamiento del lenguaje natural, que Caltech ignora por completo. Entonces, si desea trabajar en la comprensión de texto, reconocimiento de voz o cualquiera de las aplicaciones interesantes que provienen de las redes sociales o la web, no tiene suerte en Caltech. Sin embargo, Caltech lo compensa con un excelente programa SURF que me permitió trabajar con grandes personas en Princeton, la Akademie der Wissenschaften de Berlín-Brandenburgische y UCLA. Pude ir a una escuela de posgrado decente y convertirme en profesor en PNL, por lo que obviamente no me dolió demasiado.

Dicho esto, una parte de mí se pregunta cómo habría sido la vida si hubiera ido a un lugar como MIT, Stanford, Cornell, etc., que tiene un buen programa de CS de pregrado e investigadores activos en PNL. Pero muchos de mis amigos y experiencias formativas provienen de mi educación universitaria en Caltech que no lo pienso demasiado.

Desde hace unos años, Caltech ya no tiene oficialmente un departamento de CS. En cambio, tenemos un departamento de Computación + Ciencias Matemáticas, que combina informática, matemática aplicada y sistemas de control y dinámicos. Esta decisión refleja el hecho de que estamos experimentando una convergencia de muchos campos que se ocupan de las ciencias computacionales y de la información. Por ejemplo, el aprendizaje automático en sí se basa en conceptos de estadística, informática, optimización, etc.

Las notables fortalezas y debilidades de Caltech están ligadas a su tamaño. Con ~ 300 profesores, Caltech es una de las universidades de investigación más pequeñas del mundo.

Fortalezas

Uno de los mayores beneficios de ser tan pequeño es la falta de límites entre las disciplinas. Es sorprendentemente fácil realizar una investigación interdisciplinaria significativa en Caltech. Por ejemplo, mira: Alumni College 2016: Caltech Computes – YouTube

Otra razón para la facilidad de colaboración es el hecho de que Caltech realmente se centra en la investigación fundamental. La investigación que es fundamental resonará en una amplia gama de disciplinas. Además, alentamos a todos a tener bases sólidas en matemáticas. Después de todo, las matemáticas son un lenguaje humano universal que facilita que las personas de diferentes campos colaboren y se comprendan entre sí.

En general, es muy fácil para la investigación interdisciplinaria caer en una trampa en la que un campo básicamente proporciona consultoría para el otro campo. Por ejemplo, alguien en una disciplina científica podría usar el aprendizaje automático para ayudar con algunos análisis de datos, pero ¿qué obtiene el investigador del aprendizaje automático?

En Caltech, dado que los estudiantes tienen fundamentos sólidos, simplemente animo a los estudiantes que no son CS a tomar mi curso de Aprendizaje automático y Minería de datos. Luego, si tienen problemas interesantes no resueltos, entonces podemos tener una discusión sobre si eso lleva a nuevas preguntas de investigación de aprendizaje automático.

Como resultado, la investigación de aprendizaje automático en Caltech tiende a ser interesante tanto desde la perspectiva aplicada como teórica, cuya combinación puede ser más difícil de lograr en otros lugares. Algunos ejemplos de mis colaboraciones personales:

  • Trabajo con JPL en el uso del aprendizaje automático para desarrollar algoritmos de planificación más efectivos para robots de exploración espacial.
  • Trabajo con neurocientíficos para ayudarlos a realizar la identificación exacta del sistema de los circuitos neuronales biológicos. Específicamente, de circuitos retinianos.
  • Trabajo con ingenieros químicos para ayudarlos a desarrollar algoritmos de aprendizaje activo para la síntesis automatizada de proteínas.
  • Trabajo con otras disciplinas de ingeniería para comprender cómo combinar enfoques basados ​​en el aprendizaje y en modelos convencionales para obtener los beneficios de ambos. Por ejemplo, vea este documento
  • Trabajo con ingenieros médicos para desarrollar sistemas de recomendación personalizados para el tratamiento clínico. Actualmente estamos en ensayos clínicos con uno de nuestros algoritmos. Vea este documento y también: [1705.00253] Bandidos de duelo múltiple con armas dependientes.
  • Trabajo con datos de comportamiento de animales de laboratorio para ayudar a comprender las jerarquías de comportamiento codificadas en los datos de seguimiento espacio-temporal. Ver: [1611.00094] Aprendizaje de representaciones recurrentes para modelar el comportamiento jerárquico
  • Trabajo con empresas de análisis de deportes para desarrollar métodos para analizar el comportamiento coordinado de grano fino en los deportes. Vea este documento y este documento, y también el video de demostración a continuación.
  • Trabajo con The Walt Disney Company en el uso del aprendizaje automático para la animación del habla basada en datos. Consulte este documento y también: Animación de voz basada en datos utilizando árboles de decisión

Debilidades

Por supuesto, ser pequeño también tiene sus desventajas. Caltech nunca tendrá un solo campo que domine el campus, por lo que la presencia de aprendizaje automático “central” es pequeña (actualmente solo yo y Anima Anandkumar). Si su objetivo es absorber todo lo relacionado con el aprendizaje automático, tendrá que hacer mucho trabajo por su cuenta en Caltech. Si no funciona con los pocos profesores de aprendizaje automático, es posible que no haya muchas otras opciones si está empeñado en hacer una investigación de aprendizaje automático “básica” para su doctorado.

El enfoque en los fundamentos también significa que los estudiantes que están muy orientados a las aplicaciones tenderán a no tener una buena experiencia en investigación de Caltech (aunque hay muchas excepciones). Por ejemplo, no estoy interesado en reclutar a un gran grupo de estudiantes para crear un nuevo sistema de software basado en el aprendizaje o para construir algo de redes sociales. (Por supuesto, puede haber muchas investigaciones fundamentales interesantes relacionadas con el diseño de sistemas y las ciencias sociales computacionales, simplemente no es lo mío).

Cultural y socialmente, a algunos estudiantes realmente no les gusta el tamaño pequeño. Ciertamente, existe un mayor riesgo de sentirse aislado en Caltech. Este problema es algo de lo que el profesorado es consciente y está trabajando en formas de mitigarlo. En gran medida, los estudiantes de doctorado que prosperan socialmente en Caltech tienden a ser más amplios socialmente, ya que el tamaño pequeño también significa que es más probable que socialice con personas de diferentes orígenes.

More Interesting

¿El aprendizaje automático como campo todavía está en su infancia, o ya es sofisticado y está bien desarrollado?

¿Cuáles son las áreas de investigación abiertas en refuerzo y aprendizaje profundo?

¿Cuáles son algunos de los mejores cursos de ML para una maestría en India?

¿El aprendizaje automático es malo para la economía?

¿Cuál es el papel de la descomposición de Cholesky en la búsqueda de PDF normal multivariante?

¿Qué enfoques utilizas para vectorizar funciones en Matlab?

Redes neuronales convolucionales: ¿Cuáles son algunos posibles proyectos de cursos de aprendizaje automático de nivel de posgrado que utilizan CNN? Específicamente en el límite de PNL y CV.

¿Qué biblioteca de PNL cubre la mayoría de los idiomas para un proyecto de análisis de sentimientos?

¿Cuáles son las aplicaciones HOT de Machine Learning para las ciencias biológicas?

¿Se consideran obsoletos los métodos de preentrenamiento sin supervisión y pre-entrenamiento codiciosos en capas para el aprendizaje profundo moderno? ¿Por qué o por qué no?

¿Por qué utilizamos el agrupamiento en el análisis estadístico? ¿Puedes dar una explicación intuitiva o ejemplos intuitivos?

¿Cuál es la diferencia entre pre-entrenamiento y pre-procesamiento?

¿Cómo explicaría el concepto de una capa convolucional en una red profunda a una persona no técnica?

¿Cuáles son algunas de las ventajas del aprendizaje por diferencia temporal y cómo se puede mejorar?

¿Cuáles son los métodos actuales o estándar de combinación de datos estructurados y no estructurados en redes neuronales convolucionales?