Cómo decidir cuándo es el momento de modificar su modelo

No estoy seguro de cuál es el contexto aquí, pero esta es una pregunta filosófica profunda en cualquier dominio. Aquí hay algunos ejemplos muy diferentes. 1. Las personas que son “autoritarias” tienen más probabilidades de ser políticamente conservadoras. Entre las pruebas que demuestran que las personas son más autoritarias es mostrar una serie de imágenes (A, B, C, D, E, F, G) que comienzan con, digamos, un “perro” claro y terminan con un “gato” claro. “La mayoría de las personas, cuando se les pregunta qué dicen, dicen algo así como:” A: Perro. B: ..uh, perro. C: … hmm … creo que es un perro. D: No tengo idea. Podría ser un perro raro. E: No tengo idea. ¿Un gato? F: gato difuso. G: Gato “. Las personas que son muy autoritarias podrían decir:” A: Perro. B: perro, C: perro. D: perro. E: Algún tipo de perro. F: Ese es un perro raro. G: ¡Oh, está bien, es un CAT! ”En otras palabras, una vez que eligen un modelo, tienden a quedarse con él durante mucho tiempo. 2. En deportes como el tenis, el baloncesto, el boxeo, el fútbol americano, el lanzamiento / bateo de béisbol, donde hay un alto grado de estrategia y contra-estrategia, una gran parte del juego consiste en cambiar tu comportamiento justo cuando tu oponente cree que tiene finalmente “te descubrí” (se compromete con un modelo de lo que vas a hacer). The Winning Weekend Warrior: Cómo triunfar en el golf, tenis, béisbol, fútbol, ​​baloncesto, hockey, voleibol, negocios, vida, etc .: Dr. John Charles Thomas Ph.D .: 9781522719434: Amazon.com: Libros

Otra forma en que esto se desarrolla en los deportes es que a medida que envejecemos (o pesamos más o nos lesionamos) somos más lentos para reaccionar, pero nuestro “modelo” de lo que podemos hacer cambia más lentamente que la realidad para que podamos “pensar” que puede saltar dos pies del suelo para jugar tenis como podíamos cuando teníamos 20 años, pero ahora, a los 50, realmente no podemos. 😉

3. En las relaciones, se ha bromeado a medias que, con el tiempo, los hombres a menudo se molestan porque sus esposas han cambiado, mientras que las mujeres están molestas porque sus esposos no. Estoy seguro de que los padres desarrollan un “modelo” de sus hijos que siempre “va a la zaga” del comportamiento real de sus hijos.

4. Tomé un curso de genética como estudiante universitario de un genetista bastante conocido. Como probablemente sepa, hay 23 pares de cromosomas humanos (normalmente). Bueno, cuando era un niño, los científicos pensaron que había 24. Finalmente, alguien finalmente publicó que solo vieron 23 y un grupo de otras personas admitieron que ellos también solo habían estado viendo 23 pero asumieron que debían perderse algo. (Al menos esa es la historia que contó mi profesor).

5. Aquí hay otro ejemplo de un cambio. Alrededor de 1997, hice algunos estudios de búsqueda en el sitio web de la compañía IBM. Casi todos los usuarios que estudié deseaban que hubiera “alguna forma” de mostrar dos paneles de resultados de búsqueda al mismo tiempo. Bueno … por supuesto, la hay y, de hecho, la hubo también. Pero la mayoría de los usuarios aún no sabían sobre el clic izquierdo para abrir otra ventana. Estoy seguro de que si volviera a ejecutar este estudio hoy, sería raro que un usuario no supiera cómo colocar dos (o muchas) ventanas de resultados de búsqueda a la vez. Esta es una de las cosas que hace que la interacción hombre-computadora sea un desafío. Si bien la psicología humana básica no ha cambiado mucho, la tecnología sí y los modelos que las personas tienen sobre lo que es posible y probablemente también han cambiado (aunque por lo general van a la zaga de la capacidad real).

No hay una respuesta fácil a la pregunta que planteas. En retrospectiva, podemos decir: “Oh, esa persona (o un campo completo) fue demasiado lenta para cambiar su modelo frente a la evidencia”. Pero a medida que las observaciones se desarrollan en tiempo real, es (hasta ahora) imposible escribir un “Regla general” que funciona en todas las circunstancias.

Cuando estudié la “organización de aprendizaje” descubrí que las compañías petroleras habían desarrollado modelos que predecían el aumento de la demanda de petróleo con el tiempo. Cuando (la primera) crisis energética golpeó, sus modelos fallaron y la demanda realmente disminuyó. Decidieron que esto era una anomalía y mantuvieron sus modelos. La demanda volvió a caer. De hecho, esto continuó durante SIETE AÑOS antes de que cambiaran sus modelos. Mientras tanto, perdieron decenas de * miles de millones * de dólares de los malos modelos. Las proyecciones matemáticas pueden funcionar maravillosamente bien siempre que no se violen los supuestos subyacentes. Una alternativa o complemento a las proyecciones cuantitativas es el método de “desarrollo de escenarios” que anticipa cómo los supuestos básicos podrían necesitar ser cambiados. Esa es básicamente la razón detrás de “Las pesadillas de Turing”, que incluye una serie de posibilidades muy diferentes sobre el futuro de la IA. No tengo idea de cuál resultará más exacto o si alguno de ellos lo hará. Pero ahora es el momento de pensar en posibles nuevos modelos que podamos necesitar. Múltiples escenarios de la singularidad: Dr. John Charles Thomas Ph.D .: 9781523711772: Amazon.com: Libros

Depende de lo que pueda entender por “ya no es tan bueno”. El algoritmo en sí no se dará cuenta de que el modelo está perdiendo precisión a menos que lo haga probar y comparar.

Por ejemplo, puede ejecutar una prueba de validación de su modelo con nuevos datos regularmente y ver el resultado de precisión de esta prueba. Luego, si esta precisión es inferior al umbral que ha fijado, ordene al algoritmo volver a entrenar en el nuevo conjunto de datos de entrenamiento (incluidos los nuevos datos que no tenía la vez anterior al entrenamiento).

Por supuesto, este método consumirá mucho tiempo y energía, ya que su modelo tendrá que ser reentrenado regularmente y periódicamente tendrá pérdidas de precisión antes del reentrenamiento. La mejor manera de lidiar con este tipo de comportamiento es crear un modelo que sea entrenable en línea . De esta manera, su modelo seguirá entrenando cada vez que ingresen nuevos datos, pero sin tener en cuenta todo el conjunto de datos, de modo que cada reentrenamiento sea ​​ligero en términos de consumo de energía y tiempo.

Tenga en cuenta que tendrá que ocuparse del sesgo que podría incluir en sus datos una vez que el modelo esté en producción. Para entender este problema, le sugiero que eche un vistazo a este video: Michael Manapat: Evaluación contrafactual de los modelos de aprendizaje automático.

Esta es una charla de Machael Manapat, científico de datos de Stripes que trabaja en la detección de fraudes. La idea de esta charla es que cuando pone su modelo en producción, borra todos sus fraudes de sus datos, de modo que solo aprenderá sobre buenas transacciones. Esto reducirá drásticamente su eficiencia, por lo que debe dejar que una pequeña proporción de los fraudes continúe aprendiendo (¡pero elíjalos sabiamente!)

No hay razón para esperar a que el modelo “ya no sea tan bueno”. Capacítelo con la mayor frecuencia posible, con los datos de capacitación más recientes que pueda. Dependiendo de su situación, esto puede ser crucial, puede ser levemente útil o puede ser totalmente inútil, no hay forma de dar una respuesta genérica.

Por separado, es muy útil desarrollar métricas para la calidad de su modelo de predicción. Las medidas de precisión más directas, como la pérdida de registros, a menudo proporcionarán orientación suficiente para decidir si se requiere un entrenamiento más rápido. Pero, de nuevo, no hay umbrales universales o reglas generales. Todo depende de su aplicación, el impacto de la calidad de la predicción en sus objetivos, el costo de la capacitación y más.