¿Cuál es la diferencia entre pre-entrenamiento y pre-procesamiento?

Ejemplos rápidos y sucios:

Preprocesamiento: supongamos que tiene datos de entrada en forma de categorías y que tiene que transformarse de etiquetas de categoría a números reales o características binarias (un vector caliente). O tiene varios predictores y desea “normalizar” las entradas para que todas se parezcan al modelo. O tiene datos de garabage y desea tirarlos antes de alimentarlos (entrenamiento) al modelo. O bien, desea agregar nuevos predictores de ingeniería basados ​​en inferencias que realice dentro del conjunto de datos examinado y luego (nuevamente) alimentarlo al modelo. Esto es en realidad toda una ciencia 🙂

Pre-entrenamiento: es realmente más directo: comienza su modelo final con “pesos” predefinidos basados ​​en un proceso de pre-entrenamiento. Esto ciertamente (o potencialmente …) generará múltiples beneficios, como un tiempo de entrenamiento reducido, especialmente para modelos profundos que ya sabrán (que tienen pesos especialmente predefinidos / entrenados) cómo reconocer ciertas características o grupos de características con las capas ocultas.

El preprocesamiento está aplicando algunas operaciones a los datos para producir datos “preprocesados”. Un ejemplo de preprocesamiento que escala las entradas para que estén todas entre -1 y 1. Los datos preprocesados ​​se envían al modelo de aprendizaje automático

Pre-entrenamiento significa entrenar una parte del modelo en algunos datos (que pueden ser preprocesados). Por ejemplo, puede entrenar un codificador automático apilado capa por capa. O puede entrenar a un CNN en el conjunto de datos de imagenet antes de entrenarlo en sus datos personalizados.