La temperatura es un concepto bastante general y puede ser una idea útil para el entrenamiento, la predicción y el muestreo. Básicamente, cuanto más alta es la temperatura, más poco probable se explorarán las cosas, cuanto más baja sea la temperatura, más nos aferramos al mundo lineal más probable. Douglas Adams lo explicó bien en la Guía del autoestopista galáctico: el Infinity Improbability Drive tiene una temperatura muy alta, Arthur Dent tiene una temperatura muy baja.
De todos modos, el enlace que proporciona tiene que ver con el muestreo y la generación de texto. El algoritmo de generación es: pedir una distribución de probabilidad para el siguiente personaje, elegir un personaje de eso, imprimirlo, volver a introducir el personaje en el modelo y repetir. Aquí está su malentendido: no elegimos el carácter de mayor probabilidad, tomamos muestras de la distribución.
Si softmax (V / T) está generando la siguiente probabilidad de carácter, donde V es la salida de nuestro modelo y T es ruido, entonces una T muy grande significa que elegimos un próximo carácter aleatorio, mientras que T cerca de 0 significa que siempre elegimos el carácter más probable . Tenga en cuenta que V / T se parece mucho a un número de señal a ruido.
- ¿Cuál es la diferencia entre aprendizaje automático, autoaprendizaje, aprendizaje profundo y aprendizaje de refuerzo?
- Si los robots están reemplazando a los humanos, ¿necesitamos el crecimiento de la población para impulsar el crecimiento económico?
- ¿Cómo demostramos que una persona onine no es un bot?
- ¿Qué es exactamente la "creatividad computacional"? ¿Y hay algún programa aplicable desarrollado en ese campo? ¿O es solo un campo de investigación hasta ahora?
- ¿Los avances actuales [y pronosticados en el futuro cercano] en inteligencia artificial causarán una interrupción importante en el empleo? Si es así, ¿cómo [como se especula] tratarán los gobiernos / la sociedad?
