¿Es un tocón de decisión un modelo lineal?

Question

La decisión de tocón de un árbol de decisión con sólo un split. También puede ser escrito como una función definida a tramos.

Por ejemplo, suponga $x$ es un vector, y $x_1$ es la primera característica de $x$, en la regresión de configuración, algunos decisión muñón puede ser

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{casos} $

Pero es un modelo lineal? donde se puede escribir como $f(x)=\beta^T x$? Este Quentin puede sonar extraño, ya que como se menciona en las respuestas y comentarios, si trazamos la gráfica de la función definida a tramos no es una línea. Por favor, consulte la siguiente sección para la razón por la que estoy haciendo esta pregunta.

---

EDITAR:

• La razón de que me haga esta pregunta es la regresión logística es un (generalizada) modelo lineal, y la decisión de límite es una línea, y también para la toma de muñón. Pero parece que no es verdad que la decisión del muñón es un modelo lineal.

• Otra razón por la que me preguntó esto es debido a que en esta pregunta: En el impulso, si la base alumno es un modelo lineal, hace que el modelo final es sólo un simple modelo lineal? donde, si se utiliza un modelo lineal como base alumno, tenemos nada más que la regresión lineal. Pero si seleccionamos la base de estudiante como una decisión muñón, estamos recibiendo una modelo muy interesante.

Aquí es un ejemplo de decisión muñón impulsar en regresión, con 2 funciones y 1 respuesta continua.

Answer 1

No, a menos que transformar los datos.

Se trata de un modelo lineal si usted transformar $x$ utilizando la función de indicador: $$ x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{casos} $$

A continuación, $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Edit: esto fue mencionado en los comentarios pero quiero destacar aquí también. Cualquier función que divide los datos en dos piezas puede ser transformado en un modelo lineal de esta forma, con una intercepción y una sola entrada (que es un indicador de que "lado" de la partición de un punto de datos). Es importante tomar nota de la diferencia entre una decisión de la función y de la decisión de límite.

Answer 2

Respuestas a sus preguntas:

1. Un tocón de decisión es no un modelo lineal.
2. El límite de decisión puede ser una línea, incluso si el modelo no es lineal. Regresión logística es un ejemplo.
3. El modelo impulsado no tiene que ser el mismo tipo de modelo que el alumno base. Si lo piensas bien, tu ejemplo de impulso, además de la pregunta que relaciona, demuestra que el tocón de decisión no es un modelo lineal.

Answer 3

Esta respuesta es más prolija que es necesaria para responder a la pregunta. Tengo la esperanza de provocar algunos comentarios de verdaderos expertos.

Yo una vez estaba en una sala de la corte y el juez le preguntó (por una buena razón en el contexto) , si llamamos a un perro de la cola de una pierna, eso no significa que un perro tiene 5 patas ? Entonces, ¿qué es un modelo lineal ?

En el contexto de las estadísticas que he sido informado por un experto, que un modelo lineal significa un modelo estadístico construido a partir de un conjunto de funciones $ f_1, f_2, \ldots, f_n$ de la forma $ y = \sum a_i f_i $ con la importante restricción de que los términos de error son independientes y se distribuye normalmente. Con esa definición, no se puede decir si el modelo es lineal debido a que no han dado ninguna información sobre el término de error. Si uno cae el término de error de la restricción, entonces es tautologically lineal en la función de dar o en la función ssdecontrol da. Sin embargo, ingenuamente, en el contexto de esta pregunta, que puede no ser satisfactorio. Cualquier función puede ser considerada como la base de un lineal en ese sentido. Eso es porque cualquier espacio de las funciones puede ser convertido en un espacio vectorial de las funciones.

Si usted está pidiendo en la nariz, que es matemáticamente, si la función lineal, entonces la respuesta es no. Una función lineal es aquella cuya gráfica es una línea recta, aunque claramente su función no tiene esa propiedad. En respuesta a la pregunta que se plantean en la final, que se puede encontrar la $\beta$, de modo que $ f(x) = \beta^{T} x $ , entonces no.

Cualquier función de la clase que dar satisfaga $f(x+y) = f(x) + f(y) $ para cualquier (real) de los números de $x$$y$. Observe que la función satisface $ f(1.5) = 3$$f(3) = 5$, lo $ f(3) \neq f(1.5) + f(1.5)$ como sería necesario si su función era la de la forma $f(x) = \beta^T x$. Aviso la clase que usted propone para funciones lineales es una sub-clase de lo que generalmente se llaman funciones lineales.