Pregunta de apoyo vector máquina optimización

Question

Me encontré con esta pregunta en coursera máquina del curso de aprendizaje. Podría alguien me explique ¿cómo resolver las siguientes preguntas?

EDITAR:

De acuerdo a mi entendimiento(quizás me equivoco), theta es siempre ortogonal a la decisión de la frontera. Observando los datos parece que la decisión límite debe ser el eje-Y. Como eje va a separar a los aspectos positivos y negativos. Además, tendrá el margen máximo.

Pero no entiendo cómo calcular la norma de theta. Como la teta del vector es desconocido.

Nota: Esta no es una tarea cuestión. Yo ya sé la respuesta correcta a la pregunta. Pero no sé cómo resolver esta cuestión. Sólo quiero saber cómo resolver esta cuestión.

Answer 1

La simplificación en este problema es que el término de intersección $\theta_0=0$. Esta condición permite el dibujo de la decisión de la frontera a través del origen. El objetivo es maximizar la firma de la longitud de la proyección de los vectores, con el fin de minimizar la norma de $\lVert\theta\rVert$, que es nuestra meta de optimización: $\underset{\theta}{\arg \min} \frac{1}{2}\displaystyle \sum_{j=1}^n \theta_j^2.$

Si usted gire el vector verde $\theta$ alrededor del origen, la optimización de la cae en el más intuitivo posición. Aquí está la simulación en Geogebra con un control deslizante.

Así que acaba de leer la coordenada x, y pensar acerca de la relación recíproca de $p$ $\lVert \theta \rVert$ (menor proyección de los valores de requerir mayor $\lVert\theta\rVert$ para compensar), en virtud de la $\pm 1$ restricción.

Si la proyección que pasó a ser simétricamente $\pm 2$, sus restricciones que $p^{I=1}\lVert\theta\rVert\geq 1$, e $p^{I=0}\lVert\theta\rVert\leq -1$ dicta la norma, $\lVert \theta \rVert$ al menos $1/2$.

La norma de theta es su longitud $\lVert \theta \rVert=\sqrt{\theta_1^2 + \theta_2^2}$ en el caso de dos funciones (como en el caso ilustrado - sin interceptar o "sesgo de vigencia").

Answer 2

Le sugiero que estudie nota de conferencia de Andrew Ng en SVM aquí. La respuesta corta es, en primer lugar necesitas resolver $\alpha_i$ en problema de optimización dual. Luego, resolver, % o $\theta$ $w$en la nota de conferencia usando la eq siguiente: $$w=\sum_{i=1}^{m}\alpha_iy^{(i)}x^{(i)}$ $