Plataformas de computación en nube para el aprendizaje automático

Question

Tengo una pequeña lista de empresas que ofrecen una plataforma para ejecutar scripts de R, python u octave en clusters construidos sobre amazon EC2. Hay otros nombres que debería añadir?

1. Números de nube
2. Opani
3. crdata

Answer 1

No he utilizado estas empresas, pero son sólo algunas de las opciones. Sin embargo, la configuración en EC2 es muy sencilla. Al menos después de haberte entumecido la cabeza golpeándola contra la pared con la suficiente fuerza y frecuencia. También aumenta tu umbral del dolor. Los niños de hoy en día lo tienen mucho más fácil. Cuando yo estaba empezando, estábamos haciendo fog computing: no teníamos ni idea de lo que estábamos computando.

Recuerdos aparte... Existen herramientas y recursos para evitar a estos proveedores y empezar a trabajar por tu cuenta. JD Long tiene, con segue R, facilitó el inicio del uso de R en EMR.

En cuanto a Python, boto es una suite que permite poner Python en marcha fácilmente en EC2. También es bastante fácil poner Python a funcionar en AppEngine de Google si está dispuesto a considerar una alternativa a EC2. Si sabes Python, entonces realmente no hay necesidad de contratar a una empresa para hacer el trabajo por ti, a menos que no estés familiarizado con el escalado, sharding, balanceo de carga, etc., incluso a un nivel conceptual. Por otro lado, si estás pensando en gastar mucho dinero en este tipo de servicios, es una buena idea familiarizarte con cómo hacer que tu código sea eficiente.

En cuanto a Octave en la nube, no tengo ni idea de lo que existe aparte de estas tres empresas. Monkey Analytics solía ofrecerlo, pero parece que han desaparecido. Yo recomendaría evitar Octave y centrarse en Python o R.

Un recurso para facilitar la instalación es StarCluster . De nuevo, no tengo experiencia con ellos, pero puede ser una ruta útil.

Sinceramente, Ubuntu (o Windows) y EC2 no son tan difíciles de aprender. Realmente no recomendaría Windows para R, ya que no hay mucho amor entre los desarrolladores de R y Windows. (NB: Por lo que sé no hay servicios en la nube serios para Mac OS X). Una vez que tengas un escritorio remoto, estás en el negocio. Aprender a escalar es el siguiente paso.

---

Actualización 1: Otros servicios de gestión de la nube más generales son RighstScale y Scalr.

Actualización 2: Quiero hacer hincapié en que aprender a configurar tus instancias y clusters en la nube por ti mismo es importante. Entre los beneficios del trabajo práctico:

• Aprenda a gestionar una mezcla de recursos (varias instancias, varios tipos de instancias, muchos discos duros, diferentes zonas o regiones de disponibilidad, varias herramientas de supervisión, etc.).
• Juegue con las GPU si lo desea (eche un vistazo a gputools )
• Puede actualizar o deshacer más fácilmente su selección de paquetes
• Puede obtener costes mucho más bajos utilizando instancias puntuales o instancias reservadas.
• Puedes probar diferentes GUIs o IDEs de R, lo que podría no ser una opción para los proveedores de la nube.

Utilizar un proveedor gestionado tiene sus ventajas, como una curva de aprendizaje más corta, posiblemente un mejor soporte para compartir recursos entre un grupo y tal vez algunos artilugios interesantes, pero no puedo hablar de las ventajas, ya que empecé a utilizar EC2 antes de que ninguno de ellos saliera al mercado.

Answer 2

También hay PiCloud para ejecutar código Python en paralelo en EC2.

Desde su página de productos :

PiCloud es una plataforma de computación en nube que se integra en Python Python. Le permite aprovechar la potencia de computación de Amazon Web Services sin tener que gestionar, mantener o configurar configurar servidores virtuales.

PiCloud se integra perfectamente en su base de código existente a través de un biblioteca Python personalizada, cloud. Para descargar la ejecución de una función a nuestros servidores, todo lo que debe hacer es pasar su función deseada en el biblioteca de la nube. PiCloud ejecutará la función en su alto rendimiento de alto rendimiento. A medida que ejecute más funciones, nuestro clúster se auto-escala para satisfacer sus necesidades computacionales. Subirse a la nube nunca ha sido tan fácil.

Answer 3

¿Has probado CloudStat ¿antes? A diferencia de otras nubes, CloudStat está pensado sólo para usuarios de R Language. No hay más configuración. sólo puede iniciar sesión y utilizar hasta 7,5 Gb de RAM de forma gratuita.

Sin embargo, con la cuenta gratuita, su análisis será visto y utilizado por el público. La opción es pagar $ 5 por mes para hacer su análisis privado.

Answer 4

Una plataforma de computación en nube que puedo recomendar son Red troncal que proporcionan una productividad segura que mejora computación en nube plataforma.