High Performance Computing (HPC) continuará su desarrollo en 2018 de la mano de otros avances informáticos. Inteligencia Artificial (AI); Cloud Computing y el uso cada vez más común de containers; Big Data y Analítica de datos; y Quantum Computing, son algunas de estas tecnologías que moldearan cada vez más la identidad de High Performance Computing.
Hoy hablaremos de HPC y Cloud Computing. En próximas entradas abordaremos la relación de HPC con otras tecnologías mencionadas.
Las preocupaciones más comunes que surgen cuando se considera mover aplicaciones al Cloud son el desempeño de las cargas de trabajo en los hipervisores ejecutándose en el cloud, la velocidad de las redes, la capacidad de almacenamiento. Otros factores son la seguridad y privacidad de los datos y los resultados de las investigaciones, también las grandes inversiones realizadas para construir superordenadores masivos “on-premise”.
Las cargas de trabajo de HPC también se están tornando más complejas y computacionalmente más intensas. Los investigadores demandan más tiempo de cómputo y mayor potencia de los superordenadores “on-premise”. La computación en la nube o cloud computing ha facilitado a las empresas conseguir la potencia de cálculo y la capacidad de almacenamiento necesarias para muchas de sus cargas de trabajo. El mercado de HPC está mirando al cloud por estas mismas razones.
Uno de los beneficios del cloud para las empresas y organizaciones que utilizan HPC es la posibilidad de escalar (burst) sus cargas de trabajo al cloud cuando los recursos in-house resulten insuficientes, permitiéndoles aprovechar los recursos en clouds públicas como Amazon Web Services (AWS), Microsoft Azure y Google Cloud Platform. Este escalado permite continuar la ejecución de las aplicaciones sin tener que invertir en más infraestructuras internas para satisfacer la creciente demanda.
Adaptive Computing, una empresa conocida en el mundo de HPC por sus herramientas de gestión y monitorización de clústers, comenzó recientemente a simplificar el escalado de cargas de HPC in-house hacia la nube con su solución Moab/NODUS Cloud Bursting. Según esta compañía, no hay muchas soluciones maduras que cubran esta necesidad. La tecnología cubre da soporte a un rango de proveedores públicos de cloud: AWS, Azure,, Google Cloud, Packet.net, AliCloud. También soporta plataformas que utilicen containers como Docker, Singularity, OpenStack, vSphere de VMware y Cloud Director. La compañía también está trabajando en dar soporte a servidores físicos (bare metal). Adaptive tiene planes de evolucionar la herramienta de forma tal que se pueda utilizar con cualquier otro scheduler, eliminando la dependencia de Moab.
Anima ofrece una solución similar para hacer el escalado a la nube. La solución de Anima es agnóstica del scheduler. Está basada en la herramienta de orquestación para el cloud Cloudify.
Otra vertiente es la ejecución de todas las cargas de HPC en la nube. Las empresas públicas de cloud más conocidas (AWS, Azure, Google Cloud, etc.) ofrecen facilidades para la ejecución de estas cargas.
Nos gustaría mencionar una empresa quizás menos conocida: Nimbix. Desde su nacimiento ha dedicado sus esfuerzos al HPC en el cloud. Nimbix, no utiliza máquinas virtuales, sino servidores físicos (bare metal) para la ejecución de los trabajos.
Un acercamiento similar al de Nimbix es posible actualmente con la solución Open Source OpenStack. Esta solución brinda la posibilidad de disponer de un cloud privado o gestionado, con las facilidades de control sobre los datos y los resultados de los experimentos. Unos de sus componentes, Ironic, permite desplegar nodos físicos o bare metal. Combinado con soluciones de almacenamiento de altas prestaciones como Datera y redes Infiniband, es potencialmente una excelente opción para ejecutar cargas en la nube.
Los modelos tradicionales de HPC no desaparecerán. Tampoco es necesario que lo hagan las instalaciones actuales. Existen todos los elementos que nos permitirán en el mundo de HPC disfrutar de la economía de escala que ofrece cloud computing, sin embargo, los modelos más tradicionales seguirán teniendo una presencia importante, por lo menos este año 2018.
En la próxima entrada abordaremos una tecnología relacionada con Cloud computing que también ha irrumpido en el mundo de HPC: los containers.
Foto de cabecera: Matt Howard