Que sont les instances de calcul accéléré ?

La famille d'instances de calcul accéléré est une famille d'instances qui utilise des accélérateurs matériels, ou coprocesseurs, pour accomplir certaines fonctions, telles que le calcul de nombres à virgule flottante et le traitement graphique, plus efficacement que les logiciels s'exécutant sur des GPU. Amazon EC2 propose trois types d'instances de calcul accéléré : des instances de calcul GPU pour le calcul à but général, des instances graphiques GPU pour des applications intensives de calcul et des instances de calcul matérielles programmables FPGA pour les charges scientifiques avancées.

Q: Quand utiliser les instances graphiques GPU et les instances de calcul GPU ?

Les instances GPU présentent un fonctionnement optimal avec les applications massivement parallèles, comme les charges de travail utilisant plusieurs milliers de threads. Le traitement graphique est un exemple d'application nécessitant des capacités de calcul très importantes, où chacune des tâches est relativement petite, l'ensemble des opérations étant effectué à partir d'un pipeline, dont le débit est plus élevé que la latence des opérations séparées. Pour être en mesure de construire des applications capables d'exploiter ce niveau de parallélisme, il faut des connaissances spécifiques en matière de processeur graphique (GPU) afin de savoir comment définir une programmation prenant en compte différentes API graphiques (DirectX, OpenGL) ou différents modèles de programmation de calcul GPU (CUDA, OpenCL).

Q : En quoi les instances P3 diffèrent-elles des instances G3 ?

Les instances P3 font partie de la nouvelle génération d'instances de calcul GPU à but général d'EC2 et sont optimisées par un maximum de 8 GPU de dernière génération NVIDIA Tesla V100. Ces nouvelles instances améliorent significativement les performances et le dimensionnement, et ajoutent de nombreuses fonctionnalités dont une nouvelle architecture Streaming Multiprocessor (SM) pour l'optimisation des performances de l'apprentissage-machine (ML)/l'apprentissage profond (DL), l'interconnexion GPU haut débit NVIDIA NVLink de seconde génération et une mémoire HMB2 hautement ajustée pour une efficacité accrue.

Les instances G3 utilisent des unités GPU NVIDIA Tesla M60 et fournissent une plate-forme à hautes performances pour les applications graphiques utilisant DirectX ou OpenGL. Les unités GPU NVIDIA Tesla M60 prennent en charge les fonctionnalités de poste de travail virtuel NVIDIA GRID et l'encodage matériel H.265 (HEVC). Chaque unité GPU M60 d'une instance G3 prend en charge 4 écrans d'une résolution maximale de 4096 x 2160 et est autorisée à utiliser un poste de travail virtuel NVIDIA GRID pour un utilisateur connecté simultané. Les instances G3 conviennent notamment aux visualisations 3D, aux postes de travail distants utilisant de nombreux graphiques, au rendu 3D, au streaming d'applications, à l'encodage vidéo et à d'autres charges de travail graphiques côté serveur.

Q : Quels sont les avantages des GPU NVIDIA Volta GV100 ?

Le nouvel accélérateur NVIDIA Tesla V100 intègre le nouveau et puissant GPU Volta GV100. Le GV100 se base sur les avancées de son prédécesseur, le GPU Pascal GP100, mais il améliore également de manière significative les performances et le dismensionnement et ajoute de nombreuses fonctionnalités permettant d'optimiser la programmabilité. Ces avancées vont booster le calcul hautes performances, les centres de données, les superordinateurs, ainsi que les systèmes et applications d'apprentissage profond.

Q : Qui pourra profiter des instances P3 ?

Les instances P3 et leurs performances élevées de calcul seront très utiles aux utilisateurs spécialisés dans l'intelligence artificielle (IA), l'apprentissage-machine (ML), l'apprentissage profond (DL) et les applications de calcul hautes performances (HPC). Parmi ces utilisateurs, on compte les scientifiques des données, les architectes de données, les analystes de données, les chercheurs scientifiques, les ingénieurs ML, les responsables informatiques et les développeurs de logiciels. Les secteurs clés comprennent les transports, l'énergie/le pétrole et le gaz, les services financiers (banque, assurance), la santé, la pharmacie, les sciences, l'informatique, la vente, la production, la haute technologie, l'administration publique et l'académie, parmi d'autres.

Q : Quels seraient des exemples de cas d'utilisation d'instances P3 ?

Les instances P3 utilisent des GPU pour accélérer de nombreux systèmes et applications d'apprentissage profond dont les systèmes de plate-forme de véhicule autonome, de reconnaissance vocale, d'images et de texte, les analyses vidéo intelligentes, les simulations moléculaires, la recherche pharmacologique, le diagnostic de maladies, les prévisions météo, l'analyses Big Data, la modélisation financière, la robotique, l'automatisation d'usine, la traduction en temps réel, les optimisations de recherche en ligne et les recommandations d'utilisateurs personnalisées, pour n'en citer que quelques exemples.

Q : Pourquoi les clients devraient-ils utiliser des instances Amazon P3 optimisées par des GPU pour des applications IA/ML et HPC ?

Les instances de calcul GPU offrent un débit et des performances supérieurs grâce à leur conception destinée au traitement massivement parallèle avec des milliers de cœurs spécialisés par GPU, par rapport aux CPU offrant un traitement séquentiel avec quelques cœurs. De plus, les développeurs ont créé des centaines d'applications HPC scientifiques optimisées par des GPU comme, entre autres, la chimie quantique, la dynamique moléculaire et la météorologie. La recherche montre que plus de 70 % des applications HPC les plus populaires offrent une prise en charge intégrée pour les GPU.

Q : Les instances P3 prendront-elles en charge la mise en réseau EC2 Classic et Amazon VPC ?

Les instances P3 ne prendront en charge que le VPC.

Q : En quoi les instances G3 diffèrent-elles des instances P2 ?

Les instances G3 utilisent des unités GPU NVIDIA Tesla M60 et fournissent une plate-forme à hautes performances pour les applications graphiques utilisant DirectX ou OpenGL. Les unités GPU NVIDIA Tesla M60 prennent en charge les fonctionnalités de poste de travail virtuel NVIDIA GRID et l'encodage matériel H.265 (HEVC). Chaque unité GPU M60 d'une instance G3 prend en charge 4 écrans d'une résolution maximale de 4096 x 2160 et est autorisée à utiliser un poste de travail virtuel NVIDIA GRID pour un utilisateur connecté simultané. Les instances G3 conviennent notamment aux visualisations 3D, aux postes de travail distants utilisant de nombreux graphiques, au rendu 3D, au streaming d'applications, à l'encodage vidéo et à d'autres charges de travail graphiques côté serveur.

Les instances P2 utilisent des GPU NVIDIA Tesla K80 et sont conçues pour le calcul de GPU classique à l'aide des modèles de programmation CUDA ou OpenCL. Les instances P2 offrent aux clients une mise en réseau de 25 Gbit/s avec une large bande passante, des fonctionnalités d'opérations à virgule flottante en précision simple et double, ainsi qu'une mémoire à code correcteur d'erreurs (ECC). Elles conviennent donc parfaitement aux applications d'apprentissage approfondi, aux bases de données à haute performance, à la dynamique numérique des fluides, à la finance numérique, aux analyses sismiques, à la modélisation moléculaire, à la génomique, aux applications de rendu et à d'autres charges de calcul GPU côté serveur.

Q : En quoi les instances P3 diffèrent-elles des instances G2 ?

Les instances P3 font partie de la nouvelle génération d'instances de calcul GPU à but général d'EC2 et sont optimisées par un maximum de 8 GPU de dernière génération NVIDIA Volta GV100. Ces nouvelles instances améliorent significativement les performances et le dimensionnement, et ajoutent de nombreuses fonctionnalités dont une nouvelle architecture Streaming Multiprocessor (SM) optimisée pour des performances de l'apprentissage-machine (ML)/l'apprentissage profond (DL), l'interconnexion GPU haut débit NVIDIA NVLink de seconde génération et une mémoire HMB2 hautement ajustée pour une efficacité accrue.

Les instances P2 utilisent des GPU NVIDIA Tesla K80 et sont conçues pour le calcul de GPU classique à l'aide des modèles de programmation CUDA ou OpenCL. Les instances P2 offrent aux clients une mise en réseau avec bande passante élevée de 25 Gbits/s, des capacités de virgule flottante puissantes pour simple et double précision, ainsi qu'une mémoire de code de correction d'erreur (ECC).

Q: Quels sont les modèles de programmation et les API pris en charge par les instances graphiques GPU et les instances de calcul GPU ?

Les instances P3 prennent en charge CUDA 9 et OpenCL, les instances P2 prennent en charge CUDA 8 et OpenCL 1.2, et les instances G3 prennent en charge DirectX 12, OpenGL 4.5, CUDA 8 et OpenCL 1.2.

Q: Où obtenir des pilotes NVIDIA pour les instances P3 et G3 ?

Les pilotes NVIDIA peuvent être obtenus au moyen de deux méthodes. NVIDIA propose des listes sur AWS Marketplace qui incluent les AMI Amazon Linux et Windows Server avec les pilotes NVIDIA préinstallés. Vous pouvez également lancer des AMI HVM à 64 bits et installer les pilotes vous-même. Vous devez vous rendre sur le site Web des pilotes NVIDIA et rechercher NVIDIA Tesla V100 pour les instances P3, NVIDIA Tesla K80 pour les instances P2 et NVIDIA Tesla M60 pour les instances G3.

Q: Quelles AMI puis-je utiliser avec des instances P3, P2 et G3 ?

A l'heure actuelle, vous pouvez utiliser les AMI Windows Server, SUSE Enterprise Linux, Ubuntu et Amazon Linux sur les instances P2 et G3. Les instances P3 ne prennent en charge que les AMI HVM. Si vous souhaitez lancer des AMI avec d'autres systèmes d'exploitation que ceux répertoriés ici, contactez le support client AWS ou consultez les forums EC2.

Q: L'utilisation d'instances G2 et G3 requiert-elle des licences tierces ?

En dehors des pilotes NVIDIA et du kit SDK GRID, l'utilisation d'instances G2 et G3 ne nécessite aucune licence tierce en particulier. Toutefois, il vous revient de déterminer si votre contenu ou la technologie que vous utilisez sur les instances G2 et G3 nécessite d'autres licences. Par exemple, si vous diffusez ou lisez du contenu en continu, vous aurez peut-être besoin de licences supplémentaires pour certains de ces contenus. Si vous utilisez des technologies tierces telles que des systèmes d'exploitation, des encodeurs et des décodeurs audio/vidéo de Microsoft, Thomson, Fraunhofer IIS, Sisvel S.p.A., MPEG-LA et Coding Technologies, veuillez prendre contact avec ces fournisseurs afin de déterminer si une licence est requise. Par exemple, si vous utilisez l'encodeur vidéo h.264 embarqué sur le processeur graphique NVIDIA GRID, nous vous conseillons de contacter MPEG-LA pour obtenir des conseils, et si vous utilisez la technologie mp3, nous vous conseillons de contacter Thomson pour obtenir des conseils.

Q : Pourquoi ne puis-je pas profiter des fonctionnalités NVIDIA GRID sur les instances G3 en utilisant le pilote téléchargé sur le site web NVIDIA ?

L'unité GPU NVIDIA Tesla M60 utilisée sur les instances G3 nécessite un pilote NVIDIA GRID spécial pour activer toutes les fonctionnalités graphiques avancées et la prise en charge de 4 écrans d'une résolution maximale de 4096 x 2160. Vous devez utiliser une AMI avec le pilote NVIDIA GRID préinstallé ou télécharger et installer le pilote NVIDIA GRID en suivant la documentation AWS.

Q: Je ne vois pas l'instance GPU à partir du Bureau à distance Microsoft. Pourquoi ?

Lorsque vous utilisez la fonctionnalité Bureau à distance, les processeurs graphiques (GPU) utilisant le modèle de pilote WDDM sont remplacés par un gestionnaire d'écran de bureau distant non accéléré. Pour pouvoir accéder à votre processeur graphique matériel, vous devez faire appel à un autre outil d'accès distant, tel que VNC.

Q : Qu'est-ce qu'une instance Amazon EC2 F1 ?

Amazon EC2 F1 est une instance de calcul dotée de matériel programmable pour l'accélération des applications. Ce nouveau type d'instance F1 offre de hautes performances, ainsi qu'un accès facile aux FPGA pour développer et déployer des accélérations matérielles personnalisées.

Q : Qu'est-ce qu'un FPGA et pourquoi en ai-je besoin ?

Les FPGA (Field-Programmable Gate Array) sont des circuits intégrés programmables. Vous pouvez les configurer à l'aide d'un logiciel. Grâce aux FPGA, vous pouvez accélérer vos applications jusqu'à 30 fois par rapport aux serveurs qui utilisent uniquement des ressources CPU. De plus, les FPGA étant reprogrammables, vous pouvez mettre à jour et optimiser votre accélération matérielle à votre gré, sans avoir à revoir la conception de votre architecture matérielle.

Q : Quelle est la différence entre F1 et les solutions FPGA classiques ?

F1 est une nouvelle instance AWS dotée de matériel programmable pour l'accélération des applications. Avec F1, vous avez accès au matériel FPGA en quelques clics, ce qui vous permet de diminuer les délais et coûts de développement d'un FPGA complet, tout en assurant un déploiement à l'échelle en quelques jours contre plusieurs mois voire années auparavant. Bien que la technologie FPGA soit disponible depuis plusieurs dizaines d'années, l'accélération des applications ne s'est pas encore imposée, tant du point de vue du développement des accélérateurs que du modèle commercial visant à vendre du matériel personnalisé aux entreprises traditionnelles, et ce, en raison de l'investissement financier et en temps requis par l'infrastructure de développement, la conception du matériel et le déploiement à l'échelle. Avec cette offre, les clients n'ont pas à endurer les lourdes tâches indifférenciées liées au développement de FPGA dans les centres de données sur site.

Q : Qu'est-ce qu'une AFI (Amazon FPGA Image) ?

Pour programmer votre FPGA, vous créez un design appelé AFI (Amazon FPGA Image). AWS offre un service pour enregistrer, gérer, copier, interroger et supprimer des AFI. Une fois qu'une AFI est créée, elle peut être chargée dans une instance F1 active. Vous pouvez charger plusieurs AFI sur une même instance F1. Il est également possible de basculer entre plusieurs AFI en cours d'exécution sans devoir redémarrer. Cela permet ainsi de tester et d'exécuter facilement plusieurs accélérations matérielles en succession rapide. Vous pouvez également offrir une combinaison de votre accélération FPGA et d'une AMI avec un logiciel personnalisé ou des pilotes AFI aux autres clients d'AWS Marketplace.

Q : Comment puis-je référencer mon accélération matérielle sur AWS Marketplace ?

Vous développez votre AFI, puis les outils/pilotes logiciels nécessaires pour utiliser cette AFI. Vous réalisez ensuite un package avec ces outils/pilotes logiciels dans une Amazon Machine Image (AMI) au format chiffré. AWS gère toutes les AFI dans le format chiffré que vous utilisez afin de garantir la sécurité de votre code. Pour vendre un produit sur AWS Marketplace, vous ou votre entreprise devez vous enregistrer en tant que revendeur. Vous soumettez ensuite votre ID d'AMI et votre ou vos ID d'AFI, afin d'en faire un seul produit sous forme de package. AWS Marketplace prend en charge le clonage de l'AMI et de la ou des AFI afin de créer un produit. Un code produit est ensuite associé à ces artefacts, afin que chaque utilisateur final qui souscrit à ce code produit ait accès à l'AMI et à la ou aux AFI.

Q : Quels éléments sont inclus avec les instances F1 ?

AWS fournit aux développeurs un kit de développement matériel (HDK) pour accélérer les cycles de développement, ainsi qu'une AMI de développement FPGA pour faciliter le développement dans le cloud et un kit SDK pour les AMI exécutant l'instance F1. Enfin, un ensemble d'API se charge d'enregistrer, de gérer, de copier, d'interroger et de supprimer les AFI. Les développeurs et les clients peuvent accéder à AWS Marketplace afin de référencer des AFI et d'en acquérir en vue de leur utilisation pour des accélérations d'applications.

Q : Dois-je être expert en FPGA pour utiliser une instance F1 ?

Les clients AWS souscrivant à une AMI optimisée pour F1 via AWS Marketplace n'ont pas besoin d'avoir de connaissances particulières concernant les circuits FPGA pour bénéficier des accélérations fournies par l'instance F1 et AWS Marketplace. Il suffit de souscrire sur AWS Marketplace à une AMI optimisée pour F1 dont l'accélération correspond à la charge de travail à traiter. L'AMI inclut tous les composants logiciels requis pour appliquer l'accélération FPGA. Le client doit seulement écrire le code logiciel de l'API applicable à cet accélérateur afin de commencer à l'utiliser.

Q : En tant que développeur FPGA, comment commencer à utiliser des instances F1 ?

Les développeurs peuvent commencer à utiliser une instance F1 en créant un compte AWS afin de télécharger le kit AWS de développement matériel (HDK). Le kit HDK inclut la documentation relative à F1, les interfaces FPGA internes et les scripts du compileur permettant de générer l'AFI. Les développeurs peuvent commencer par écrire leur code FPGA via les interfaces documentées dans le kit HDK afin de créer leur fonction d'accélération. Ils peuvent ensuite lancer des instances AWS avec l'AMI développeur FPGA spécialement conçue pour eux. Cette AMI inclut les outils de développement nécessaires pour compiler le code FPGA et lancer des simulations. Pour une utilisation optimale, cette AMI développeur doit être exécutée sur les dernières instances C5, M5 ou R5. Les développeurs doivent être familiarisés avec les langages de programmation utilisés pour créer le code FPGA (p. ex., Verilog ou VHDL) et avoir une bonne compréhension de l'opération qu'ils souhaitent accélérer.

Q : Je ne suis pas un développeur FPGA, comment commencer à utiliser des instances F1 ?

Pour commencer à utiliser des instances F1, les clients peuvent sélectionner un accélérateur parmi ceux proposés par les vendeurs sur AWS Marketplace, puis lancer une instance F1 avec cette AMI. L'AMI inclut tous les composants logiciels et API pour cet accélérateur. AWS gère la programmation du FPGA avec l'AFI correspondant à l'accélérateur. Les clients n'ont pas besoin d'avoir d'expérience ou de connaissances particulières concernant les FPGA pour utiliser ces accélérateurs. Ils peuvent uniquement travailler au niveau API du logiciel pour cet accélérateur.

Q : Est-ce qu'AWS fournit un kit destiné aux développeurs ?

Oui. AWS fournit le kit de développement matériel (HDK) qui inclut des outils et modèles de simulation afin que les développeurs puissent lancer des simulations, déboguer, créer et enregistrer leur code d'accélération. Le kit HDK inclut des exemples de code, des scripts de compilation, des interfaces de débogage et de nombreux autres outils nécessaires pour développer un code FPGA pour vos instances F1. Vous pouvez utiliser le kit HDK dans l'AMI fournie par AWS ou dans votre propre environnement de développement interne. Ces modèles et scripts sont accessibles à tous via un compte AWS.

Q : Puis-je utiliser le kit HDK dans mon environnement de développement sur site ?

Oui. Vous pouvez utiliser le kit HDK (kit de développement matériel) dans l'AMI fournie par AWS ou dans votre propre environnement de développement sur site.

Q : Puis-je ajouter un FPGA à n'importe quel type d'instance EC2 ?

Non. Pour l'heure, l'instance F1 est proposée en trois tailles : f1.2xlarge, f1.4xlarge et f1.16 xlarge.