AI Canon | Shenzhen BoldVenture Solutions Inc.

La recherche en intelligence artificielle progresse à un rythme exponentiel. Il est difficile pour les experts en IA de suivre toutes les nouveautés publiées, et encore plus difficile pour les débutants de savoir par où commencer.

Donc, dans cet article, nous partageons une liste organisée de ressources sur lesquelles nous nous sommes appuyés pour devenir plus intelligents sur l'IA moderne. Nous l'appelons le "AI Canon" parce que ces articles, articles de blog, cours et guides ont eu un impact démesuré sur le terrain au cours des dernières années.

Nous commençons par une introduction en douceur aux modèles de transformateur et de diffusion latente, qui alimentent la vague actuelle d'IA. Ensuite, nous approfondissons les ressources d'apprentissage technique ; des guides pratiques pour construire avec de grands modèles linguistiques (LLM) ; et analyse du marché de l'IA. Enfin, nous incluons une liste de référence des résultats de recherche marquants, en commençant par "Attention is All You Need" - l'article de Google de 2017 qui a présenté au monde les modèles de transformateurs et inauguré l'ère de l'IA générative.

Ces articles ne nécessitent aucune formation spécialisée et peuvent vous aider à vous familiariser rapidement avec les parties les plus importantes de la vague d'IA moderne.

Ces ressources fournissent une compréhension de base des idées fondamentales de l'apprentissage automatique et de l'IA, des bases de l'apprentissage en profondeur aux cours de niveau universitaire dispensés par des experts en IA.

Il existe d'innombrables ressources - certaines meilleures que d'autres - qui tentent d'expliquer le fonctionnement des LLM. Voici quelques-uns de nos favoris, ciblant un large éventail de lecteurs/téléspectateurs.

Une nouvelle pile d'applications émerge avec les LLM au cœur. Bien qu'il n'y ait pas encore beaucoup d'éducation formelle disponible sur ce sujet, nous avons extrait certaines des ressources les plus utiles que nous ayons trouvées.

Nous nous sommes tous émerveillés de ce que l'IA générative peut produire, mais il reste encore beaucoup de questions sur ce que tout cela signifie. Quels produits et entreprises survivront et prospéreront ? Que deviennent les artistes ? Comment les entreprises doivent-elles l'utiliser ? Comment cela affectera-t-il littéralement les emplois et la société dans son ensemble ? Voici quelques tentatives de réponses à ces questions.

La plupart des produits d'IA étonnants que nous voyons aujourd'hui sont le résultat de recherches non moins étonnantes, menées par des experts au sein de grandes entreprises et d'universités de premier plan. Dernièrement, nous avons également vu un travail impressionnant de la part d'individus et de la communauté open source prenant des projets populaires dans de nouvelles directions, par exemple en créant des agents automatisés ou en transférant des modèles sur des empreintes matérielles plus petites.

Voici une collection de plusieurs de ces articles et projets, pour les personnes qui veulent vraiment plonger profondément dans l'IA générative. (Pour les documents de recherche et les projets, nous avons également inclus des liens vers les articles de blog ou les sites Web d'accompagnement, le cas échéant, qui ont tendance à expliquer les choses à un niveau supérieur. Et nous avons inclus les années de publication originales afin que vous puissiez suivre la recherche fondamentale au fil du temps. .)

Nouveaux modèles

Améliorations du modèle (par exemple, réglage fin, récupération, attention)

Génération de codes

Génération vidéo

Biologie humaine et données médicales

Génération audio

Génération d'images multidimensionnelles

Un merci spécial à Jack Soslow, Jay Rughani, Marco Mascorro, Martin Casado, Rajko Radovanovic et Vijay Pande pour leurs contributions à cet article, et à toute l'équipe a16z pour une discussion toujours informative sur les dernières nouveautés en matière d'IA. Et merci à Sonal Chokshi et à l'équipe de cryptographie pour avoir construit une longue série de canons au sein de l'entreprise.

* * *

Les opinions exprimées ici sont celles du personnel individuel d'AH Capital Management, LLC ("a16z") cité et ne sont pas les opinions d'a16z ou de ses sociétés affiliées. Certaines informations contenues ici ont été obtenues de sources tierces, y compris de sociétés de portefeuille de fonds gérés par a16z. Bien qu'elles proviennent de sources considérées comme fiables, a16z n'a pas vérifié ces informations de manière indépendante et ne fait aucune déclaration quant à l'exactitude durable des informations ou à leur pertinence dans une situation donnée. De plus, ce contenu peut inclure des publicités de tiers ; a16z n'a pas examiné ces publicités et n'approuve aucun contenu publicitaire qu'elles contiennent.

Ce contenu est fourni à titre informatif uniquement et ne doit pas être considéré comme un conseil juridique, commercial, d'investissement ou fiscal. Vous devriez consulter vos propres conseillers sur ces questions. Les références à des titres ou à des actifs numériques sont uniquement à des fins d'illustration et ne constituent pas une recommandation d'investissement ou une offre de fournir des services de conseil en investissement. En outre, ce contenu n'est ni destiné ni destiné à être utilisé par des investisseurs ou des investisseurs potentiels, et ne peut en aucun cas être invoqué pour prendre une décision d'investir dans un fonds géré par a16z. (Une offre d'investissement dans un fonds a16z ne sera faite que par le mémorandum de placement privé, le contrat de souscription et toute autre documentation pertinente de ce fonds et doit être lu dans son intégralité.) Tous les investissements ou sociétés de portefeuille mentionnés, référencés ou décrits ne sont pas représentatifs de tous les investissements dans des véhicules gérés par a16z, et rien ne garantit que les investissements seront rentables ou que d'autres investissements réalisés à l'avenir auront des caractéristiques ou des résultats similaires. Une liste des investissements effectués par des fonds gérés par Andreessen Horowitz (à l'exclusion des investissements pour lesquels l'émetteur n'a pas autorisé a16z à divulguer publiquement ainsi que des investissements non annoncés dans des actifs numériques cotés en bourse) est disponible sur https://a16z.com/investments /.

Les tableaux et graphiques fournis ici sont uniquement à des fins d'information et ne doivent pas être utilisés pour prendre une décision d'investissement. Les performances passées ne représentent pas les résultats futurs. Le contenu ne parle qu'à la date indiquée. Toutes les projections, estimations, prévisions, objectifs, perspectives et/ou opinions exprimées dans ces documents sont susceptibles d'être modifiées sans préavis et peuvent différer ou être contraires aux opinions exprimées par d'autres. Veuillez consulter https://a16z.com/disclosures pour des informations supplémentaires importantes.

Table des matières Logiciel 2.0 État de GPT Que fait ChatGPT… et pourquoi ça marche ? Transformers, expliqué Comment fonctionne Stable Diffusion Apprentissage en profondeur en bref : concepts de base Apprentissage en profondeur pratique pour les codeurs Word2vec expliqué Oui, vous devez comprendre le backprop Stanford CS229 Stanford CS224N Le transformateur illustré Le transformateur annoté Construisons GPT : à partir de zéro, en code, épelé Le illustré Stable Diffusion : RLHF : Reinforcement Learning from Human Feedback Reinforcement learning from human feedback Stanford CS25 Stanford CS324 Apprentissage prédictif, NIPS 2016 L'IA pour la conduite autonome chez Tesla : Premières expériences avec GPT-4 La révolution de l'IA : comment l'Auto-GPT ouvre une nouvelle ère d'automatisation et de créativité L'effet Waluigi Créer un bot de support GitHub avec GPT3, LangChain et Python Créer des applications LLM pour la production le pire qui puisse arriver ? Livre de recettes OpenAI Pinecone learning center LangChain docs LLM Bootcamp Hugging Face Transformers Chatbot Arena Open LLM Leaderboard À qui appartient la plate-forme d'IA générative ? Naviguer dans le coût élevé du calcul de l'IA L'art n'est pas mort, il est juste généré par la machine La révolution de l'IA générative dans les jeux Pour les applications d'IA générative B2B, c'est moins plus ? Les services financiers adopteront l'IA générative plus rapidement que vous ne le pensez L'IA générative : la prochaine plateforme grand public Pour faire une réelle différence dans les soins de santé, l'IA devra apprendre comme nous La nouvelle révolution industrielle : Bio x AI Sur les opportunités et les risques des modèles de base Rapport sur l'état de l'IA Les GPT sont des GPT : un premier aperçu du potentiel d'impact sur le marché du travail des grands modèles linguistiques Médecine profonde : comment l'intelligence artificielle peut rendre les soins de santé humains à nouveau Grands modèles linguistiques L'attention est tout ce dont vous avez besoin compréhension du langage Améliorer la compréhension du langage par la pré-formation générative Les modèles de langage sont des apprenants peu nombreux Former des modèles de langage pour suivre les instructions avec une rétroaction humaine LaMDA : modèles de langage pour les applications de dialogue PaLM : Modélisation du langage à l'échelle avec des chemins OPT : Modèles de langage Open Pre-trained Transformer Formation grands modèles de langage optimaux pour le calcul Rapport technique GPT-4 LLaMA : modèles de langage de base ouverts et efficaces Alpaca : un modèle solide et reproductible de suivi d'instructions génération pour les tâches NLP à forte intensité de connaissances Améliorer les modèles de langage en récupérant des trillions de jetons LoRA : Adaptation de bas rang de grands modèles de langage IA constitutionnelle (2022) FlashAttention : Une attention exacte rapide et efficace en mémoire avec la conscience des entrées-sorties Hippopotames affamés : vers le langage modélisation avec des modèles d'espace d'états Modèles de génération d'images Apprentissage de modèles visuels transférables à partir de la supervision du langage naturel Génération de texte à image zéro coup Synthèse d'images haute résolution avec des modèles de diffusion latente Modèles de diffusion texte à image photoréalistes avec une compréhension approfondie du langage DreamBooth : réglage fin modèles de diffusion texte-image pour la génération axée sur le sujet Ajouter un contrôle conditionnel aux modèles de diffusion texte-image Agents Une voie vers l'intelligence artificielle autonome ReAct : Synergiser le raisonnement et l'action dans les modèles de langage Agents génératifs : simulacres interactifs du comportement humain Réflexion : un agent autonome avec mémoire dynamique et auto-réflexion Toolformer : les modèles de langage peuvent apprendre à utiliser des outils Auto-GPT : une expérience GPT-4 autonome BabyAGI Autres modalités de données Génération de code Évaluation de grands modèles de langage entraînés sur le code Génération de code de niveau compétition avec AlphaCode CodeGen : Un grand modèle de langage ouvert pour le code avec synthèse de programmes multi-tours Génération vidéo Make-A-Video : Génération texte-vidéo sans données texte-vidéo Imagen Video : Génération vidéo haute définition avec modèles de diffusion Biologie humaine et données médicales Stratégies pour réseaux de neurones graphiques de pré-formation Prédiction améliorée de la structure des protéines à l'aide des potentiels de l'apprentissage en profondeur De grands modèles de langage codent les connaissances cliniques Génération audio Jukebox : un modèle génératif pour la musique AudioLM : une approche de modélisation du langage pour la génération audio MusicLM : Génération de nusic à partir de texte Génération d'images multidimensionnelles NeRF : Représentation de scènes sous forme de champs de rayonnement neuronal pour la synthèse de vues DreamFusion : Text-to-3D utilisant la diffusion 2D