Sur quoi travaillent les spécialistes du machine learning chez Amazon ?

|

Amazon recrute toujours plus de chercheurs et d'ingénieurs en Europe, notamment pour muscler ses équipes dédiées au machine learning. Voici plusieurs problématiques concrètes auxquelles s'attaquent ces gros cerveaux.

Sur quoi travaillent les spécialistes du machine learning chez Amazon ?
Sur quoi travaillent les spécialistes du machine learning chez Amazon ? © LSA

5500 chercheurs et ingénieurs ont choisi, en Europe, de mettre leur matière grise au service d'Amazon, notamment des spécialistes du machine learning (le groupe mélange ces deux catégories de salariés sans donner plus de détails). Pas suffisant pour l'e-commerçant, qui a annoncé le 18 septembre, au cours de son European innovation day organisé à Londres, la création d'un nouveau centre dédié en partie à la recherche en intelligence artificielle à Manchester. Il recrute de nouveaux cerveaux pour ce laboratoire. Mais il a besoin que ces profils tech soient dans un état d'esprit très particulier, bien loin de celui de la recherche fondamentale : "Notre R&D est centrée clients. Or les consommateurs, quelle que soit l'époque à laquelle ils vivent, veulent tous la même chose : une gamme plus large, des produits moins chers et livrés plus vite", résume Terry Hanold, vice-président international consumer technology chez Amazon.

"Pour qu'ils n'oublient jamais que leurs réflexions doivent être pilotées par les besoins des consommateurs, nous mettons toujours une chaise vide bien en évidence dans nos salles de réunions, qui matérialise ce client pour lequel nous travaillons. Lorsque les ingénieurs proposent une idée de projet, ils n'écrivent pas une note de synthèse à leur manager mais une lettre qui explique à un consommateur donné ce à quoi cette innovation va lui servir concrètement", raconte Terry Hanold. Les cerveaux d'Amazon venus de toute l'Europe présenter leur travail à cet European innovation day se sont donc échinés à expliquer comment leurs travaux dans l'intelligence artificielle facilitent concrètement la vie des clients d'Amazon.

Proposer le bon produit du premier coup

L'une des solutions d'apprentissage automatique développée par Amazon aide par exemple les internautes qui tapent le nom d'un produit dans la barre de recherche du site à se voir proposer le bon article. Pour développer un moteur de recherche produit pertinent, les chercheurs d'Amazon travaillent sur les ambiguïtés sémantiques. "Un client qui tape Mac dans la barre de recherche peut être à la cherche d'un ordinateur, de maquillage de la marque Mac ou encore du film 'Mac et moi'. Nous parvenons à saisir les différents sens associés à un terme grâce à une analyse sémantique [des termes auquel ce mot est souvent associé sur Internet, NDLR]. Une fois que nous avons compris à quels articles un mot peut être associé, pour savoir quelles propositions auront le plus de succès et comment elles doivent être classées, nous effectuons des analyses statistiques sur notre site. Nous analysons également les mots que les clients qui ont effectué une recherche infructueuse tapent dans la barre de recherche s'ils tentent leur chance une deuxième fois", détaille Hugo Zaragoza, senior manager machine learning appliqué à Barcelone. Ces données sont injectées dans le moteur de machine learning pour améliorer ses performances de sélection du résultat de recherche, qui sont mis à jour en permanence.

"Les clients qui tapaient Harry Potter sur Amazon étaient à la recherche du tome 2 du livre, pendant toute l'année qui a précédé la sortie du tome 3. Quand ledit tome 3 a été publié, il a fallu modifier nos algorithmes pour qu'ils proposent aux clients le bon volume. A chaque fois qu'une nouvelle version d'un produit sort, nous devons ré-entrainer très rapidement ces algorithmes. Nous y parvenons grâce à la puissance de calcul disponible dans le cloud d'Amazon", poursuit-il.

Le problème se complexifie lorsque le client cherche un produit sur l'assistant intelligent d'Amazon Alexa, pour le mettre dans son panier. "Dans ce cas-là, le premier article que nous proposons doit être le bon car la mémoire immédiate du client est limitée, on ne peut pas lui proposer 4 ou 5 produits. Pour que notre réponse soit la plus pertinente possible, nous essayons de collecter un maximum de données sur le contexte, de savoir où est l'utilisateur, quel est son historique d'achat… Pour collecter ces informations, nous lui posons, une fois qu'il a effectué sa requête produit, des questions qui doivent lui sembler les plus naturelles et logiques possibles", explique Ralf Herbrich, directeur du machine learning chez Amazon.

Concrètement, Alexa écoute avec ses micros la demande du client. Les algorithmes qui se cachent derrière l'assistant intelligent traduisent cette demande orale en texte, grâce à sa solution de speech to text (une autre branche du machine learning). Il lui donne ensuite du sens grâce à une solution de reconnaissance du langage naturel (également une branche du machine learning). Alexa choisit ensuite une question appropriée, en fonction de ce qu'elle a compris de cette demande client, dans un arbre de dialogue construit par les ingénieurs du groupe. La solution traduit cette réponse en parole, prononcées par les micros de l'appareil, grâce à sa solution de text to speech, et ainsi de suite. 

Rassurer le client au moment de la livraison

Une autre branche de l'apprentissage automatique, la reconnaissance d'image, se cache derrière la fonctionnalité "photo on delivery", testée aux USA depuis le mois de mars 2018. Les livreurs qui déposent un colis chez un client en son absence lui envoient désormais un cliché du paquet posé dans leur jardin, devant leur porte ou autre, pour l'informer que leur produit est arrivé à bon port. "Nous devons nous assurer que la photo prise par le livreur est bien celle du colis, avant de valider l'envoi, pour éviter les couacs. Nous avons donc entraîné notre logiciel de reconnaissance d'image pour qu'il soit capable de distinguer les photos montrant un colis Amazon de celles qui n'en contiennent pas. Le logiciel est également capable d'identifier le lieu où est posé le paquet (pas de porte, jardin… NDLR) et de vérifier s'il correspond bien à ce que le client a demandé à Amazon dans la case 'que faire si je ne suis pas là' du formulaire de livraison", développe Katrin Korten, senior manager de la branche transport d'Amazon.

Proposer des fruits mûris à point

La reconnaissance d'image (un autre domaine dans lequel s'applique le machine learning) permettra aussi un jour aux clients d'Amazon de se faire livrer ou de se voir proposer en magasin des fruits et des légumes mûris à point. Amazon travaille depuis 2014 sur un logiciel capable d'analyser bien plus précisément que l'œil humain le degré de maturité d'une pomme ou encore d'un avocat grâce notamment à l'utilisation des rayons ultraviolets et infrarouges. Les résultats de ce travail étaient présentés pendant l'événement d'Amazon. Comme le montre la photo ci-dessous, les visiteurs chaussaient un casque de réalité virtuelle et le pointaient vers un fruit donné. Apparaissait alors au dessus du produit un cadre présentant une série d'informations : son nom, son prix et surtout le nombre de jours où il peut encore être consommé et donc rester en rayon. "Nos chercheurs poursuivent aujourd'hui les recherches pour savoir si un fruit est suffisamment sucré ou trop acide pour être consommé, à partir de son image", s'exclame Ralf Herbrich. Cette innovation n'a pas encore été déployée mais pourrait un jour être utile à Amazon pour trier les fruits et les légumes de ses magasins Whole Foods, Amazon Go et de ses stocks e-commerce.

Testez LeMoniteur.fr en mode abonné. Gratuit et sans engagement pendant 15 jours.

Nos formations

X

Recevez chaque matin tous les faits marquants sur les stratégies digitales, omnicanales et e-commerce des distributeurs et sur les solutions technologiques conçues pour les accompagner.

Ne plus voir ce message