{"id":17885,"date":"2026-01-06T11:12:18","date_gmt":"2026-01-06T10:12:18","guid":{"rendered":"https:\/\/blog.ouidou.fr\/?p=17885"},"modified":"2026-01-06T11:12:19","modified_gmt":"2026-01-06T10:12:19","slug":"introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3","status":"publish","type":"post","link":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3","title":{"rendered":"Introduction pratique au Q-learning avec Gymnasium Taxi-v3"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\"><em>\u00c9crit par K\u00e9vin A.<\/em><\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Introduction<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;apprentissage par <strong>renforcement<\/strong> (<strong>Reinforcement Learning<\/strong>, ou <strong>RL<\/strong>) est une branche de l&rsquo;<strong>intelligence artificielle<\/strong> dans laquelle un <strong>agent IA<\/strong> apprend \u00e0 prendre des d\u00e9cisions par <strong>essai-erreur<\/strong>. Contrairement \u00e0 l&rsquo;<strong>apprentissage supervis\u00e9<\/strong>, il n&rsquo;existe pas de r\u00e9ponses toutes faites : l&rsquo;<strong>agent<\/strong> explore son <strong>environnement<\/strong> et am\u00e9liore ses choix gr\u00e2ce aux <strong>r\u00e9compenses<\/strong> re\u00e7ues.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Aujourd\u2019hui nous allons d\u00e9couvrir <strong><a href=\"https:\/\/gymnasium.farama.org\/environments\/toy_text\/taxi\/\" target=\"_blank\" rel=\"noreferrer noopener\">Gymnasium<\/a><\/strong>, une <strong>biblioth\u00e8que open source<\/strong> proposant de nombreux <strong>environnements simul\u00e9s<\/strong>. Dans cet article, nous allons explorer l&rsquo;environnement <strong>Taxi-v3<\/strong>. Dans cet <strong>environnement<\/strong>, le but est simple : d\u00e9placer le <strong>taxi<\/strong> pour r\u00e9cup\u00e9rer un <strong>passager<\/strong> et le d\u00e9poser \u00e0 sa <strong>destination<\/strong> le plus efficacement possible.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nous allons d\u00e9couvrir comment entra\u00eener notre <strong>agent<\/strong> \u00e0 accomplir cette <strong>t\u00e2che<\/strong> en utilisant le <strong>Q-Learning<\/strong>, un <strong>algorithme<\/strong> \u00e0 la fois simple et particuli\u00e8rement efficace.<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full is-resized\"><img loading=\"lazy\" decoding=\"async\" width=\"551\" height=\"349\" src=\"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/plateau-1.png\" alt=\"\" class=\"wp-image-17887\" style=\"width:291px;height:auto\" srcset=\"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/plateau-1.png 551w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/plateau-1-300x190.png 300w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/plateau-1-118x75.png 118w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/plateau-1-306x194.png 306w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/plateau-1-480x304.png 480w\" sizes=\"auto, (max-width:767px) 480px, 551px\" \/><\/figure>\n<\/div>\n\n\n<h2 class=\"wp-block-heading\" id=\"Comprendre-le-Q-Learning-et-la-Q-Table\"><strong>Comprendre le Q-Learning et la Q-Table<\/strong><\/h2>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"La-Q-Table\"><strong>La Q-Table<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Le <strong>Q-Learning<\/strong> est un <strong>algorithme<\/strong> bas\u00e9 sur une <strong>Q-Table<\/strong>, une <strong>matrice<\/strong> o\u00f9 chaque <strong>ligne<\/strong> correspond \u00e0 un <strong>\u00e9tat possible<\/strong>, et chaque <strong>colonne<\/strong> \u00e0 une <strong>action<\/strong>. La valeur dans la case <strong>Q(s,a)<\/strong> indique la \u00ab\u00a0<strong>qualit\u00e9<\/strong>\u00a0\u00bb de choisir l&rsquo;<strong>action a<\/strong> dans l&rsquo;<strong>\u00e9tat s<\/strong>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Au d\u00e9part, la <strong>Q-Table<\/strong> est remplie de <strong>z\u00e9ros<\/strong>. L&rsquo;<strong>agent IA<\/strong> apprend progressivement \u00e0 <strong>mettre \u00e0 jour<\/strong> cette <strong>table<\/strong> en <strong>interagissant<\/strong> avec l&rsquo;<strong>environnement<\/strong>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"La-formule-de-mise-\u00e0-jour\"><strong>La formule de mise \u00e0 jour<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Chaque fois que le taxi prend une action et re\u00e7oit une r\u00e9compense, la Q-Table est mise \u00e0 jour selon :<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"402\" height=\"47\" src=\"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/image-20250915-085752.png\" alt=\"\" class=\"wp-image-17888\" srcset=\"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/image-20250915-085752.png 402w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/image-20250915-085752-300x35.png 300w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/image-20250915-085752-150x18.png 150w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/image-20250915-085752-380x44.png 380w\" sizes=\"auto, (max-width:767px) 402px, 402px\" \/><\/figure>\n<\/div>\n\n\n<ul class=\"wp-block-list\">\n<li><em>\u03b1<\/em> (alpha): taux d&rsquo;apprentissage (g\u00e9n\u00e9ralement entre 0 et 1, mais peut \u00eatre sup\u00e9rieur dans certains cas sp\u00e9ciaux), correspond au param\u00e8tre <strong>lr<\/strong> dans notre fonction.<\/li>\n\n\n\n<li><em>\u03b3<\/em> (gamma): facteur d&rsquo;actualisation qui valorise les r\u00e9compenses futures, correspond au param\u00e8tre <strong>gamma<\/strong> dans notre fonction.<\/li>\n\n\n\n<li><em>r<\/em> : r\u00e9compense imm\u00e9diate.<\/li>\n\n\n\n<li><em>s<\/em>,<em>a<\/em> : \u00e9tat et action actuels.<\/li>\n\n\n\n<li><em>s<\/em>\u2032 : nouvel \u00e9tat apr\u00e8s action.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Dans notre impl\u00e9mentation, cette formule est appliqu\u00e9e avec les valeurs par d\u00e9faut de <strong>lr = 0.1<\/strong> et <strong>gamma = 0.99<\/strong>, ce qui signifie que l&rsquo;agent apprend mod\u00e9r\u00e9ment vite et accorde une grande importance aux r\u00e9compenses futures.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"Strat\u00e9gie-d'exploration\"><strong>Strat\u00e9gie d&rsquo;exploration<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Pour \u00e9viter que l&rsquo;<strong>agent<\/strong> ne se contente d&rsquo;une <strong>strat\u00e9gie sous-optimale<\/strong>, on utilise une approche <strong>\u03b5-greedy<\/strong> :<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;approche <strong>\u03b5-greedy<\/strong> \u00e9quilibre <strong>exploration<\/strong> et <strong>exploitation<\/strong> en <strong>Q-learning<\/strong> : l&rsquo;<strong>agent<\/strong> explore <strong>al\u00e9atoirement<\/strong> avec une probabilit\u00e9 <strong>\u03b5<\/strong>, sinon il choisit la <strong>meilleure action connue<\/strong>. Un <strong>\u03b5 \u00e9lev\u00e9<\/strong> favorise l&rsquo;<strong>exploration<\/strong> (utile au d\u00e9but), tandis qu&rsquo;un <strong>\u03b5 faible<\/strong> privil\u00e9gie l&rsquo;<strong>exploitation<\/strong> des <strong>connaissances acquises<\/strong>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Le <strong>epsilon decay<\/strong> consiste \u00e0 <strong>r\u00e9duire progressivement<\/strong> la valeur de <strong>\u03b5<\/strong> au cours de l&rsquo;<strong>entra\u00eenement<\/strong>. Cette <strong>diminution graduelle<\/strong> permet de commencer par une <strong>exploration intensive<\/strong> pour d\u00e9couvrir l&rsquo;<strong>environnement<\/strong>, puis de converger vers une <strong>strat\u00e9gie stable<\/strong> en privil\u00e9giant l&rsquo;<strong>exploitation des connaissances<\/strong>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Plusieurs <strong>approches<\/strong> existent pour impl\u00e9menter cette <strong>d\u00e9croissance<\/strong> :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>La <strong>d\u00e9croissance exponentielle<\/strong> utilise la formule <strong>\u03b5 = \u03b5_initial \u00d7 decay_rate^\u00e9pisode<\/strong> et offre une <strong>r\u00e9duction rapide<\/strong> au d\u00e9but qui <strong>ralentit progressivement<\/strong>.<\/li>\n\n\n\n<li>La <strong>d\u00e9croissance lin\u00e9aire<\/strong> applique une <strong>r\u00e9duction constante<\/strong> \u00e0 chaque \u00e9pisode avec <strong>\u03b5 = \u03b5_initial &#8211; (decay_step \u00d7 \u00e9pisode)<\/strong>.<\/li>\n\n\n\n<li>Une approche particuli\u00e8rement populaire est la <strong>d\u00e9croissance avec plancher<\/strong>, qui suit <strong>\u03b5 = max(\u03b5_min, \u03b5 \u00d7 decay_rate)<\/strong> et maintient un <strong>niveau minimal d&rsquo;exploration permanent<\/strong>, \u00e9vitant que l&rsquo;<strong>agent<\/strong> devienne trop <strong>rigide<\/strong>.<\/li>\n\n\n\n<li>Enfin, la <strong>d\u00e9croissance inverse<\/strong> propose une formule <strong>\u03b5 = \u03b5_initial \/ (1 + decay_rate \u00d7 \u00e9pisode)<\/strong> pour une <strong>d\u00e9croissance douce et continue<\/strong>.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Chaque <strong>approche<\/strong> offre un <strong>compromis<\/strong> diff\u00e9rent entre <strong>vitesse de convergence<\/strong> et <strong>maintien de l&rsquo;exploration<\/strong>, le choix d\u00e9pendant de la <strong>complexit\u00e9 de l&rsquo;environnement<\/strong> et des <strong>objectifs d&rsquo;apprentissage<\/strong>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"Description-du-probl\u00e8me\"><strong>Description du probl\u00e8me<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Dans <em>Taxi-v3<\/em>, le joueur (notre agent IA) contr\u00f4le un taxi dans une grille de <strong>5&#215;5 cases<\/strong>. Sa mission est simple : r\u00e9cup\u00e9rer un passager \u00e0 un point donn\u00e9 et le d\u00e9poser \u00e0 la bonne destination.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;environnement nous met \u00e0 disposition tous les \u00e9l\u00e9ments n\u00e9cessaires pour d\u00e9finir le probl\u00e8me d&rsquo;apprentissage par renforcement de mani\u00e8re claire et structur\u00e9e.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u00c9tats<\/strong> : position du taxi, position du passager (4 emplacements possibles ou \u00ab\u00a0dans le taxi\u00a0\u00bb), et destination (4 emplacements possibles). Cela donne <strong>500 \u00e9tats possibles<\/strong>.<\/li>\n\n\n\n<li><strong>Actions<\/strong> : 6 choix sont disponibles \u2013 se d\u00e9placer au nord, sud, est, ouest, prendre un passager, d\u00e9poser un passager.<\/li>\n\n\n\n<li><strong>R\u00e9compenses<\/strong> :\n<ul class=\"wp-block-list\">\n<li>+20 si le passager est d\u00e9pos\u00e9 au bon endroit.<\/li>\n\n\n\n<li>-10 si le taxi tente une mauvaise action (par exemple d\u00e9poser sans passager).<\/li>\n\n\n\n<li>-1 pour chaque pas, afin d&rsquo;encourager une solution rapide.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"Impl\u00e9mentation-en-Python\"><strong>Impl\u00e9mentation en Python<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Voici une version simplifi\u00e9e de l&rsquo;entra\u00eenement avec Q-Learning :<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code class=\"\">import gymnasium as gym\nimport numpy as np\n# Cr\u00e9ation de l'environnement Taxi\nenv = gym.make(\"Taxi-v3\")\n# Initialisation de la Q-Table\nstate_space = env.observation_space.n\naction_space = env.action_space.n\nQ = np.zeros((state_space, action_space))\n# Hyperparam\u00e8tres\nalpha = 0.1     # taux d'apprentissage\ngamma = 0.6     # facteur d'actualisation\nepsilon = 0.1   # exploration\nepisodes = 10000\n# Entra\u00eenement\nfor episode in range(episodes):\n    state, _ = env.reset()\n    done = False\n    while not done:\n        if np.random.uniform(0,1) &lt; epsilon:\n            action = env.action_space.sample()  # exploration\n        else:\n            action = np.argmax(Q[state])        # exploitation\n        next_state, reward, done, truncated, info = env.step(action)\n        # Mise \u00e0 jour de la Q-Table\n        best_next_action = np.argmax(Q[next_state])\n        Q[state, action] = Q[state, action] + alpha * (\n            reward + gamma * Q[next_state, best_next_action] - Q[state, action]\n        )\n        state = next_state<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Apr\u00e8s un entra\u00eenement de 10000 \u00e9pisodes comme dans notre exemple (quelques minutes) le taxi apprend \u00e0 r\u00e9soudre efficacement sa mission.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"R\u00e9sultats-et-analyse\"><strong>R\u00e9sultats et analyse<\/strong><\/h2>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"\u00c9valuation-de-l'agent\"><strong>\u00c9valuation de l&rsquo;agent<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Une fois entra\u00een\u00e9, l&rsquo;agent peut \u00eatre \u00e9valu\u00e9 sur plusieurs parties de test. Les m\u00e9triques typiques sont :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>score moyen<\/strong> par \u00e9pisode,<\/li>\n\n\n\n<li><strong>nombre moyen d&rsquo;\u00e9tapes<\/strong> n\u00e9cessaires pour d\u00e9poser le passager.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">En g\u00e9n\u00e9ral, apr\u00e8s un bon entra\u00eenement, l&rsquo;agent r\u00e9ussit sa mission en <strong>moins de 20 \u00e9tapes<\/strong>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"Visualisation-des-performances\"><strong>Visualisation des performances<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">On peut tracer la progression du score moyen :<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code class=\"\">import matplotlib.pyplot as plt\n# Liste des r\u00e9compenses obtenues \u00e0 chaque \u00e9pisode d'entra\u00eenement\nplt.plot(rewards_per_episode) \n# Axe horizontal : num\u00e9ro de l'\u00e9pisode (de 0 \u00e0 nombre total d'\u00e9pisodes)\nplt.xlabel(\"\u00c9pisodes\") \n# Axe vertical : r\u00e9compense cumul\u00e9e par \u00e9pisode\nplt.ylabel(\"Score moyen\") \n# Titre du graphique montrant l'\u00e9volution des performances\nplt.title(\"Progression du taxi avec Q-Learning\") \n# Affiche le graphique pour visualiser l'apprentissage de l'agent\nplt.show() <\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Voici par exemple un des graphiques de l&rsquo;entra\u00eenement de notre <strong>agent<\/strong>. Ce graphique montre comment notre <strong>taxi<\/strong> apprend au fil du temps gr\u00e2ce au <strong>Q-Learning<\/strong>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"Plusieurs-choses-sont-affich\u00e9-sur-ce-graphique.\">Plusieurs choses sont affich\u00e9 sur ce graphique.<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>l&rsquo;axe horizontal<\/strong>, chaque point correspond \u00e0 un <strong>\u00e9pisode d&rsquo;entra\u00eenement<\/strong>, c&rsquo;est-\u00e0-dire une partie que joue notre taxi. Plus on avance vers la droite, plus l&rsquo;agent a eu d&rsquo;occasions d&rsquo;apprendre.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>l&rsquo;axe vertical<\/strong>, on y voit deux choses : En <strong>orange<\/strong>, on voit le <strong>nombre d&rsquo;\u00e9tapes<\/strong> que l&rsquo;agent met pour terminer une partie. Au d\u00e9part, ce nombre est tr\u00e8s \u00e9lev\u00e9 (l&rsquo;agent \u00e9choue souvent et atteint la limite de <strong>200 actions<\/strong>), puis il diminue progressivement \u00e0 mesure que le taxi apprend \u00e0 \u00eatre plus <strong>efficace<\/strong>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En <strong>vert<\/strong>, les <strong>r\u00e9compenses<\/strong> obtenues par l&rsquo;agent, elles vont tr\u00e8s loin dans le <strong>n\u00e9gatif<\/strong> au d\u00e9part, puis augmentent et se <strong>stabilisent<\/strong> quand le taxi apprend \u00e0 bien jouer.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La ligne <strong>rouge<\/strong>, elle repr\u00e9sente l&rsquo;<strong>exploration<\/strong>. Au d\u00e9but, le taxi teste un peu tout au hasard (l&rsquo;<strong>epsilon<\/strong> est \u00e9lev\u00e9). Au fur et \u00e0 mesure, il explore moins et applique ce qu&rsquo;il a appris (l&rsquo;<strong>epsilon diminue<\/strong> jusqu&rsquo;\u00e0 <strong>0<\/strong>).<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-large is-resized\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"478\" src=\"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/QLearning_graph-1024x478.png\" alt=\"\" class=\"wp-image-17889\" style=\"width:406px;height:auto\" srcset=\"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/QLearning_graph-1024x478.png 1024w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/QLearning_graph-300x140.png 300w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/QLearning_graph-768x358.png 768w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/QLearning_graph-150x70.png 150w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/QLearning_graph-380x177.png 380w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/QLearning_graph-480x224.png 480w, https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/QLearning_graph.png 1500w\" sizes=\"auto, (max-width:767px) 480px, (max-width:1024px) 100vw, 1024px\" \/><\/figure>\n<\/div>\n\n\n<p class=\"wp-block-paragraph\">Notre graphique illustre l&rsquo;\u00e9volution des r\u00e9compenses et du nombre de pas, o\u00f9 l&rsquo;on observe une stabilisation progressive (convergence) des performances lorsque l&rsquo;agent apprend une strat\u00e9gie optimale, tandis que l&rsquo;epsilon d\u00e9cro\u00eet vers z\u00e9ro.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"Optimiser-les-performances-de-l'algorithme-Q-Learning\"><strong>Optimiser les performances de l&rsquo;algorithme Q-Learning<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Une fois l&rsquo;algorithme fonctionnel, il est int\u00e9ressant de chercher \u00e0 <strong>acc\u00e9l\u00e9rer l&rsquo;apprentissage<\/strong> et <strong>les performances finales de notre agent<\/strong>. Cela passe par l&rsquo;optimisation des hyperparam\u00e8tres.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"Le-taux-d'apprentissage-(lr)\"><strong>Le taux d&rsquo;apprentissage (lr)<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Le <strong>taux d&rsquo;apprentissage<\/strong> d\u00e9termine l&rsquo;<strong>importance<\/strong> accord\u00e9e aux <strong>nouvelles informations<\/strong> par rapport aux <strong>connaissances d\u00e9j\u00e0 acquises<\/strong> dans la <strong>Q-Table<\/strong>. Dans notre approche, la <strong>valeur par d\u00e9faut<\/strong> est fix\u00e9e \u00e0 <strong>0.1<\/strong> (sur une \u00e9chelle de 0 \u00e0 1). Un <strong>taux trop faible<\/strong> entra\u00eene un <strong>apprentissage tr\u00e8s lent<\/strong> car l&rsquo;<strong>agent<\/strong> int\u00e8gre difficilement les <strong>nouvelles exp\u00e9riences<\/strong>, tandis qu&rsquo;un <strong>taux trop \u00e9lev\u00e9<\/strong> provoque des <strong>changements trop brutaux<\/strong> qui effacent les <strong>apprentissages pr\u00e9c\u00e9dents<\/strong>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"Le-facteur-de-discount-(gamma)\"><strong>Le facteur de discount (gamma)<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Le <strong>facteur de discount<\/strong> d\u00e9termine quelle <strong>importance<\/strong> l&rsquo;<strong>agent<\/strong> accorde aux <strong>r\u00e9compenses futures<\/strong> par rapport \u00e0 celles qu&rsquo;il peut obtenir <strong>imm\u00e9diatement<\/strong>. Notre <strong>impl\u00e9mentation<\/strong> utilise une <strong>valeur par d\u00e9faut<\/strong> de <strong>0.99<\/strong> (sur une \u00e9chelle de 0 \u00e0 1). Un <strong>gamma faible<\/strong> incite l&rsquo;<strong>agent<\/strong> \u00e0 rechercher des <strong>gains imm\u00e9diats<\/strong> sans se soucier des <strong>cons\u00e9quences<\/strong>, alors qu&rsquo;un <strong>gamma \u00e9lev\u00e9<\/strong> le pousse \u00e0 prendre des <strong>d\u00e9cisions<\/strong> qui peuvent \u00eatre moins <strong>avantageuses maintenant<\/strong> mais plus <strong>b\u00e9n\u00e9fiques \u00e0 long terme<\/strong>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"La-probabilit\u00e9-d'exploration-(epsilon)\"><strong>La probabilit\u00e9 d&rsquo;exploration (epsilon)<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">La <strong>probabilit\u00e9 d&rsquo;exploration<\/strong> \u00e9quilibre entre l&rsquo;<strong>exploration al\u00e9atoire<\/strong> de nouvelles <strong>actions<\/strong> et l&rsquo;<strong>exploitation<\/strong> des <strong>meilleures actions connues<\/strong>. Notre approche utilise un <strong>decay exponentiel<\/strong> avec la formule : <strong>epsilon = min_epsilon + (max_epsilon &#8211; min_epsilon) * exp(-epsilon_decay * episode)<\/strong>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nos <strong>param\u00e8tres<\/strong> sont configur\u00e9s avec :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>un <strong>epsilon initial<\/strong> de <strong>0.3<\/strong> pour une <strong>exploration mod\u00e9r\u00e9e<\/strong> au d\u00e9but,<\/li>\n\n\n\n<li>un <strong>max_epsilon<\/strong> de <strong>1.0<\/strong> permettant une <strong>exploration maximale<\/strong> si n\u00e9cessaire,<\/li>\n\n\n\n<li>un <strong>min_epsilon<\/strong> de <strong>0.001<\/strong> pour une <strong>exploitation quasi-totale<\/strong> en fin d&rsquo;<strong>entra\u00eenement<\/strong>,<\/li>\n\n\n\n<li>et un <strong>epsilon_decay<\/strong> de <strong>0.1<\/strong> pour une <strong>d\u00e9croissance progressive<\/strong>.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Cette <strong>configuration<\/strong> permet une <strong>transition fluide<\/strong> de l&rsquo;<strong>exploration<\/strong> vers l&rsquo;<strong>exploitation<\/strong>, avec un suivi de l&rsquo;<strong>\u00e9volution d&rsquo;epsilon<\/strong> via <strong>epsilon_vec<\/strong> pour analyser le <strong>comportement de l&rsquo;agent<\/strong>.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code class=\"\">epsilon = 1.0\nepsilon_min = 0.01\nepsilon_decay = 0.995\nfor episode in range(episodes):\n    ...\n    epsilon = max(epsilon_min, epsilon * epsilon_decay) #  D\u00e9croissance avec plancher <\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"Le-nombre-d'\u00e9pisodes\"><strong>Le nombre d&rsquo;\u00e9pisodes<\/strong><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Plus il y a d&rsquo;\u00e9pisodes, plus l&rsquo;agent a de chances de converger.<\/li>\n\n\n\n<li>Comme nous pouvons le voir sur le graphique d&rsquo;entra\u00eenement, nous atteignons un point de convergence autour de <strong>20 000 \u00e9pisodes<\/strong><\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"Comparer-les-r\u00e9sultats\"><strong>Comparer les r\u00e9sultats<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">La meilleure fa\u00e7on de trouver les bons r\u00e9glages est de tester plusieurs combinaisons et de comparer les courbes de performance. Une approche simple est la recherche par grille (<em><strong>grid search<\/strong><\/em>) : tester diff\u00e9rentes valeurs de \u03b1, \u03b3, \u03b5 et observer la <strong>convergence<\/strong>.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code class=\"\">def grid_search():\n    learning_rates = [0.001, 0.01, 0.1]\n    gammas = [0.9, 0.95, 0.99]\n    epsilons = [0.1, 0.2, 0.3]\n    epsilon_decays = [0.001, 0.01, 0.1]\n    best_params = None\n    best_reward = float('-inf')\n    for lr, gamma, epsilon, epsilon_decay in itertools.product(learning_rates, gammas, epsilons, epsilon_decays):\n        print(f\"Training with lr={lr}, gamma={gamma}, epsilon={epsilon}, epsilon_decay={epsilon_decay}\")\n        _, mean_reward = train(env=gym.make(\"Taxi-v3\"),\n                               episodes=1000,\n                               lr=lr,\n                               gamma=gamma,\n                               epsilon=epsilon,\n                               epsilon_decay=epsilon_decay)\n        if mean_reward &gt; best_reward:\n            best_reward = mean_reward\n            best_params = (lr, gamma, epsilon, epsilon_decay)\n    print(f\"Best parameters: lr={best_params[0]}, gamma={best_params[1]}, epsilon={best_params[2]}, epsilon_decay={best_params[3]}\")\n    print(f\"Best mean reward: {best_reward}\")\ngrid_search()<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Cette m\u00e9thode peut \u00eatre am\u00e9lior\u00e9e en \u00e9largissant la plage de valeurs test\u00e9es pour chaque param\u00e8tre et en augmentant la granularit\u00e9 de la recherche.<br><\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"Limites-du-Q-Learning\"><strong>Limites du Q-Learning<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">M\u00eame si le <strong>Q-Learning<\/strong> fonctionne tr\u00e8s bien pour un <strong>petit environnement<\/strong> comme <strong>Taxi<\/strong>, il pr\u00e9sente des <strong>limites importantes<\/strong>. La <strong>scalabilit\u00e9<\/strong> constitue un <strong>probl\u00e8me majeur<\/strong> car la <strong>Q-Table<\/strong> grandit de mani\u00e8re <strong>exponentielle<\/strong> quand l&rsquo;<strong>espace d&rsquo;\u00e9tats<\/strong> devient \u00e9norme, rendant <strong>impossible son stockage<\/strong> en <strong>m\u00e9moire vive (RAM)<\/strong> pour des <strong>environnements complexes<\/strong>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">De plus, l&rsquo;<strong>algorithme<\/strong> souffre d&rsquo;un <strong>manque de g\u00e9n\u00e9ralisation<\/strong> puisqu&rsquo;il ne peut pas <strong>apprendre<\/strong> sur des <strong>\u00e9tats<\/strong> qu&rsquo;il n&rsquo;a jamais <strong>rencontr\u00e9s<\/strong> auparavant. Enfin, l&rsquo;<strong>exploration \u03b5-greedy<\/strong> reste une <strong>approche basique<\/strong>, alors que d&rsquo;autres m\u00e9thodes comme l&rsquo;<strong>exploration de Boltzmann<\/strong> ou <strong>UCB (Upper Confidence Bound)<\/strong> offrent des <strong>strat\u00e9gies plus intelligentes<\/strong>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour d\u00e9passer ces <strong>limites<\/strong>, on peut utiliser des <strong>r\u00e9seaux de neurones<\/strong> pour <strong>approximer la fonction Q<\/strong>. C&rsquo;est le principe des <strong>Deep Q-Networks (DQN)<\/strong>, utilis\u00e9s dans des <strong>environnements beaucoup plus complexes<\/strong> comme les <strong>jeux vid\u00e9os<\/strong>, la <strong>robotique<\/strong> ou d&rsquo;autres <strong>domaines n\u00e9cessitant une repr\u00e9sentation continue des \u00e9tats<\/strong>.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"Visualisation-de-l'agent\"><strong>Visualisation de l&rsquo;agent<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Gymnasium permet de visualiser le plateau de jeu avec :<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code class=\"\">import gymnasium as gym\nenv = gym.make(\"Taxi-v3\", render_mode=\"human\")\nprint(env.render())<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Nous avons acc\u00e8s \u00e0 plusieurs valeurs possibles pour le param\u00e8tre render_mode. (ansi, rgb_array, rgb_array_list, human).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour cet article nous utiliserons le render_mode \u00ab\u00a0human\u00a0\u00bb qui offre la meilleure visualisation graphique interactive en temps r\u00e9el.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Et voil\u00e0 notre agent \u00e0 l&rsquo;\u0153uvre !<\/p>\n\n\n\n<figure class=\"wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-1 is-layout-flex wp-block-gallery-is-layout-flex\"><div class=\"wp-block-image\">\n<figure class=\"aligncenter size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"550\" height=\"350\" data-id=\"17894\" src=\"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/taxi_game.gif\" alt=\"\" class=\"wp-image-17894\"\/><\/figure>\n<\/div><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"Conclusion\"><strong>Conclusion<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">J&rsquo;esp\u00e8re vous avoir fait d\u00e9couvrir un sujet int\u00e9ressant \u00e0 travers cet article. L&rsquo;environnement Taxi-v3 est un excellent point d&rsquo;entr\u00e9e dans l&rsquo;IA. Il offre une complexit\u00e9 suffisante pour comprendre les m\u00e9canismes fondamentaux tout en restant accessible.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Cet exemple pratique nous a donn\u00e9 un aper\u00e7u complet de l&rsquo;apprentissage par renforcement. Nous avons vu la construction de la Q-Table et l&rsquo;optimisation des <strong>hyperparam\u00e8tres<\/strong>. Nous avons observ\u00e9 comment un agent d\u00e9veloppe une strat\u00e9gie optimale par l&rsquo;exp\u00e9rience seule, sans supervision directe.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Le Q-Learning s&rsquo;applique concr\u00e8tement dans plusieurs domaines. Par exemple, l&rsquo;optimisation de syst\u00e8mes de recommandation o\u00f9 l&rsquo;agent apprend \u00e0 proposer le contenu le plus pertinent. Ou encore la gestion automatique des ressources serveur pour optimiser les performances. Il peut aussi d\u00e9velopper des chatbots qui s&rsquo;am\u00e9liorent gr\u00e2ce aux retours utilisateurs. Ces applications montrent qu&rsquo;un algorithme simple peut r\u00e9soudre des probl\u00e8mes complexes du monde r\u00e9el.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour approfondir vos connaissances, plusieurs pistes s&rsquo;offrent \u00e0 vous. Explorez d&rsquo;autres environnements Gymnasium plus complexes. Exp\u00e9rimentez avec des variantes comme <strong>SARSA<\/strong>. Ou orientez-vous vers le <strong>Deep Reinforcement Learning<\/strong> avec les DQN pour des probl\u00e8mes n\u00e9cessitant une repr\u00e9sentation continue des \u00e9tats.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"liens-utiles\"><strong>liens utiles<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Le projet<\/strong> :<br><a href=\"https:\/\/gitlab.tech.ouidou.fr\/kevin.aubel\/q-learning\">https:\/\/gitlab.tech.ouidou.fr\/kevin.aubel\/q-learning<\/a><\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"Articles-similaire:\"><strong>Articles similaire:<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/www.geeksforgeeks.org\/machine-learning\/q-learning-in-python\/\">Q-Learning in Reinforcement Learning &#8211; GeeksforGeeks<\/a><\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/medium.com\/@goldengrisha\/a-beginners-guide-to-q-learning-understanding-with-a-simple-gridworld-example-2b6736e7e2c9\">A Beginner\u2019s Guide to Q-Learning: Understanding with a Simple Gridworld Example<\/a><\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/medium.com\/analytics-vidhya\/reinforcement-learning-101-bf42523fd6ad\">Reinforcement Learning 101<\/a><\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"Site-avec-implementation-de-Q-learning:--[inlineCard]\"><strong>Site avec implementation de Q-learning:<br><\/strong><a href=\"https:\/\/www.kaggle.com\/search?q=taxi-v3\">Search | Kaggle<\/a><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/huggingface.co\/simonescaccia\/dqn-Taxi-v3\">simonescaccia\/dqn-Taxi-v3 \u00b7 Hugging Face<\/a><\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/huggingface.co\/winkin119\/q-Taxi-v3\">winkin119\/q-Taxi-v3 \u00b7 Hugging Face<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u00c9crit par K\u00e9vin A. Introduction L&rsquo;apprentissage par renforcement (Reinforcement Learning, ou RL) est une branche de l&rsquo;intelligence artificielle dans laquelle un agent IA apprend \u00e0 prendre<span class=\"excerpt-hellip\"> [\u2026]<\/span><\/p>\n","protected":false},"author":37,"featured_media":18053,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"content-type":"","inline_featured_image":false,"fifu_image_url":"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/Introduction-pratique-au-Q-learning-avec-Gymnasium-Taxi-v3-1.png","fifu_image_alt":"","footnotes":""},"categories":[34],"tags":[],"class_list":["post-17885","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-articles-techniques"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v28.9 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Introduction pratique au Q-learning avec Gymnasium Taxi-v3 - Ouidou<\/title>\n<meta name=\"description\" content=\"D\u00e9couvrez le Q-Learning avec Gymnasium Taxi-v3 : construction de Q-Table, \u03b5-greedy, optimisation des hyperparam\u00e8tres et introduction aux DQN.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Introduction pratique au Q-learning avec Gymnasium Taxi-v3 - Ouidou\" \/>\n<meta property=\"og:description\" content=\"D\u00e9couvrez le Q-Learning avec Gymnasium Taxi-v3 : construction de Q-Table, \u03b5-greedy, optimisation des hyperparam\u00e8tres et introduction aux DQN.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3\" \/>\n<meta property=\"og:site_name\" content=\"Ouidou\" \/>\n<meta property=\"article:published_time\" content=\"2026-01-06T10:12:18+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2026-01-06T10:12:19+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/Introduction-pratique-au-Q-learning-avec-Gymnasium-Taxi-v3-1.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1105\" \/>\n\t<meta property=\"og:image:height\" content=\"564\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Emmie Pommeret\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"Emmie Pommeret\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"11 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3\"},\"author\":{\"name\":\"Emmie Pommeret\",\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/#\\\/schema\\\/person\\\/0e24ffde94ce781778fa1cf204c3d029\"},\"headline\":\"Introduction pratique au Q-learning avec Gymnasium Taxi-v3\",\"datePublished\":\"2026-01-06T10:12:18+00:00\",\"dateModified\":\"2026-01-06T10:12:19+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3\"},\"wordCount\":2022,\"publisher\":{\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/wp-content\\\/uploads\\\/2025\\\/11\\\/Introduction-pratique-au-Q-learning-avec-Gymnasium-Taxi-v3-1.png\",\"articleSection\":[\"Articles Techniques\"],\"inLanguage\":\"fr-FR\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3\",\"url\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3\",\"name\":\"Introduction pratique au Q-learning avec Gymnasium Taxi-v3 - Ouidou\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/wp-content\\\/uploads\\\/2025\\\/11\\\/Introduction-pratique-au-Q-learning-avec-Gymnasium-Taxi-v3-1.png\",\"datePublished\":\"2026-01-06T10:12:18+00:00\",\"dateModified\":\"2026-01-06T10:12:19+00:00\",\"description\":\"D\u00e9couvrez le Q-Learning avec Gymnasium Taxi-v3 : construction de Q-Table, \u03b5-greedy, optimisation des hyperparam\u00e8tres et introduction aux DQN.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#breadcrumb\"},\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#primaryimage\",\"url\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/wp-content\\\/uploads\\\/2025\\\/11\\\/Introduction-pratique-au-Q-learning-avec-Gymnasium-Taxi-v3-1.png\",\"contentUrl\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/wp-content\\\/uploads\\\/2025\\\/11\\\/Introduction-pratique-au-Q-learning-avec-Gymnasium-Taxi-v3-1.png\",\"width\":1105,\"height\":564},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/articles-techniques\\\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Accueil\",\"item\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Introduction pratique au Q-learning avec Gymnasium Taxi-v3\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/#website\",\"url\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/\",\"name\":\"Blog Ouidou\",\"description\":\"Conseil et expertise en technologies\",\"publisher\":{\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/#organization\",\"name\":\"Ouidou\",\"url\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/wp-content\\\/uploads\\\/2022\\\/04\\\/image_2022-04-13_150237378.png\",\"contentUrl\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/wp-content\\\/uploads\\\/2022\\\/04\\\/image_2022-04-13_150237378.png\",\"width\":180,\"height\":180,\"caption\":\"Ouidou\"},\"image\":{\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\"}},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/ouidou.fr\\\/blog\\\/#\\\/schema\\\/person\\\/0e24ffde94ce781778fa1cf204c3d029\",\"name\":\"Emmie Pommeret\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/7f79fa8aa0dc67cfd3ef6ed198b701b9309f316e50c3295d226d19a242e3cc9f?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/7f79fa8aa0dc67cfd3ef6ed198b701b9309f316e50c3295d226d19a242e3cc9f?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/7f79fa8aa0dc67cfd3ef6ed198b701b9309f316e50c3295d226d19a242e3cc9f?s=96&d=mm&r=g\",\"caption\":\"Emmie Pommeret\"}}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Introduction pratique au Q-learning avec Gymnasium Taxi-v3 - Ouidou","description":"D\u00e9couvrez le Q-Learning avec Gymnasium Taxi-v3 : construction de Q-Table, \u03b5-greedy, optimisation des hyperparam\u00e8tres et introduction aux DQN.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3","og_locale":"fr_FR","og_type":"article","og_title":"Introduction pratique au Q-learning avec Gymnasium Taxi-v3 - Ouidou","og_description":"D\u00e9couvrez le Q-Learning avec Gymnasium Taxi-v3 : construction de Q-Table, \u03b5-greedy, optimisation des hyperparam\u00e8tres et introduction aux DQN.","og_url":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3","og_site_name":"Ouidou","article_published_time":"2026-01-06T10:12:18+00:00","article_modified_time":"2026-01-06T10:12:19+00:00","og_image":[{"width":1105,"height":564,"url":"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/Introduction-pratique-au-Q-learning-avec-Gymnasium-Taxi-v3-1.png","type":"image\/jpeg"}],"author":"Emmie Pommeret","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"Emmie Pommeret","Dur\u00e9e de lecture estim\u00e9e":"11 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#article","isPartOf":{"@id":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3"},"author":{"name":"Emmie Pommeret","@id":"https:\/\/ouidou.fr\/blog\/#\/schema\/person\/0e24ffde94ce781778fa1cf204c3d029"},"headline":"Introduction pratique au Q-learning avec Gymnasium Taxi-v3","datePublished":"2026-01-06T10:12:18+00:00","dateModified":"2026-01-06T10:12:19+00:00","mainEntityOfPage":{"@id":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3"},"wordCount":2022,"publisher":{"@id":"https:\/\/ouidou.fr\/blog\/#organization"},"image":{"@id":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#primaryimage"},"thumbnailUrl":"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/Introduction-pratique-au-Q-learning-avec-Gymnasium-Taxi-v3-1.png","articleSection":["Articles Techniques"],"inLanguage":"fr-FR"},{"@type":"WebPage","@id":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3","url":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3","name":"Introduction pratique au Q-learning avec Gymnasium Taxi-v3 - Ouidou","isPartOf":{"@id":"https:\/\/ouidou.fr\/blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#primaryimage"},"image":{"@id":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#primaryimage"},"thumbnailUrl":"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/Introduction-pratique-au-Q-learning-avec-Gymnasium-Taxi-v3-1.png","datePublished":"2026-01-06T10:12:18+00:00","dateModified":"2026-01-06T10:12:19+00:00","description":"D\u00e9couvrez le Q-Learning avec Gymnasium Taxi-v3 : construction de Q-Table, \u03b5-greedy, optimisation des hyperparam\u00e8tres et introduction aux DQN.","breadcrumb":{"@id":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#breadcrumb"},"inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3"]}]},{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#primaryimage","url":"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/Introduction-pratique-au-Q-learning-avec-Gymnasium-Taxi-v3-1.png","contentUrl":"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2025\/11\/Introduction-pratique-au-Q-learning-avec-Gymnasium-Taxi-v3-1.png","width":1105,"height":564},{"@type":"BreadcrumbList","@id":"https:\/\/ouidou.fr\/blog\/articles-techniques\/introduction-pratique-au-q-learning-avec-gymnasium-taxi-v3#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Accueil","item":"https:\/\/ouidou.fr\/blog\/"},{"@type":"ListItem","position":2,"name":"Introduction pratique au Q-learning avec Gymnasium Taxi-v3"}]},{"@type":"WebSite","@id":"https:\/\/ouidou.fr\/blog\/#website","url":"https:\/\/ouidou.fr\/blog\/","name":"Blog Ouidou","description":"Conseil et expertise en technologies","publisher":{"@id":"https:\/\/ouidou.fr\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/ouidou.fr\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"fr-FR"},{"@type":"Organization","@id":"https:\/\/ouidou.fr\/blog\/#organization","name":"Ouidou","url":"https:\/\/ouidou.fr\/blog\/","logo":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/ouidou.fr\/blog\/#\/schema\/logo\/image\/","url":"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2022\/04\/image_2022-04-13_150237378.png","contentUrl":"https:\/\/ouidou.fr\/blog\/wp-content\/uploads\/2022\/04\/image_2022-04-13_150237378.png","width":180,"height":180,"caption":"Ouidou"},"image":{"@id":"https:\/\/ouidou.fr\/blog\/#\/schema\/logo\/image\/"}},{"@type":"Person","@id":"https:\/\/ouidou.fr\/blog\/#\/schema\/person\/0e24ffde94ce781778fa1cf204c3d029","name":"Emmie Pommeret","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/secure.gravatar.com\/avatar\/7f79fa8aa0dc67cfd3ef6ed198b701b9309f316e50c3295d226d19a242e3cc9f?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/7f79fa8aa0dc67cfd3ef6ed198b701b9309f316e50c3295d226d19a242e3cc9f?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/7f79fa8aa0dc67cfd3ef6ed198b701b9309f316e50c3295d226d19a242e3cc9f?s=96&d=mm&r=g","caption":"Emmie Pommeret"}}]}},"_links":{"self":[{"href":"https:\/\/ouidou.fr\/blog\/wp-json\/wp\/v2\/posts\/17885","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ouidou.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ouidou.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ouidou.fr\/blog\/wp-json\/wp\/v2\/users\/37"}],"replies":[{"embeddable":true,"href":"https:\/\/ouidou.fr\/blog\/wp-json\/wp\/v2\/comments?post=17885"}],"version-history":[{"count":4,"href":"https:\/\/ouidou.fr\/blog\/wp-json\/wp\/v2\/posts\/17885\/revisions"}],"predecessor-version":[{"id":17903,"href":"https:\/\/ouidou.fr\/blog\/wp-json\/wp\/v2\/posts\/17885\/revisions\/17903"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ouidou.fr\/blog\/wp-json\/wp\/v2\/media\/18053"}],"wp:attachment":[{"href":"https:\/\/ouidou.fr\/blog\/wp-json\/wp\/v2\/media?parent=17885"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ouidou.fr\/blog\/wp-json\/wp\/v2\/categories?post=17885"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ouidou.fr\/blog\/wp-json\/wp\/v2\/tags?post=17885"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}