WEBVTT 00:00.270 --> 00:02.640 Bonjour et bienvenue au cours sur l'apprentissage en profondeur. 00:02.730 --> 00:05.140 D'accord, nous parlons aujourd'hui de la fonction d'activation. 00:05.190 --> 00:07.010 Allons droit au but. 00:07.020 --> 00:11.910 Nous en avons donc parlé précédemment de la structure d’un neurone. 00:12.030 --> 00:16.770 Donc, au milieu, nous savons que certaines valeurs d’entrée entrent, il a quelques poids, puis 00:17.130 --> 00:23.370 la somme permet de calculer la manière dont certaines de ces entrées sont appliquées, puis d’appliquer la fonction d’activation 00:23.370 --> 00:24.690 à l’étape 3. 00:24.750 --> 00:30.090 Cela transmet le signal à l'année suivante et ensuite, c'est ce dont nous parlons aujourd'hui, nous 00:30.090 --> 00:32.850 parlons de la valeur qui sera transmise. 00:32.850 --> 00:35.970 Nous parlons donc de la fonction d'activation appliquée. 00:36.390 --> 00:39.270 Alors, quelles options avons-nous pour la fonction d'activation. 00:39.270 --> 00:43.400 Nous allons examiner quatre types de fonctions d’activation parmi lesquels vous pouvez choisir. 00:43.410 --> 00:47.400 Bien sûr, il existe plusieurs types de fonctions d’activation, mais ce sont les fonctions prédominantes 00:47.400 --> 00:50.390 dont vous allez parler et que nous utiliserons dans ce cours. 00:50.400 --> 00:53.060 Donc, voici la fonction de seuil. 00:53.070 --> 00:54.300 Voici à quoi ça ressemble. 00:54.300 --> 00:59.600 Donc, sur l’axe des x, vous avez les entrées pondérées sur l’axe des y. 00:59.610 --> 01:07.320 Vous venez de connaître les valeurs de 0 à 1 et les fonctions de seuil sont très 01:07.330 --> 01:14.700 simples. Tapez une fonction où si la valeur est inférieure à zéro, la valeur libre. 01:14.730 --> 01:16.680 Merci ssion passe à zéro. 01:16.890 --> 01:22.940 Si la valeur est supérieure à zéro ou égale à zéro, alors la fonction de seuil est sur un 1. 01:22.940 --> 01:26.910 Donc, en gros, c'est un peu comme si non, aucun type de fonction. 01:26.940 --> 01:29.130 Très très simple. 01:29.130 --> 01:33.500 Très gentil comme type de fonction rigide soit oui ou non. 01:33.540 --> 01:35.000 Pas d'autres options. 01:35.040 --> 01:35.510 Alors voilà. 01:35.510 --> 01:36.210 Ça fonctionne comme ça. 01:36.210 --> 01:37.440 Fonction très simple. 01:37.440 --> 01:40.020 Passons à quelque chose d'un peu plus complexe. 01:40.020 --> 01:48.420 Maintenant, cette fonction sigmoïde formule très intéressante que nous avons ici, vous verrez tout à l'heure qu'il y a une division par 01:48.420 --> 01:49.940 un plus chacun. 01:49.950 --> 01:58.450 La puissance de moins X alors que dans ce cas bien sûr X est la valeur des sommes de la manière qui somme. 01:58.590 --> 02:00.540 Et alors oui. 02:00.570 --> 02:02.600 Voilà à quoi ressemble le sigmoïde. 02:02.610 --> 02:06.510 C'est une fonction utilisée dans la régression logistique. 02:06.510 --> 02:09.470 Si vous vous rappelez du cours d’apprentissage automatique. 02:09.540 --> 02:12.000 Donc, ce qui est bien avec cette fonction, c'est qu'elle est lisse. 02:12.060 --> 02:14.880 Contrairement à la fonction virtuelle. 02:14.970 --> 02:21.720 Celui-ci ne présente pas ces courbes dans sa courbe et il ne s'agit donc que d'une progression progressive agréable et lisse. 02:21.720 --> 02:26.340 Donc, tout ce qui se situe en dessous de 0 équivaut à une chute au-dessus de zéro. 02:26.340 --> 02:35.590 Il agit approximativement vers un et cette fonction sigmoïde est très utile dans la couche finale de Lehren. 02:35.610 --> 02:38.900 Surtout quand vous essayez de prédire les probabilités. 02:38.910 --> 02:40.820 Et nous verrons cela tout au long du cours. 02:41.190 --> 02:47.370 Et puis nous avons la fonction redresseur, même si elle a un 02:47.370 --> 02:55.090 pli, elle est l’une des fonctions les plus populaires pour les réseaux de neurones artificiels; 02:55.110 --> 03:02.460 Et puis à partir de là, il progresse progressivement à mesure que la valeur d'entrée augmente également et nous verrons cela tout au long du cours, 03:02.460 --> 03:07.140 comme nous le verrons dans d'autres tutoriels d'intuition, et nous verrons également comment nous utilisons cette 03:07.140 --> 03:13.020 fonction dans la partie pratique du cours Je vais en parler un peu plus dans quelques diapositives à partir de 03:13.020 --> 03:13.590 maintenant. 03:13.590 --> 03:18.970 Alors rappelez-vous que la fonction de tir direct est l’une des fonctions les plus utilisées dans les réseaux de neurones artificiels. 03:19.020 --> 03:22.770 Et enfin, nous avons une autre fonction dont vous entendrez probablement parler. 03:22.830 --> 03:25.220 C'est la fonction de la tangente hyperbolique. 03:25.260 --> 03:32.760 Cela ressemble beaucoup à la fonction sigmoïde, mais ici, la fonction tangente hyperbolique passe en dessous de zéro, de sorte que les valeurs 03:32.760 --> 03:39.510 vont de 0 à 1 ou environ 2 1 et vont de zéro à moins 1 de l'autre côté. 03:39.750 --> 03:42.360 Et cela peut être utile dans certaines applications. 03:42.390 --> 03:48.060 Nous n'allons donc pas approfondir chacune de ces fonctions. Je souhaitais simplement vous en informer afin que 03:48.060 --> 03:51.680 vous sachiez à quoi elles ressemblent et comment elles s'appellent. 03:51.780 --> 03:59.690 Si vous souhaitez en savoir plus, consultez ce document par 75 ans. 03:59.820 --> 04:05.630 Avez-vous beaucoup appelé Deep sparse rectifies réseau de neurones 2000 papier. 04:05.790 --> 04:14.700 Et là, vous découvrirez exactement pourquoi la fonction de redressement est une fonction aussi précieuse, pourquoi elle est si 04:14.970 --> 04:16.300 couramment utilisée. 04:16.350 --> 04:20.640 Mais néanmoins, pour le moment, nous n'avons pas vraiment besoin de savoir toutes ces choses. 04:20.650 --> 04:24.240 Pour le moment, nous allons simplement commencer à les appliquer et à les utiliser de plus en plus. 04:24.270 --> 04:31.290 Ainsi, lorsque vous vous sentirez à l'aise avec le côté pratique des choses, vous pourrez vous référer à cet article 04:31.290 --> 04:37.140 et vous pourrez alors assimiler ces connaissances beaucoup plus rapidement, ce qui sera beaucoup plus logique. 04:37.370 --> 04:42.000 Mais gardez simplement à l'esprit que lorsque vous êtes prêt, vous pouvez aller faire des 04:42.120 --> 04:45.060 recherches sur papier et en tirer de précieuses connaissances. 04:45.540 --> 04:53.070 Donc, pour récapituler rapidement, nous avons la fonction d’activation de seuil qui ressemble à celle d’activation sigmoïde 04:53.100 --> 04:55.360 qui ressemble à ceci. 04:55.680 --> 05:01.770 Nous avons la fonction de redressement et la fonction de tangente hyperbolique et nous allons 05:01.770 --> 05:09.150 maintenant terminer ce tutoriel. Faisons rapidement quelques exercices. Faisons donc deux exercices rapides pour aider ces connaissances à s’intégrer. 05:09.150 --> 05:15.140 Le premier est que nous avons ici l'exemple d'un réseau de neurones composé d'un seul neurone et de la couche 05:15.160 --> 05:16.030 de sortie. 05:16.140 --> 05:22.620 Et la question est de supposer que votre variable dépendante est binaire. Donc, la fonction de seuil que vous utiliseriez est 05:22.620 --> 05:23.780 0 ou 1. 05:23.790 --> 05:31.980 Donc, parmi ceux dont nous avons discuté, nous avons une fonction de seuil, la fonction sigmoïde, la 05:31.980 --> 05:39.480 fonction de redressement, et nous avons la fonction de tangente hyperbolique dans sa forme déroulante que 05:39.480 --> 05:43.450 vous pouvez utiliser pour une variable binaire. 05:43.950 --> 05:44.410 D'ACCORD. 05:44.490 --> 05:49.360 La réponse est donc qu'il y a deux options avec lesquelles nous pouvons aborder cela. 05:49.380 --> 05:55.790 Donc, la première est la fonction d’activation du seuil car nous savons qu’elle se situe entre 0 et 1, elle nous donne 0 05:55.800 --> 06:00.090 parapluie Anderson et sinon, elle vous donne une fois qu’elle peut vous donner deux valeurs. 06:00.090 --> 06:10.020 Il s’adapte parfaitement à cette exigence et vous pouvez donc dire que vous égalez la fonction de seuil de 06:10.020 --> 06:13.770 votre influence sur certains et c’est tout. 06:14.010 --> 06:18.450 Et dans le second cas, vous pouvez utiliser la fonction d’activation sigmoïde. 06:18.450 --> 06:21.710 C'est en fait aussi entre 0 et 1 exactement ce dont nous avons besoin. 06:21.750 --> 06:29.940 Mais en même temps, vous voulez n’être qu’un seul droit, de sorte que vous n’êtes pas exactement ce dont nous 06:29.940 --> 06:37.530 avons besoin, mais dans ce cas, vous pouvez l’utiliser comme la probabilité que Y soit oui ou non. 06:37.530 --> 06:46.170 Nous voulons donc que Y soit égal à 0 mais nous dirons plutôt que la fonction d’activation sigmoïde Simoun nous 06:46.170 --> 06:51.860 dit si elle indiquerait la probabilité que Y soit égal à 1. 06:51.870 --> 06:59.130 Donc, fondamentalement, plus on se rapproche du sommet, plus il est probable qu'il s'agisse bien d'un ou d'un oui plutôt 06:59.160 --> 07:00.300 que d'un non. 07:00.750 --> 07:04.700 Et oui, c'est très similaire à l'approche de régression logistique. 07:04.920 --> 07:07.570 Et ce ne sont que deux exemples. 07:07.650 --> 07:09.610 Si vous avez une variable binaire. 07:10.120 --> 07:12.810 Voyons maintenant une autre application pratique. 07:12.810 --> 07:17.190 Voyons comment tout cela se jouerait si nous avions un naturel comme celui-là. 07:17.430 --> 07:20.960 Donc, dans la première couche, nous avons des entrées. 07:20.980 --> 07:26.060 Ils sont envoyés à notre première couche cachée, puis une fonction d'activation est appliquée. 07:26.070 --> 07:31.380 Et généralement, ce que vous appliquerez ici et ce que vous verrez tout au long de Scorsese appliquera une fonction d'activation 07:31.410 --> 07:34.510 du redresseur afin que cela ressemble à quelque chose comme ça. 07:34.530 --> 07:40.980 Nous appliquons la fonction d'activation du redresseur, puis les signaux sont transmis à la couche de 07:40.980 --> 07:46.820 sortie où la fonction d'activation sigmoïde est appliquée et constitue notre sortie finale. 07:46.830 --> 07:51.270 Et cela pourrait prédire une probabilité par exemple, de sorte que cette combinaison 07:51.600 --> 07:58.640 va être assez courante là où dans les couches cachées nous appliquons la fonction redresseur et ensuite, là nous appliquons la fonction sigmoïde. 07:58.890 --> 07:59.850 Alors on y va. 07:59.850 --> 08:05.040 J'espère que vous avez apprécié ce tutoriel. Maintenant, vous maîtriserez assez bien quatre 08:05.040 --> 08:11.130 types de fonctions d'activation et vous obtiendrez une expérience pratique sur le tas tout au long 08:11.220 --> 08:16.310 de ce cours. et vous devriez être assez à l'aise avec eux. 08:16.530 --> 08:22.230 Mais pour l'instant, c'est la connaissance dont vous avez besoin pour progresser et comprendre ce qu'il va se passer plus 08:22.250 --> 08:23.600 loin dans ce cours. 08:23.940 --> 08:26.940 Et sur cette note, j'ai hâte de vous voir la prochaine fois. 08:26.940 --> 08:28.560 Jusque-là profiter de l'apprentissage.