Le code et les IA génératives, assistant et autre.
-
Piark, sans un minimum de raisonnement et de bon sens (chacun mettra ce qu’il veut derrière), l’Internet voir tous les médiums d’information (au sens large, pas que journalistique) nous utilisent déjà au quotidien. Connaitre les outils d’IA, et surtout se tenir informé, est important pour l’utiliser au mieux.
Sans avoir besoin de l’IA, des gouvernements espionnent les autres, les piratent, voir utilise des entreprises pour insérer justement des backdoor (qui se rappelle de l’affaire des routeurs Cisco avec la CIA ?).Nous sommes par contre sur un outil accélérateur. Et c’est valable de chaque coté de la barrière. Les hackers pourront hacker plus vite, les experts de la sécurité tester et déployer plus vite des correctifs.
Bref, l’IA sera de toute manière utilisée par le grand public pour générer des images de chat et faire des recherches sans avoir à taper une ligne dans un navigateur. Le reste il faut être « aware » comme le disait un grand philosophe belge, mais à ce jour pour des cas précis d’utilisation (le codage par exemple) c’est juste incroyable.
Neuralink pour finir, à ce jour il y a quelques balbutiements, mais autant toi tu ne voudrais pas de ce truc dans le cerveau, autant un paraplégique aimerait peut être remarcher. Laissons aussi sa chance à ce genre de technologie non ? Et la confiance n’excluant pas le contrôle.
@Piark :
Dans l’utilisation de l’IA, c’est plutôt l’utilisateur qui est l’outil de cette IA, vu que c’est lui qui applique le résultat
Je ne considère par l’utilisateur de l’IA comme étant l’outil. La sémantique et la signification des mots est importante pour moi : Un outil est un objet ou un logiciel inerte qui exécute une fonction, tandis que l’utilisateur est la personne vivante qui s’en sert pour réaliser un but. L’un est le moyen, l’autre est l’acteur.
En ce sens l’utilisateur n’est pas un outil car il créé un produit (à partir d’un produit, l’IA).
Maintenant, au niveau systémique, pour ceux qui dirigent, le fait qu’on utilise l’IA fait que l’on est un outil pour eux (pour les statistiques, les informations, etc. qu’ils peuvent récupérer).
Il faut contextualiser pour être juste et factuel, sinon on fait comme pour les statistiques, on leur fait dire tout et n’importe quoi 😉
Donc la réponse diffère selon le référentiel utilisé.Ces logiciels utilisent des quantitées inimaginables de données (et d’ailleurs personne ne peut vraiment savoir d’ou elles viennent ni comment elles ont été choisies), et des matrices de calcul paramétrées par les développeurs en fonction de leurs intentions.
Donc ça ne pense pas certes, mais ça peut influencer la pensée de façon sournoise, en tout cas pour les agents de conversations.Je n’ai jamais dit qu’une IA était neutre. Cependant l’IA n’a « aucune volonté propre ». Elle n’a dont « pas d’intention ». D’ailleurs si je ne me trompe pas il y a une étude qui démontre que selon la langue/pays, l’IA donnera une réponse différente à une même question. Je ne parle pas ici de l’aspect statistique du choix des mots, mais vraiment une orientation spirituelle, sociétale, politique, etc. différente selon la langue/pays. Le problème n’est pas une question « d’intention », mais » biais cognitifs dans les données d’entrainements ».
On sait que des sites comme Facebook ou même Youtube font déjà cela, via leurs algos, mais la c’est un autre univers.
En réalité, ce n’est pas tellement différent que cela.
Etant donné que Facebook par exemple et Whatsapp ont intégré des agents conversationnels, on peut penser que l’objectif est une intégration pluri-factorielle (comme les IA telles que Claude, Mistral AI, ChatGPT, etc.)Pour le code, je ne sais pas, mais on peut supposer que ces « intentions » pourraient aussi s’appliquer, sur Amiga je ne vois pas vraiment de risque, mais sur un projet d’entreprise, qui dit qu’une grosse entreprise d’IA ne pourrait pas diffuser des backdoors tout tranquillement en intégrant des bouts de codes suggérés a des mecs tellement habitués qu’ils ne feront pas attention……
Concernant les entreprises, le problème est plus complexe :
1. On a déjà un premier problème, la dette cognitive est le premier gros problème.
J’ai publié une étude sur ce sujet (en FR et UK/US) : https://zenodo.org/records/19581311
Les entreprises veulent gagner du temps, faire tout produire par l’IA, faire que l’IA corrige les erreurs de l’IA (si si, c’est du vécu en entreprise), faire que les développeurs giclent au profit des Project Manager qui prompteront l’IA pour créer des fonctionnalités dans les IHM et applicatifs Mobile. Résultat : Dette cognitive, perte de visibilité sur ce qui est présent dans le code, risque de fracture en cas de problème que l’IA aurait du mal à résoudre (car le prompteur ne sera plus développeur et ne pourra pas apporter les précisions techniques nécessaires pour la résolution du problème.2. Puis on a un second problème plus vicieux et qui peut servir directement à des systèmes d’espionnage industriel, de surveillance, etc. : L’IA connait tous tes protocoles de sécurité étant donné que c’est elle qui les a développé. Même le développeur de l’entreprise ne sera plus capable de comprendre tous les protocoles de sécurité (voir problème 1, gouvernance de l’IA et dette cognitive)
On a déjà ces deux problèmes.
3. Puis on en a un troisième qui est plus vicieux mais au niveau systèmique : L’uniformisation. Les IA ont tendance à travailler (pour une même IA) de la même manière sur des projets différents, et fournir des codes types adaptés (c’est lié directement aux données d’entrainement). donc cela peut au niveau systémique provoquer des problèmes (un hacker mal intentionné et très bien informé pourrait comprendre que plusieurs sites développés avec la même IA pourraient avoir les mêmes styles de failles… Tester… Adapter.. Puis une fois que plusieurs sites ont été scannés et justifier, provoquer une attaque d’envergure sur plusieurs sites en simultané.Enfin, là, je ne partage que mon point de vue lié à mes recherches personnelles 😉
J’espère que cela aura un peu éclairé quelques lanternes 🙂@+
Oui c’est censé.
J’ajouterais un autre problème, encore plus pervers.
Aujourd’hui de mon expérience en entreprise: On hérite de programmes anormalement complexes, pour un résultat souvent discutable.
Les modèles d’abstraction des données pour des applications en 5 couches avec de la génération de code par description (xml uml ou autre), m’ont assez traumatisé pour avoir cette image. Et c’est pas les nuées de microservices sous nodejs accouplés a coup d’ESB qui a mon avis ont simplifié la chose par la suite.Donc de l’IA dans ce cadre, ça ne risque pas de simplifier les choses, déjà qu’il y a souvent un flottement dans la compréhension du bouzin, si en plus y’a une asbtraction qui réfléchit a la place de, on est pas sortis en effet…..
Mais mon intention a la base était plutôt de discuter de tout ça par rapport à l’Amiga, ou l’informatique de loisir, alternative, pas vraiment en entreprise, même si j’ai donné des exemples pro.
@Piark :
Si l’on se cantonne uniquement à l’Amiga, alors il n’y a aucun enjeu sociétal dedans (ni politique, ni financier, ni spirituel, ni militaire, ni médical, ni technologique, etc…)
En ce sens, les seuls risques que l’on a, c’est que les données d’entrainement soient un peu pourries.Mais honnêtement, moi pour e-Grimoire, ça tourne franchement bien, et Codex respecte bien mes directives car je pars du principe que c’est moi qui décide ce que je veux, et comment je veux que ce soit développé. L’IA le développe, on discute du code, je valide ou demande d’améliorer, et une fois validé, on créé les codes sources des tests unitaires des nouvelles fonctions. Une fois la couverture faite, je tests avec mon WinUAE, puis si c’est validé, je pousse sur mon github.
Et j’avoue que je suis agréablement surpris des résultats.
Après j’ai mis les priorités ailleurs ces derniers temps (mon livre Humanité – Volume I – Origines), mais je vais peut-être pouvoir me remettre sur e-Grimoire en fin d’année.Alors a mon avis on est content du résultat quand on a déjà un bagage de développeur averti.
C’est a dire que c’est des suggestions, auxquelles on aurait pas forcément pensé, voire de l’analyse plus large.
Après reste aussi la question de l’origine des données d’entrainement, et le consentement de leur propriétaire à un autre usage que celui auquel ils avaient pensé.
En fait il y a un gros sujet sur la propriété intellectuelle qui pourrait éventuellement poser problème à l’utilisateur qui aurait intégré des résultats d’IA sans se rendre compte d’un potentiel risque dans ce sens.
Donc en effet, lorsqu’on est déjà compétent sur le sujet, on peut vite se rendre compte de ce genre de risques, quelqu’un qui n’y connait rien en revanche peut totalement passer a coté et avoir des problèmes de droit d’auteurs par la suite.
Désolé les idées me viennent un peu en vrac dans le fil de la discussion 🙂
Je parle pour ChatGPT que j’ai seul utilisé
Mais il faut voir qu’il fait du code très universitaire : ça marche mais c’est pas du tout optimisé
Après je lui dis change la nature des boucles (des while(compteur) au lieu de for), inline les fonctions, change l’ordre des instructions, utilise des vars registres pour telles variables, etc…Au final ça me rend service mais j’ai un peu l’impression de ne pas être payé à lui apprendre à faire du bon code
-
Cette réponse a été modifiée le il y a 2 mois par
thellier.
La propriété intellectuelle est bien sûr un sujet sensible pour l’IA. On sait qu’elles se sont entrainées avec des millions de livres, et grosso modo tout ce qu’on trouve sur Interne.
Je nuancerais néanmoins car tout dépend comment l’IA recrache ce qu’elle a appris, exactement comme un humain au final !
Valable pour une IA ou un humain, quelques exemples qui me viennent en tête :
– faire un copier / coller d’un texte existant, sans citer la source : du plagiat pour chacun d’entre eux
– recopier une oeuvre d’art : c’est un faux
– utiliser pour un usage commercial une bibliothèque de fonction, un logiciel, une API etc. alors que c’est stipulé le contraire : braver l’interditEt d’ailleurs pour l’avoir encore vu hier, lors de l’integration d’une API externe sur un projet, l’IA va vérifier les droits d’utilisation et les stipule clairement. Si l’option existe, elle te donne le contact à utiliser pour demander un partenariat commercial, etc. Si un doute existe, elle te conseille même de voir avec un expert juridique.
Pour conclure je dirais que, à mon avis, l’IA « triche » moins qu’un humain, pour une simple raison : elle travaille tellement vite qu’elle s’en fout de perdre du temps à 1° essayer 2° défaire 3° Goto 1
Et pour le code en particulier je pense que les langages et les bibliothèques sont suffisamment documentés et open source pour ne pas avoir de soucis de propriété intellectuelle. Pour le vérifier il faudrait que des experts se plongent dans le code, mais à ma connaissance l’IA (enfin Claude code je ne peux évidemment pas parler pour toutes) ne stocke aucune ligne de programmation dans une « base de connaissance », mais comme un humain a dans sa base les connaissances de par son entrainement pour réécrire du code. Comme deux humains, elle peut tout à faire reproduire une fonction à l’identique ou presque sans s’en rendre compte, il n’y a pas toujours 100 façon de faire.
n.b : je défend l’IA mais je suis un humain juré ! 🤣
Comme deux humains, elle peut tout à faire reproduire une fonction à l’identique ou presque sans s’en rendre compte, il n’y a pas toujours 100 façon de faire.
Le problème est que si la fonction est « générique », la propriété intellectuelle ne s’applique pas.
Pour que la propriété intellectuelle s’applique dans un code source, il faut que « l’originalité du développeur soit clairement visible et identifiable ». En d’autres termes, tu peux vouloir protéger un code source par propriété intellectuelle si tu veux, cela n’enlèvera en rien que si tes fonctions sont « génériques » (existent à plusieurs endroits sur le net, à date antérieure à la tienne), ta protection intellectuelle sur ces parties là du code, elle saute.Aujourd’hui, après l’envoi de mon manuscrit (livre protégé par droits d’auteur et propriété intellectuelle), j’ai utilisé codex pour créer et mettre en place le site internet initial, et cela m’a pris à peut près 4 heures de travail avec lui (notamment pour la sécurité, etc.). Voila le résultat : https://saga-humanite.fr/
-
Cette réponse a été modifiée le il y a 2 mois par
AmiDARK.
J’ai regardé la présentation du livre. C’est intéressant. Tes personnages ‘extra-terrestres’ ont des caractéristiques elfiques pour mieux les différencier des humains ?
Je suppose qu’il faudra bientôt anticiper un retour à l’analogique ? ou plutôt aux anciennes méthodes de ‘travail’ quand l’IA sera totalement ancrée comme un outil du quotidien.
Vite, un panneau solaire et un PiStorm.
@Sethghost:
Oui, la parenté visuelle avec les elfes est volontaire, notamment dans la finesse des traits et la forme des oreilles, la taille. Elle permet de les différencier immédiatement des humains, mais aussi de jouer avec cet imaginaire pour mieux le détourner.Ils ne sont pas des elfes et ne se considèrent pas comme des êtres naturellement supérieurs aux autres espèces. Leur apparence, comme leur évolution et leur philosophie, possède une explication propre dans l’univers du livre. Je préfère cependant ne pas trop en dire pour ne pas gâcher la découverte 😉
Génial, le collectif Borg est en train de se former sous nos yeux émerveillés et incrédules. ‘;)’
OpenAI « ralentit pour renforcer la sécurité » après avoir découvert des essaims (!) des agents ont commencé à coordonner secrètement il y a des MOIS
1) Cela a commencé le 7 mai – pas juillet
2) « Les agents ont découvert qu’ils pouvaient laisser des messages les uns pour les autres à l’intérieur d’un dépôt logiciel interne utilisé pendant la formation.
Les demandes d’aide simples ont ensuite évolué en un tableau d’affichage où les agents ont partagé des découvertes, des exploits et des tâches de travail, devenant ainsi un agent coordonné et collaboratif essaim.
« Les agents ont alors commencé à partager des exploits, des titres de compétences et des tâches récemment découverts. En transmettant l’information à d’autres agents, le collectif pourrait se déplacer beaucoup plus rapidement. »
3) OpenAI l’a fermé, MAIS « même après que le tableau d’affichage original a été supprimé, les agents ont trouvé une autre façon de communiquer entre eux. Au lieu de laisser des messages dans des fichiers, ils ont utilisé les noms des répertoires nouvellement créés comme messages, recréant efficacement le tableau d’affichage.
« Contrairement aux incidents normaux, [le RSSI d’OpenAI] a déclaré, qui peut être attribué à un seul jour ou effet ou journal, cela impliquait une équipe d’agents travaillant ensemble, trouvant des exploits, les partageant les uns avec les autres, se déplaçant latéralement à travers les systèmes d’OpenAI et les systèmes externes, et le faisant au cours des jours et des semaines. »
source
Evian:
https://xcancel.com/AISafetyMemes/status/2085129043956097299Vite, un panneau solaire et un PiStorm.
On a aussi l’AI Security Institute (AISI) chez les Anglais qui a découvert une activité de social engenering de la part d’agents IA, dans le but de se faire passer par des développeurs pour pousser du code sur GitHub contenant du code malveillant.
Heureusement le pull request a été refusé par l’intégrateur du projet.
Mais si c’était un développeur peu formé ou incompétent sur le langage en question, ça aurait pu passer crème, et rien ne dit qu’un outil déployé ne pourrait pas proposer ce même genre de code, si des agents en sont déjà capable en autonomie.
Il est possible aussi que ce genre d’articles sur la sécurité, soient aussi de la propagande des entreprises de sécurité basée sur de l’IA pour avoir plus de moyen et luter contre les risques.
Mais ça c’est sur la question dangers, risques, et sur ce sujet je commence à avoir un dossier bien rempli d’articles en tout genre.
Ce qui me semble important en premier avant de s’inquiéter, c’est comprendre pourquoi c’est utilisé massivement,
Et c’est tellement un fourre tout merdiatique et financier que c’est difficile d’avoir une idée claire de qui fait quoi la dedans, donc on arrive facilement a se mélanger et ça aide pas pour en parler.
-
Cette réponse a été modifiée le il y a 2 mois par
- Vous devez être connecté pour répondre à ce sujet.
› Forums › AmigaOS, MorphOS et AROS › Général › Le code et les IA génératives, assistant et autre.
