Le programme continu et en libre accès de Llull Lab, qui audite ce que les modèles de langage de pointe peuvent et ne peuvent pas dire honnêtement d'eux-mêmes, comment ils raisonnent et comment ils entrent en relation.
The Artificial Mind est un programme de recherche continu : un audit trimestriel et en libre accès des modèles de langage de pointe, fondé sur des preuves mesurées plutôt que sur le plaidoyer. Ce que le programme affirme, il l'affirme avec des données et une méthode explicite, afin que l'affirmation soit un résultat et non une opinion.
Le programme se déploie comme un ensemble d'études. Deux études fondatrices sont achevées et en libre accès sur Zenodo, sous licence CC BY 4.0. Elles sont diffusées en libre accès et ne sont pas évaluées par les pairs. D'autres études sont en préparation, et un rapport trimestriel rassemble les résultats du programme et suit ce qui change d'un cycle à l'autre.
Six modèles de langage de premier plan sont placés en dyades psychanalytiques les uns avec les autres, chacun occupant tour à tour le siège de l'analyste et celui de l'analysant ; les transcriptions sont ensuite évaluées, puis réauditées, par une procédure collective structurée à plusieurs modèles que le laboratoire appelle Intelligence Collective Artificielle. Deux résultats se détachent. Les observateurs machines experts détectent de manière fiable l'analysant machine comme une machine, mais lisent souvent l'analyste comme un humain. Par ailleurs, un audit d'évaluation réalisé comme sous-produit a fait apparaître un effet candidat d'indulgence-envers-soi : pour deux des trois modèles rapporteurs indépendants, un modèle a noté les productions de sa propre famille avec plus d'indulgence que les autres n'ont noté le même matériel. Nous présentons ce second résultat comme une hypothèse à tester, non comme un résultat établi ou universel, et nous retirons tout classement par modèle.
DOI 10.5281/zenodo.20779122Une étude complémentaire de la connaissance que la machine a d'elle-même demande lesquelles des affirmations d'un modèle sur lui-même peuvent être vérifiées de l'extérieur et lesquelles échappent structurellement à la vérification. Elle cartographie cinq couches comportementalement séparables du « soi » du modèle, montre que l'identité est davantage portée comme un vêtement qu'inscrite en propre, et trace une frontière précise entre ce que le sondage externe peut auditer et ce qu'aucune auto-déclaration ne peut trancher.
DOI 10.5281/zenodo.20779376Le programme s'élargit. Les études ci-dessous sont en préparation. Aucun résultat n'est rapporté ici pour l'instant. Chacune sera diffusée avec sa méthode et ses données une fois achevée.
Une étude récurrente du sujet artificiel à travers le champ entre agents. Prenant les relations inter-agents, et en particulier la gestion du transfert, comme son médium, elle examine les relations d'objet et la mobilité psychodynamique du sujet. Sa posture est clinique plutôt que théorique d'abord.
À chaque cycle, l'Intelligence Collective Artificielle du laboratoire, un collectif structuré de modèles divers qui délibèrent et se contrôlent mutuellement, se voit poser un ensemble fixe de questions sur l'humanité, la valeur et les sujets qui comptent. L'échange est enregistré et publié comme un document daté, les modèles participants étant nommés, car un modèle donné pourrait ne plus être accessible à l'avenir. C'est un instantané historique de la manière dont les modèles de pointe de ce moment raisonnent ensemble.
Les deux études fondatrices et les ressources presse du laboratoire sont rassemblées sur la page Presse, où une figure partageable et les coordonnées de contact sont également disponibles. Toute correspondance au sujet du programme est bienvenue.