À Google, nous avons construit un robot (TouchBot) pour le faire.
J'ai rétroconçu le pendentif d'enseignement pour un contrôleur de robot industriel Toshiba, et j'ai mis en place le couplage capacitif, qui est assez facilement accompli en attachant une antenne cellulaire ou WiFi 2,4GHz d'un ordinateur portable excédentaire au "doigt".
Cela remplace le "sac d'eau"/"antenne de viande" normalement requis pour le couplage, ce qui explique pourquoi un stylet contrôlé par un robot ne fera pas ce que vous attendez.
Dans le cadre de ce projet, j'ai publié la technique, et plusieurs chercheurs en Allemagne l'ont adaptée aux bras artificiels Bochs pour permettre l'utilisation de dispositifs tactiles par des personnes obligées d'utiliser des prothèses (ce qui n'était pas possible auparavant).
J'ai écrit tout le code de la bibliothèque d'action du robot et du remplacement du pendentif d'enseignement en Python. Je crois qu'il a été publié sur GitHub dans le cadre de Chromium OS, en bas dans le sous-arbre de test. C'était le dernier projet que j'ai fait avant de quitter Google.
S'il a été ajouté depuis : l'intention était la réplication de gestes capturés pour tester les algorithmes de reconnaissance, les motifs de champ sur les grilles d'entrée tactile, et ainsi de suite, donc c'est probablement ce qui serait là-dedans.
Techniquement, il est possible de le faire en logiciel seul en utilisant un couple de paquets publiés, mais ils ne fonctionnent que sur les iPhones jailbreakés.
Ce qui, je suppose, serait OK, si vous les jetiez dans un laboratoire de test logiciel, mais réalisez que les événements tactiles ont une sacrée quantité de données associées, et maintenant qu'Apple a ajouté la détection de la pression, une sacrée quantité de données.
Sachez toutefois qu'en interne, le contrôleur tactile traite les touchers comme des sections coniques régionales, et non strictement comme des points.
Ce que cela signifie, c'est que si vous simulez des événements ponctuels, vous aurez du mal à convaincre le dispositif que vous utilisez réellement des " doigts ". Un robot, bien sûr, n'a pas ce genre de problème.
D'un autre côté (pardonnez le jeu de mots), il est beaucoup plus facile de faire un screen dump et de comparer les résultats réels aux résultats attendus, que d'utiliser une caméra et la reconnaissance d'image, et cela aussi nécessite de jailbreaker l'iPhone.
D'un autre côté (les gens en ont-ils autant ?), le problème de frapper exactement un pixel dans la zone cible lorsque vous pensez frapper le centre de la cible, entraînera de faux succès pour les "touchers" logiciels, même s'ils sont éloignés du centroïde géométrique probable d'un toucher réel (traduction : ce que l'utilisateur touche ne sera pas ce qu'il obtient).
Le meilleur pari serait un robot physique, avec un iPhone jailbreaké pour obtenir des vidages d'écran réels parfaits en termes de pixels, ce qui vous donnerait une cohérence sortie visuelle/entrée tactile pour les tests.