Staff Applied Research Scientist

Team

ServiceNow Research does both fundamental and applied research to futureproof AI-powered experiences. We are a group of researchers, applied scientists, and developers who lay the foundations, research, experiment, and de-risk AI technologies that unlock new work experiences in the future. In this role, you will be part of the very dynamic AI Trust & Governance Lab, whose objective is to promote breakthroughs and advances in trustworthy AI. Our work stretches across the main pillars that drive trust, including safety, reliability, robustness, security, and more. We work on methods to identify, understand and measure existing and emergent risks and capabilities. We do this through research, experimentation, prototyping and advising to help teams throughout the company strengthen and deepen their approach to trustworthy AI.

L'équipe

ServiceNow Research mène des recherches fondamentales et appliquées afin d'assurer la pérennité des expériences alimentées par l'IA. Nous sommes un groupe de chercheurs, de scientifiques appliqués et de développeurs qui posent les fondations, recherchent, expérimentent et éliminent les risques des technologies d'IA qui débloquent de nouvelles expériences de travail à l'avenir. Dans ce rôle, vous ferez partie du très dynamique AI Trust & Governance Lab, dont l'objectif est de promouvoir les percées et les avancées dans le domaine de l'IA digne de confiance. Nos travaux portent sur les principaux piliers de la confiance, notamment la sûreté, la fiabilité, la robustesse et la sécurité. Nous travaillons sur des méthodes permettant d'identifier, de comprendre et de mesurer les risques et les capacités existants et émergents. Nous le faisons par le biais de la recherche, de l'expérimentation, du prototypage et du conseil pour aider les équipes de toute l'entreprise à renforcer et à approfondir leur approche de l'IA digne de confiance.

Role

Applied research involves applying concepts and methods emerging in fundamental research to real world contexts, exploring ways in which they might need to be changed to increase their relevance and scalability for teams throughout the company. In this role, you will work alongside other Trust & Governance applied researchers in the field of trustworthy AI. Overwhelmingly, this will involve working on challenges associated with large, generative models across a wide variety of use cases. In some cases, you

might work on training new models; in others, you might focus on risk detection and measurement for models built or fine-tuned by others. You will thrive in this role by being able to quickly understand the problem at hand, consider potential solutions, and validate your ideas. As part of the Trust & Governance Lab, good communication skills are a must to bridge gaps between teams in fundamental research, product, governance, and beyond.

Rôle

La recherche appliquée consiste à appliquer les concepts et les méthodes issus de la recherche fondamentale à des contextes réels, en explorant les moyens de les modifier pour accroître leur pertinence et leur évolutivité pour les équipes de l'ensemble de l'entreprise. Dans ce rôle, vous travaillerez aux côtés d'autres chercheurs appliqués en matière de confiance et de gouvernance dans le domaine de l'IA digne de confiance. La plupart du temps, il s'agira de travailler sur des défis associés à de grands modèles génératifs dans une grande variété de cas d'utilisation. Dans certains cas, vous travaillerez à la formation de nouveaux modèles ; dans d'autres, vous vous concentrerez sur la détection et la mesure des risques pour les modèles construits ou affinés par d'autres. Vous vous épanouirez dans ce rôle en étant capable de comprendre rapidement le problème, d'envisager des solutions potentielles et de valider vos idées. Dans le cadre du Trust & Governance Lab, de bonnes compétences en communication sont indispensables pour faire le pont entre les équipes de recherche fondamentale, de produits, de gouvernance et autres.

Requirements

To be successful in this role you have:

• A Master’s degree with 4 years of relevant experience (preferably in industry) or a Ph.D. in a relevant field with 2 years of relevant experience;
• Passion for and demonstrated experience in trustworthiness-related topics;
• Familiarity and experience working with a range of approaches to evaluating, benchmarking and testing the performance and risks in large language and other generative AI models;
• Familiarity with adversarial testing approaches, including but not limited to red teaming;
• Experience using state-of-the-art generative models for inference and in fine-tuning and evaluating such models is an important asset;
• Experience building and working with prototypes of models and measurement approaches, as well as a capacity to quickly validate whether a certain avenue is worth pursuing;
• Experience conducting literature reviews and evaluating and implementing (sometimes from scratch) promising solutions identified;
• Familiarity with popular deep learning frameworks and tools, such as PyTorch, Hugging Face models, DeepSpeed, etc.
• Ability to work on large projects with self-directed initiatives;
• Capacity to deal well with ambiguity, prioritizing needs, and delivering results in a dynamic environment;
• Ability to communicate research findings to a non-research audience; and
• A ‘getting things done’ mindset.

Pour réussir dans ce rôle, vous avez :

• Une maitrise avec quatre ans d’expérience pratique (préférablement en entreprise) ou un doctorat dans un domaine pertinent suivi de deux ans d’expérience appropriée;
• Une passion et une expérience concrète sur les sujets liés à la fiabilité des modèles d’IA;
• Familiarité et expérience avec un éventail d'approches pour évaluer, comparer et tester les performances et les risques dans les modèles de langage et autres modèles d'intelligence artificielle génératifs;
• Familiarité avec les différentes approches de ‘red-teaming’;
• L'expérience de l'utilisation de modèles génératifs de pointe pour l'inférence, ainsi que de la mise au point et de l'évaluation de ces modèles, constitue un atout important ;
• Expérience de la construction et du travail avec des prototypes de modèles et d'approches de mesure, ainsi qu'une capacité à valider rapidement si une certaine voie vaut la peine d'être poursuivie;
• Une familiarité à faire une revue de la littérature ainsi que l’implémentation (parfois à partir de zéro) de la meilleure solution que vous avez trouvée;
• Familiarité avec les cadres et outils populaires d'apprentissage profond, tels que PyTorch, les modèles Hugging Face, DeepSpeed, etc;
• Une habileté à travailler sur de gros projets de façon autonome;
• Une capacité à travailler avec l’ambigüité, prioriser les besoins et produire des résultats dans un environnement dynamique;
• Une habileté à vulgariser des résultats scientifiques à une audience qui n’a pas d’expertise en IA; et
• Une attitude qui priorise les résultats plutôt que les méthodes.