Volume 37, Number 3, 2015 Guest-edited by François Vachon

FR:

Cette recherche traite des dispositifs d’orientation scolaire et professionnelle (DOSP) voués au soutien et à l’accompagnement de jeunes inégalement dotés dans leur parcours d’orientation au moment de la transition vers l’enseignement supérieur. Des innovations méthodologiques étaient requises afin d’étudier cette question dans la perspective théorique de justice sociale d’Amartya Sen (1992), dont l’élaboration et la vérification des qualités scientifiques d’outils de récolte de données dans une étude comparative internationale. Cette étude multicas se fonde sur cinq pays : le Burkina Faso, le Canada, la France, la Turquie et la Suisse. Dans chacun des cas, des données qualitatives ont été récoltées sur le système éducatif, sur l’organisation des services et sur les prestations de services d’orientation. Vingt-six entretiens semi-structurés ont été menés auprès de responsables de service, de conseillères et conseillers d’orientation-psychologues ainsi que de jeunes en transition vers l’enseignement supérieur. La validité interne ou crédibilité des outils a été assurée tout au long de l’élaboration et des révisions du protocole de recherche, empruntant les procédés propres à l’étude de cas. La vérification de la validité de construit et de la validité externe ou transférabilité, effectuée à partir des données de la préenquête, a mis en lumière la valeur heuristique des outils. Au final, le cadre comparatif des DOSP, présenté en annexe, compte parmi les toutes premières formes d’opérationnalisation du cadre théorique de Sen au champ de l’orientation.

EN:

This research is focused on educational and vocational guidance measures designed to support and assist young people at a disadvantage in their orientation path when transitioning to higher education. Studying this issue through the lens of Sen’s theory of social justice (1992) called for some innovative methodological approaches, including developing data collection tools and validating their scientific quality in an international comparative study (Burkina Faso, Canada, France, Switzerland and Turkey). In each study, qualitative data on the education system and the organization and delivery of guidance services were collected. In all, 26 semi-structured interviews were conducted with guidance service managers, school counsellors, as well as a number of young people transitioning to higher education. The internal validity (or credibility) of the tools was ensured throughout the development and revision of the research protocol by following each case study’s methodology. Testing the validity of the construct as well as its external validity (or transferability), starting with pre-survey data collection, has highlighted the heuristic value of the tools. Lastly, the comparative framework of educational and vocational guidance measures (included as an Appendix) is one of the first examples of operationalizing Sen’s theory in this field.

PT:

Este artigo aborda os dispositivos de orientação escolar e profissional (DOEP) dedicados ao apoio e acompanhamento de jovens desigualmente dotados no seu percurso de orientação no momento da transição para o ensino superior. Foram necessárias inovações metodológicas para estudar esta questão na perspetiva teórica da justiça social Amartya Sen (1992), incluindo a elaboração e a verificação das qualidades científicas de instrumentos de recolha de dados num estudo comparativo internacional. Este estudo multicaso baseia-se em cinco países: Burkina Faso, Canadá, França, Turquia e Suíça. Em cada caso, os dados qualitativos foram recolhidos no sistema de ensino, na organização de serviços e na prestação de serviços de orientação. Foram realizadas vinte e seis entrevistas semiestruturadas a responsáveis de serviços, conselheiros e conselheiros de orientação-psicólogos, bem como a jovens em transição para o ensino superior. A validade interna ou credibilidade dos instrumentos foi assegurada ao longo da elaboração e da revisão do protocolo da investigação, aplicando-se os procedimentos específicos do estudo de caso. A verificação da validade do construto e a validade externa ou transferibilidade, feita com os dados do pré-questionário, mostrou o valor heurístico dos instrumentos. Finalmente, o quadro comparativo do DOEP, apresentado no apêndice, é uma das primeiras formas de operacionalização do quadro teórico de Sen no campo da orientação.

EN:

Testing agencies require large numbers of high-quality items that are produced in a cost-effective and timely manner. Increasingly, these agencies also require items in different languages. In this paper we present a methodology for multilingual automatic item generation (AIG). AIG is the process of using item models to generate test items with the aid of computer technology. We describe a three-step AIG approach where, first, test development specialists identify the content that will be used for item generation. Next, the specialists create item models to specify the content in the assessment task that must be manipulated to produce new items. Finally, elements in the item model are manipulated with computer algorithms to produce new items. Language is added in the item model step to permit multilingual AIG. We illustrate our method by generating 360 English and 360 French medical education items. The importance of item banking in multilingual test development is also discussed.

FR:

Les agences d’évaluation ont besoin d’un grand nombre d’items de première qualité produits de façon rapide et économique, et de plus en plus souvent dans différentes langues. Dans cet article, une méthodologie de génération automatique d’items (AIG) multilingues est proposée. L’AIG correspond au processus d’utilisation de modèles d’items dans le but de générer les items d’un test à l’aide de la technologie informatique. Une approche AIG en trois étapes est décrite, dans laquelle les spécialistes en développement de test doivent d’abord identifier le contenu qui sera utilisé pour générer les items. Par la suite, ces spécialistes créent des modèles d’items afin de préciser le contenu de la tâche d’évaluation qui doit être manipulée pour produire de nouveaux items. Enfin, les éléments du modèle d’items sont manipulés à l’aide d’algorithmes informatiques pour générer de nouveaux items. L’ajout des langues désirées à l’étape de création des modèles d’items permet d’effectuer une génération automatique d’items multilingues. Cette méthode est illustrée en générant 360 items en français et 360 items en anglais dans le domaine de la formation médicale. L’importance de créer des banques d’items lors du développement de tests multilingues est également discutée.

PT:

As agências de avaliação precisam de um grande número de itens de primeira qualidade produzidos de forma rápida e económica, e, cada vez mais, em diferentes línguas. Neste artigo, é proposta uma metodologia para a geração automática de itens (AIG) multilingues. A AIG é o processo de utilização de modelos de itens com a finalidade de gerar itens de um teste com o apoio da tecnologia informática. Descreve-se uma abordagem AIG em três etapas, na qual os especialistas em desenvolvimento de testes devem identificar, desde logo, o conteúdo que será utilizado para gerar os itens. De seguida, estes especialistas criam os modelos de itens para especificar o conteúdo da tarefa de avaliação que deve ser manipulado para produzir novos itens. Finalmente, os elementos do modelo de itens são manipulados usando algoritmos informáticos para gerar novos itens. Adicionando as línguas desejadas à etapa de criação de modelos de itens é possível efetuar a geração automática de itens multilingues. Este método é ilustrado através da geração de 360 itens em francês e 360 itens em inglês no campo da formação médica. Discute-se também a importância da criação de bancos de itens no desenvolvimento de testes multilingues.

EN:

Parameter estimation and model fitting underlie many statistical procedures. Whether the objective is to examine central tendency or the slope of a regression line, an estimation method must be used. Likelihood is the basis for parameter estimation, for determining the best relative fit among several statistical models, and for significance testing. In this review, the concept of Likelihood is explained and applied computation examples are given. The examples provided serve to illustrate how likelihood is relevant, and related to, the most frequently applied test statistics (Student’s t-test, ANOVA). Additional examples illustrate the computation of Likelihood(s) using common population model assumptions (e.g., normality) and alternative assumptions for cases where data are non-normal. To further describe the interconnectedness of Likelihood and the Likelihood Ratio with modern test statistics, the relationship between Likelihood, Least Squares Modeling, and Bayesian Inference are discussed. Finally, the advantages and limitations of Likelihood methods are listed, alternatives to Likelihood are briefly reviewed, and R code to compute each of the examples in the text is provided.

FR:

L’estimation de paramètres et l’ajustement de modèles est au coeur de toutes procédures statistiques. Que l’objectif soit d’examiner la tendance centrale ou une pente de régression, une méthode d’estimation est nécessaire. La fonction de vraisemblance est la pierre angulaire sur laquelle repose l’estimation de paramètres, les tests d’hypothèses et la comparaison de modèles. Cet article présente le concept de vraisemblance et les tests statistiques communément utilisés (tests t, ANOVA). Certains exemples présentent le calcul de la fonction de vraisemblance lorsque le postulat de normalité est présent et lorsqu’il n’est pas adéquat. Les liens entre vraisemblance, rapport de vraisemblance, méthodes des moindres carrés et bayésienne sont discutés. Finalement, les forces et les faiblesses des méthodes basées sur la vraisemblance sont énumérées et des méthodes alternatives sont mentionnées. Des instructions en R sont données pour tester les exemples du texte.

PT:

A estimativa de parâmetros e o ajustamento de modelos está no cerne de todos os procedimentos estatísticos. Se o objetivo é analisar a tendência central ou uma inclinação de regressão, é necessário um método de estimativa. A função de verossimilhança é a pedra angular sobre a qual assentam a estimativa de parâmetros, os testes de hipóteses e a comparação de modelos. Este artigo introduz o conceito de verosimilhança e os testes estatísticos vulgarmente utilizados (testes t, ANOVA). Alguns exemplos mostram o cálculo da função de verossimilhança quando o pressuposto de normalidade está presente e sempre que não é adequado. Discutem-se as ligações entre a verosimilhança, razão de verossimilhança, os métodos dos mínimos quadrados e o bayesianismo. Por fim, são enumeradas as forças e as fraquezas dos métodos baseados na verosimilhança e são mencionados os métodos alternativos. As instruções em R são dadas para testar os exemplos do texto.

EN:

Emanating from a family of statistical techniques used for the analysis of multivariate data to measure latent variables and their interrelationships, structural equation modeling (SEM) is briefly introduced. The basic tenets of SEM, the principles of model creation, identification, estimation and evaluation are outlined and a four-step procedure for applying SEM to test an evidence-based model of eating disorders (transdiagnostic cognitive-behavioural theory; Fairburn, Cooper, & Shafran, 2003) using previously obtained data on eating psychopathology within an athletic population (Shanmugam, Jowett, & Meyer, 2011) is presented and summarized. Central issues and processes underpinning SEM are discussed and it is concluded that SEM offers promise for testing complex, integrated theoretical models and advances of research within the social sciences, with the caveat that it should be restricted to situations wherein there is a pre-existing substantial base of empirical evidence and a strong conceptual understanding of the theory undergirding the research question.

FR:

Cet article propose une brève introduction à la modélisation par équations structurelles (MES), une technique statistique d’analyse de données multivariées qui vise à mesurer des variables latentes et leurs interrelations. Les préceptes de la MES et les principes de création, d’identification, d’estimation et d’évaluation de modèle y sont décrits. Son utilisation est illustrée par la présentation d’une procédure d’application de la MES en quatre étapes qui teste un modèle fondé sur les données probantes des troubles de l’alimentation (théorie cognitive-comportementale transdiagnostique; Fairburn, Cooper, & Shafran, 2003) en utilisant les données obtenues précédemment sur les troubles alimentaires au sein d’une population sportive (Shanmugam, Jowett, & Meyer, 2011). Des questions centrales et les processus qui sous-tendent la MES sont discutés, et il est conclu que la MES est une technique très prometteuse pour tester les modèles théoriques intégrés complexes et les avancées de la recherche en sciences sociales, tant que son utilisation est limitée aux situations où il existe une importante base de données probantes ainsi qu’une solide compréhension conceptuelle de la théorie sur laquelle repose la question de recherche.

PT:

Proveniente de uma família de técnicas estatísticas utilizadas na análise de dados multivariados para medir variáveis latentes e suas inter-relações, apresenta-se sumariamente a modelagem de equações estruturais (MES). Neste sentido, são descritos os princípios básicos da MES, os princípios da criação, identificação, estimativa e avaliação de modelos e são apresentadas e resumidas as quatro etapas de um procedimento para a aplicação da MES para testar um modelo baseado em evidências de transtornos alimentares (teoria cognitivo-comportamental transdiagnóstica; Fairburn, Cooper, & Shafran, 2003), utilizando os dados anteriormente obtidos em transtornos alimentares dentro de uma população de atletas (Shanmugam, Jowett, & Meyer, 2011). As questões centrais e os processos subjacentes à MES são discutidos, concluindo-se que a aplicação da MES é bastante promissora para testar modelos teóricos integrados e complexos e para avanços da investigação no âmbito das ciências sociais, com a ressalva de que deve restringir-se a situações em que pré-exista uma base substancial de evidências empíricas e uma forte compreensão conceptual da teoria que sustenta a questão de investigação.

FR:

Depuis Alfred Binet, qui, sans parler de validité, présentait toutefois une conception pragmatique, utilitaire et empirique de la pertinence d’un test, le concept de validité est né et a beaucoup évolué. À partir d’une perspective historique du concept de validité psychométrique, cet article vise à en explorer de manière critique quelques facettes afin de dégager les différentes orientations définitionnelles, sans perdre de vue les démarches d’opérationnalisation qu’on leur associe.

EN:

Since Alfred Binet, who, without mentioning validity explicitly, presented a pragmatic, utilitarian and empirical vision of the relevance of tests, the concept of validity of psychological tests has greatly evolved. In a historical perspective on the concept of psychometric validity, this paper aims to explore various facets in order to identify their wide definitional orientations, without ignoring the operational procedures on which they are based.

PT:

Depois de Alfred Binet, o qual, sem falar da validade, apresentou uma conceção pragmática, utilitária e emprírica da pertinência de um teste, o conceito de validade nasceu e evoluiu significativamente. A partir de uma perspetiva histórica do conceito de validade psicométrica, este artigo visa explorar criticamente várias facetas para identificar as diferentes orientações definicionais, sem perder de vista os procedimentos de operacionalização nos quais se baseiam.