META-ANALYSIS OF GENERALISATION OF RELIABILITY: ELABORATION OF A GUIDE FOR ITS CORRECT REALISATION AND REPORTING (Q3152197): Difference between revisions
Jump to navigation
Jump to search
(Created claim: summary (P836): LES TESTS PSYCHOLOGIQUES SONT COURAMMENT UTILISÉS DANS LA RECHERCHE ET LA PRATIQUE PROFESSIONNELLE EN PSYCHOLOGIE. IL EST COURANT POUR LES CHERCHEURS ET LES PROFESSIONNELS DE TROUVER LA MAUVAISE CROYANCE QUE LA FIABILITÉ EST UNE PROPRIÉTÉ INHÉRENTE AU TEST. TOUTEFOIS, LA FIABILITÉ VARIE D’UNE APPLICATION À L’AUTRE D’UN TEST, CAR IL S’AGIT D’UNE PROPRIÉTÉ DES NOTES OBTENUES DANS UNE APPLICATION DONNÉE. AFIN D’ÉTUDIER LA FIABILITÉ DES RÉSULTATS DE...) |
(Changed label, description and/or aliases in de, and other parts: Adding German translations) |
||||||||||||||
| label / de | label / de | ||||||||||||||
METAANALYSE DER VERALLGEMEINERUNG DER ZUVERLÄSSIGKEIT: AUSARBEITUNG EINES LEITFADENS FÜR DIE KORREKTE UMSETZUNG UND BERICHTERSTATTUNG | |||||||||||||||
| Property / summary | |||||||||||||||
PSYCHOLOGISCHE TESTS WERDEN ROUTINEMÄSSIG IN DER FORSCHUNG UND DER BERUFLICHEN PRAXIS IN DER PSYCHOLOGIE EINGESETZT. ES IST FÜR FORSCHER UND FACHLEUTE ÜBLICH, DIE FALSCHE ÜBERZEUGUNG ZU FINDEN, DASS ZUVERLÄSSIGKEIT EINE INHÄRENTE EIGENSCHAFT DES TESTS IST. DIE ZUVERLÄSSIGKEIT VARIIERT JEDOCH VON EINER ANWENDUNG ZU EINEM ANDEREN TEST, DA ES SICH UM EINE EIGENSCHAFT DER IN EINER BESTIMMTEN ANWENDUNG ERZIELTEN TESTERGEBNISSE HANDELT. UM DIE ZUVERLÄSSIGKEIT DER PRÜFERGEBNISSE ZU UNTERSUCHEN, WIRD EINE VERALLGEMEINERUNG DER ZUVERLÄSSIGKEITSSTUDIEN (GF) DURCHGEFÜHRT. EINE GF-STUDIE IST EINE SPEZIELLE ART DER METAANALYSE, BEI DER DIE ZUVERLÄSSIGKEITSKOEFFIZIENTEN, DIE IN EMPIRISCHEN STUDIEN GEMELDET WURDEN, DIE EINEN BESTIMMTEN TEST VERWENDET HABEN, STATISTISCH INTEGRIERT SIND. SIE SOLL PRÜFEN, OB DIE ZUVERLÄSSIGKEIT DER PRÜFERGEBNISSE IN IHREN VERSCHIEDENEN ANWENDUNGEN VERALLGEMEINERT IST ODER OB SIE HETEROGEN IST, UND IN DIESEM FALL MERKMALE DER STUDIEN ZU FINDEN, DIE ZUMINDEST EINEN TEIL DIESER HETEROGENITÄT ERKLÄREN. ES LIEGEN HINWEISE AUF SCHWERWIEGENDE MÄNGEL BEI DER DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN VOR. ZU DIESEN MÄNGELN GEHÖRT DER SCHLECHTE BERICHT ÜBER DIE AUSWAHLKRITERIEN DER STUDIEN UND DEN PROZESS DER SUCHE NACH DEN STUDIEN. ES WURDEN AUCH MÄNGEL BEIM EXTRAHIEREN DER DATEN AUS DEN STUDIEN, BEI DER NICHTNUTZUNG VON TRANSFORMATIONEN VON ZUVERLÄSSIGKEITSKOEFFIZIENTEN ZUR NORMALISIERUNG IHRER VERTEILUNG UND ZUR STABILISIERUNG IHRER VARIANZEN SOWIE BEI DER SPEZIFIKATION DES IN DEN METAANALYTISCHEN BERECHNUNGEN ANGENOMMENEN STATISTISCHEN MODELLS FESTGESTELLT. ANGESICHTS ALL DIESER BELEGE BESTEHT DER ZWECK DIESES PROJEKTS DARIN, EINEN LEITFADEN FÜR DIE KORREKTE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN IN DER GLEICHEN LINIE WIE DIE PRISMENFÜHRER ODER AMSTAR FÜR ANDERE ARTEN VON METAANALYSEN ZU ENTWICKELN. UM DIESES ZIEL ZU ERREICHEN, WIRD EINE SYSTEMATISCHE ÜBERPRÜFUNG DER BISHERIGEN STUDIEN VON GF DURCHGEFÜHRT UND DIE METHODISCHE QUALITÄT UND DER BERICHT DARÜBER BEWERTET. DURCH INFORMELLE RECHERCHEN KONNTE UNSER TEAM BIS HEUTE 115 GF-STUDIEN LOKALISIEREN. IN DIESER SYSTEMISCHEN ÜBERPRÜFUNG WERDEN WIR DIE PRISMEN- UND AMSTAR-LEITFÄDEN ANWENDEN UND EINE BEWERTUNG DES GRADES DURCHFÜHREN, IN DEM DIESE LEITFÄDEN GEEIGNET SIND, DIE QUALITÄT DER GF-STUDIEN ZU BEWERTEN. UNSERE AUSGANGSHYPOTHESE IST, DASS DAS PRISMA UND AMSTAR GUIDES ZU DIESEM ZWECK NICHT GEEIGNET SIND. ES WERDEN AUCH MINDESTENS DREI GF-STUDIEN ZU PSYCHOLOGISCHEN TESTS DURCHGEFÜHRT, UM ÜBER DATENBANKEN VON TESTS VERFÜGEN ZU KÖNNEN, DIE ÜBLICHERWEISE IN DER FORSCHUNG UND IN DER PSYCHOLOGISCHEN PRAXIS VERWENDET WERDEN. MIT DEN DATENBANKEN DIESER GF-STUDIEN, ZUSAMMEN MIT ANDEREN DATENBANKEN ANDERER GF-STUDIEN UNSERES FORSCHUNGSTEAMS, WERDEN WIR NEUE METAANALYTISCHE BERECHNUNGEN DURCHFÜHREN, UM ZU PRÜFEN, INWIEWEIT DIE ERGEBNISSE DER GF-STUDIEN EMPFINDLICH AUF VARIATIONEN DES ANGEWANDTEN STATISTISCHEN MODELLS, DIE VERWENDUNG VON TRANSFORMATIONEN VON ZUVERLÄSSIGKEITSKOEFFIZIENTEN UND DEN GEWICHTSFAKTOR REAGIEREN. ALS ERGEBNIS DER DURCHFÜHRUNG ALL DIESER ANALYSEN WIRD DAS ENDPRODUKT DES PROJEKTS DIE AUSARBEITUNG EINES LEITFADENS FÜR DIE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN SEIN, DIE WIR MIT DEM ACRONIMO REGEMA ALS „STANDARDS FÜR DIE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON VERLÄSSLICHKEITSVERALLGEMEINERUNGSANALYSEN“ BEZEICHNET HABEN. (German) | |||||||||||||||
| Property / summary: PSYCHOLOGISCHE TESTS WERDEN ROUTINEMÄSSIG IN DER FORSCHUNG UND DER BERUFLICHEN PRAXIS IN DER PSYCHOLOGIE EINGESETZT. ES IST FÜR FORSCHER UND FACHLEUTE ÜBLICH, DIE FALSCHE ÜBERZEUGUNG ZU FINDEN, DASS ZUVERLÄSSIGKEIT EINE INHÄRENTE EIGENSCHAFT DES TESTS IST. DIE ZUVERLÄSSIGKEIT VARIIERT JEDOCH VON EINER ANWENDUNG ZU EINEM ANDEREN TEST, DA ES SICH UM EINE EIGENSCHAFT DER IN EINER BESTIMMTEN ANWENDUNG ERZIELTEN TESTERGEBNISSE HANDELT. UM DIE ZUVERLÄSSIGKEIT DER PRÜFERGEBNISSE ZU UNTERSUCHEN, WIRD EINE VERALLGEMEINERUNG DER ZUVERLÄSSIGKEITSSTUDIEN (GF) DURCHGEFÜHRT. EINE GF-STUDIE IST EINE SPEZIELLE ART DER METAANALYSE, BEI DER DIE ZUVERLÄSSIGKEITSKOEFFIZIENTEN, DIE IN EMPIRISCHEN STUDIEN GEMELDET WURDEN, DIE EINEN BESTIMMTEN TEST VERWENDET HABEN, STATISTISCH INTEGRIERT SIND. SIE SOLL PRÜFEN, OB DIE ZUVERLÄSSIGKEIT DER PRÜFERGEBNISSE IN IHREN VERSCHIEDENEN ANWENDUNGEN VERALLGEMEINERT IST ODER OB SIE HETEROGEN IST, UND IN DIESEM FALL MERKMALE DER STUDIEN ZU FINDEN, DIE ZUMINDEST EINEN TEIL DIESER HETEROGENITÄT ERKLÄREN. ES LIEGEN HINWEISE AUF SCHWERWIEGENDE MÄNGEL BEI DER DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN VOR. ZU DIESEN MÄNGELN GEHÖRT DER SCHLECHTE BERICHT ÜBER DIE AUSWAHLKRITERIEN DER STUDIEN UND DEN PROZESS DER SUCHE NACH DEN STUDIEN. ES WURDEN AUCH MÄNGEL BEIM EXTRAHIEREN DER DATEN AUS DEN STUDIEN, BEI DER NICHTNUTZUNG VON TRANSFORMATIONEN VON ZUVERLÄSSIGKEITSKOEFFIZIENTEN ZUR NORMALISIERUNG IHRER VERTEILUNG UND ZUR STABILISIERUNG IHRER VARIANZEN SOWIE BEI DER SPEZIFIKATION DES IN DEN METAANALYTISCHEN BERECHNUNGEN ANGENOMMENEN STATISTISCHEN MODELLS FESTGESTELLT. ANGESICHTS ALL DIESER BELEGE BESTEHT DER ZWECK DIESES PROJEKTS DARIN, EINEN LEITFADEN FÜR DIE KORREKTE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN IN DER GLEICHEN LINIE WIE DIE PRISMENFÜHRER ODER AMSTAR FÜR ANDERE ARTEN VON METAANALYSEN ZU ENTWICKELN. UM DIESES ZIEL ZU ERREICHEN, WIRD EINE SYSTEMATISCHE ÜBERPRÜFUNG DER BISHERIGEN STUDIEN VON GF DURCHGEFÜHRT UND DIE METHODISCHE QUALITÄT UND DER BERICHT DARÜBER BEWERTET. DURCH INFORMELLE RECHERCHEN KONNTE UNSER TEAM BIS HEUTE 115 GF-STUDIEN LOKALISIEREN. IN DIESER SYSTEMISCHEN ÜBERPRÜFUNG WERDEN WIR DIE PRISMEN- UND AMSTAR-LEITFÄDEN ANWENDEN UND EINE BEWERTUNG DES GRADES DURCHFÜHREN, IN DEM DIESE LEITFÄDEN GEEIGNET SIND, DIE QUALITÄT DER GF-STUDIEN ZU BEWERTEN. UNSERE AUSGANGSHYPOTHESE IST, DASS DAS PRISMA UND AMSTAR GUIDES ZU DIESEM ZWECK NICHT GEEIGNET SIND. ES WERDEN AUCH MINDESTENS DREI GF-STUDIEN ZU PSYCHOLOGISCHEN TESTS DURCHGEFÜHRT, UM ÜBER DATENBANKEN VON TESTS VERFÜGEN ZU KÖNNEN, DIE ÜBLICHERWEISE IN DER FORSCHUNG UND IN DER PSYCHOLOGISCHEN PRAXIS VERWENDET WERDEN. MIT DEN DATENBANKEN DIESER GF-STUDIEN, ZUSAMMEN MIT ANDEREN DATENBANKEN ANDERER GF-STUDIEN UNSERES FORSCHUNGSTEAMS, WERDEN WIR NEUE METAANALYTISCHE BERECHNUNGEN DURCHFÜHREN, UM ZU PRÜFEN, INWIEWEIT DIE ERGEBNISSE DER GF-STUDIEN EMPFINDLICH AUF VARIATIONEN DES ANGEWANDTEN STATISTISCHEN MODELLS, DIE VERWENDUNG VON TRANSFORMATIONEN VON ZUVERLÄSSIGKEITSKOEFFIZIENTEN UND DEN GEWICHTSFAKTOR REAGIEREN. ALS ERGEBNIS DER DURCHFÜHRUNG ALL DIESER ANALYSEN WIRD DAS ENDPRODUKT DES PROJEKTS DIE AUSARBEITUNG EINES LEITFADENS FÜR DIE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN SEIN, DIE WIR MIT DEM ACRONIMO REGEMA ALS „STANDARDS FÜR DIE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON VERLÄSSLICHKEITSVERALLGEMEINERUNGSANALYSEN“ BEZEICHNET HABEN. (German) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / summary: PSYCHOLOGISCHE TESTS WERDEN ROUTINEMÄSSIG IN DER FORSCHUNG UND DER BERUFLICHEN PRAXIS IN DER PSYCHOLOGIE EINGESETZT. ES IST FÜR FORSCHER UND FACHLEUTE ÜBLICH, DIE FALSCHE ÜBERZEUGUNG ZU FINDEN, DASS ZUVERLÄSSIGKEIT EINE INHÄRENTE EIGENSCHAFT DES TESTS IST. DIE ZUVERLÄSSIGKEIT VARIIERT JEDOCH VON EINER ANWENDUNG ZU EINEM ANDEREN TEST, DA ES SICH UM EINE EIGENSCHAFT DER IN EINER BESTIMMTEN ANWENDUNG ERZIELTEN TESTERGEBNISSE HANDELT. UM DIE ZUVERLÄSSIGKEIT DER PRÜFERGEBNISSE ZU UNTERSUCHEN, WIRD EINE VERALLGEMEINERUNG DER ZUVERLÄSSIGKEITSSTUDIEN (GF) DURCHGEFÜHRT. EINE GF-STUDIE IST EINE SPEZIELLE ART DER METAANALYSE, BEI DER DIE ZUVERLÄSSIGKEITSKOEFFIZIENTEN, DIE IN EMPIRISCHEN STUDIEN GEMELDET WURDEN, DIE EINEN BESTIMMTEN TEST VERWENDET HABEN, STATISTISCH INTEGRIERT SIND. SIE SOLL PRÜFEN, OB DIE ZUVERLÄSSIGKEIT DER PRÜFERGEBNISSE IN IHREN VERSCHIEDENEN ANWENDUNGEN VERALLGEMEINERT IST ODER OB SIE HETEROGEN IST, UND IN DIESEM FALL MERKMALE DER STUDIEN ZU FINDEN, DIE ZUMINDEST EINEN TEIL DIESER HETEROGENITÄT ERKLÄREN. ES LIEGEN HINWEISE AUF SCHWERWIEGENDE MÄNGEL BEI DER DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN VOR. ZU DIESEN MÄNGELN GEHÖRT DER SCHLECHTE BERICHT ÜBER DIE AUSWAHLKRITERIEN DER STUDIEN UND DEN PROZESS DER SUCHE NACH DEN STUDIEN. ES WURDEN AUCH MÄNGEL BEIM EXTRAHIEREN DER DATEN AUS DEN STUDIEN, BEI DER NICHTNUTZUNG VON TRANSFORMATIONEN VON ZUVERLÄSSIGKEITSKOEFFIZIENTEN ZUR NORMALISIERUNG IHRER VERTEILUNG UND ZUR STABILISIERUNG IHRER VARIANZEN SOWIE BEI DER SPEZIFIKATION DES IN DEN METAANALYTISCHEN BERECHNUNGEN ANGENOMMENEN STATISTISCHEN MODELLS FESTGESTELLT. ANGESICHTS ALL DIESER BELEGE BESTEHT DER ZWECK DIESES PROJEKTS DARIN, EINEN LEITFADEN FÜR DIE KORREKTE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN IN DER GLEICHEN LINIE WIE DIE PRISMENFÜHRER ODER AMSTAR FÜR ANDERE ARTEN VON METAANALYSEN ZU ENTWICKELN. UM DIESES ZIEL ZU ERREICHEN, WIRD EINE SYSTEMATISCHE ÜBERPRÜFUNG DER BISHERIGEN STUDIEN VON GF DURCHGEFÜHRT UND DIE METHODISCHE QUALITÄT UND DER BERICHT DARÜBER BEWERTET. DURCH INFORMELLE RECHERCHEN KONNTE UNSER TEAM BIS HEUTE 115 GF-STUDIEN LOKALISIEREN. IN DIESER SYSTEMISCHEN ÜBERPRÜFUNG WERDEN WIR DIE PRISMEN- UND AMSTAR-LEITFÄDEN ANWENDEN UND EINE BEWERTUNG DES GRADES DURCHFÜHREN, IN DEM DIESE LEITFÄDEN GEEIGNET SIND, DIE QUALITÄT DER GF-STUDIEN ZU BEWERTEN. UNSERE AUSGANGSHYPOTHESE IST, DASS DAS PRISMA UND AMSTAR GUIDES ZU DIESEM ZWECK NICHT GEEIGNET SIND. ES WERDEN AUCH MINDESTENS DREI GF-STUDIEN ZU PSYCHOLOGISCHEN TESTS DURCHGEFÜHRT, UM ÜBER DATENBANKEN VON TESTS VERFÜGEN ZU KÖNNEN, DIE ÜBLICHERWEISE IN DER FORSCHUNG UND IN DER PSYCHOLOGISCHEN PRAXIS VERWENDET WERDEN. MIT DEN DATENBANKEN DIESER GF-STUDIEN, ZUSAMMEN MIT ANDEREN DATENBANKEN ANDERER GF-STUDIEN UNSERES FORSCHUNGSTEAMS, WERDEN WIR NEUE METAANALYTISCHE BERECHNUNGEN DURCHFÜHREN, UM ZU PRÜFEN, INWIEWEIT DIE ERGEBNISSE DER GF-STUDIEN EMPFINDLICH AUF VARIATIONEN DES ANGEWANDTEN STATISTISCHEN MODELLS, DIE VERWENDUNG VON TRANSFORMATIONEN VON ZUVERLÄSSIGKEITSKOEFFIZIENTEN UND DEN GEWICHTSFAKTOR REAGIEREN. ALS ERGEBNIS DER DURCHFÜHRUNG ALL DIESER ANALYSEN WIRD DAS ENDPRODUKT DES PROJEKTS DIE AUSARBEITUNG EINES LEITFADENS FÜR DIE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN SEIN, DIE WIR MIT DEM ACRONIMO REGEMA ALS „STANDARDS FÜR DIE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON VERLÄSSLICHKEITSVERALLGEMEINERUNGSANALYSEN“ BEZEICHNET HABEN. (German) / qualifier | |||||||||||||||
point in time: 9 December 2021
| |||||||||||||||
Revision as of 08:39, 9 December 2021
Project Q3152197 in Spain
| Language | Label | Description | Also known as |
|---|---|---|---|
| English | META-ANALYSIS OF GENERALISATION OF RELIABILITY: ELABORATION OF A GUIDE FOR ITS CORRECT REALISATION AND REPORTING |
Project Q3152197 in Spain |
Statements
30,976.0 Euro
0 references
38,720.0 Euro
0 references
80.0 percent
0 references
30 December 2016
0 references
29 December 2019
0 references
UNIVERSIDAD DE MURCIA
0 references
37°59'32.57"N, 1°7'49.94"W
0 references
30030
0 references
LOS TESTS PSICOLOGICOS SON DE USO RUTINARIO EN LA INVESTIGACION Y EN LA PRACTICA PROFESIONAL EN PSICOLOGIA. ES HABITUAL ENCONTRAR ENTRE LOS INVESTIGADORES Y LOS PROFESIONALES LA CREENCIA ERRONEA DE QUE LA FIABILIDAD ES UNA PROPIEDAD INHERENTE AL TEST. SIN EMBARGO, LA FIABILIDAD VARIA DE UNA APLICACION A OTRA DE UN TEST, YA QUE ES UNA PROPIEDAD DE LAS PUNTUACIONES DEL TEST OBTENIDAS EN UNA APLICACION CONCRETA. PARA INVESTIGAR LA FIABILIDAD DE LAS PUNTUACIONES DE LOS TESTS SE LLEVAN A CABO ESTUDIOS DE GENERALIZACION DE LA FIABILIDAD (GF). UN ESTUDIO DE GF ES UN TIPO ESPECIAL DE META-ANALISIS EN EL QUE SE INTEGRAN ESTADISTICAMENTE LOS COEFICIENTES DE FIABILIDAD REPORTADOS EN LOS ESTUDIOS EMPIRICOS QUE HAN UTILIZADO UN DETERMINADO TEST. SU PROPOSITO ES COMPROBAR SI LA FIABILIDAD DE LAS PUNTUACIONES DEL TEST ES GENERALIZABLE EN SUS DIFERENTES APLICACIONES O SI ES HETEROGENEA Y, EN ESE CASO, ENCONTRAR CARACTERISTICAS DE LOS ESTUDIOS QUE EXPLIQUEN AL MENOS PARTE ESA HETEROGENEIDAD. EXISTE EVIDENCIA DE SERIAS DEFICIENCIAS EN LA REALIZACION Y REPORTE DE LOS ESTUDIOS DE GF. ENTRE TALES DEFICIENCIAS CABE SEÑALAR EL POBRE REPORTE DE LOS CRITERIOS DE SELECCION DE LOS ESTUDIOS Y DEL PROCESO DE BUSQUEDA DE LOS ESTUDIOS. TAMBIEN SE HAN OBSERVADO DEFICIENCIAS EN EL PROCESO DE EXTRACCION DE LOS DATOS DE LOS ESTUDIOS, EN LA NO UTILIZACION DE TRANSFORMACIONES DE LOS COEFICIENTES DE FIABILIDAD PARA NORMALIZAR SU DISTRIBUCION Y ESTABILIZAR SUS VARIANZAS Y EN LA ESPECIFICACION DEL MODELO ESTADISTICO ASUMIDO EN LOS CALCULOS META-ANALITICOS. ANTE TODA ESTA EVIDENCIA, EL PROPOSITO DE ESTE PROYECTO ES ELABORAR UNA GUIA PARA LA CORRECTA REALIZACION Y REPORTE DE ESTUDIOS DE GF, EN LA MISMA LINEA QUE LAS GUIAS PRISMA O AMSTAR PARA OTROS TIPOS DE META-ANALISIS. PARA ALCANZAR ESTE OBJETIVO SE REALIZARA UNA REVISION SISTEMATICA DE LOS ESTUDIOS DE GF QUE SE HAN REALIZADO HASTA LA FECHA Y SE VALORARA LA CALIDAD METODOLOGICA Y DEL REPORTE DE LOS MISMOS. MEDIANTE BUSQUEDAS INFORMALES, NUESTRO EQUIPO HA SIDO CAPAZ, HASTA LA FECHA, DE LOCALIZAR 115 ESTUDIOS DE GF. EN ESTA REVISION SISTEMATICA APLICAREMOS LAS GUIAS PRISMA Y AMSTAR Y REALIZAREMOS UNA VALORACION DEL GRADO EN QUE ESTAS GUIAS SON ADECUADAS PARA VALORAR LA CALIDAD DE LOS ESTUDIOS DE GF. NUESTRA HIPOTESIS DE PARTIDA ES QUE LAS GUIAS PRISMA Y AMSTAR NO SON APROPIADAS PARA ESTE FIN. TAMBIEN SE LLEVARAN A CABO AL MENOS TRES ESTUDIOS DE GF DE TESTS PSICOLOGICOS, CON OBJETO DE PODER DISPONER DE BASES DE DATOS DE TESTS HABITUALMENTE UTILIZADOS EN LA INVESTIGACION Y EN LA PRACTICA PSICOLOGICA. CON LAS BASES DE DATOS DE ESTOS ESTUDIOS DE GF, JUNTO CON OTRAS BASES DE DATOS DE OTROS ESTUDIOS DE GF REALIZADOS POR NUESTRO EQUIPO DE INVESTIGACION, REALIZAREMOS NUEVOS CALCULOS META-ANALITICOS PARA COMPROBAR EL GRADO EN QUE LOS RESULTADOS DE LOS ESTUDIOS DE GF SON SENSIBLES A VARIACIONES EN EL MODELO ESTADISTICO APLICADO, EL USO DE TRANSFORMACIONES DE LOS COEFICIENTES DE FIABILIDAD Y EL FACTOR DE PONDERACION. COMO RESULTADO DE LA REALIZACION DE TODOS ESTOS ANALISIS, EL PRODUCTO FINAL DEL PROYECTO SERA LA ELABORACION DE UNA GUIA PARA LA REALIZACION Y REPORTE DE ESTUDIOS DE GF QUE HEMOS CONVENIDO EN DENOMINAR ¿STANDARDS FOR PERFORMING AND REPORTING RELIABILITY GENERALIZATION META-ANALYSES¿, CON EL ACRONIMO REGEMA. (Spanish)
0 references
PSYCHOLOGICAL TESTS ARE ROUTINELY USED IN RESEARCH AND PROFESSIONAL PRACTICE IN PSYCHOLOGY. IT IS COMMON FOR RESEARCHERS AND PROFESSIONALS TO FIND THE WRONG BELIEF THAT RELIABILITY IS AN INHERENT PROPERTY OF THE TEST. HOWEVER, THE RELIABILITY VARIES FROM ONE APPLICATION TO ANOTHER OF A TEST, AS IT IS A PROPERTY OF THE TEST SCORES OBTAINED IN A PARTICULAR APPLICATION. TO INVESTIGATE THE RELIABILITY OF TEST SCORES, GENERALISATION OF RELIABILITY (GF) STUDIES ARE CARRIED OUT. A GF STUDY IS A SPECIAL TYPE OF META-ANALYSIS IN WHICH THE RELIABILITY COEFFICIENTS REPORTED IN EMPIRIC STUDIES THAT HAVE USED A CERTAIN TEST ARE STATISTICALLY INTEGRATED. ITS PURPOSE IS TO CHECK WHETHER THE RELIABILITY OF THE TEST SCORES IS GENERALIZABLE IN ITS DIFFERENT APPLICATIONS OR WHETHER IT IS HETEROGENEOUS AND, IN THAT CASE, FIND CHARACTERISTICS OF THE STUDIES THAT EXPLAIN AT LEAST PART OF THAT HETEROGENEITY. THERE IS EVIDENCE OF SERIOUS DEFICIENCIES IN THE CONDUCT AND REPORTING OF GF STUDIES. AMONG THESE SHORTCOMINGS IS THE POOR REPORT OF THE SELECTION CRITERIA OF THE STUDIES AND THE PROCESS OF SEARCHING FOR THE STUDIES. DEFICIENCIES HAVE ALSO BEEN OBSERVED IN THE PROCESS OF EXTRACTING THE DATA FROM THE STUDIES, IN THE NON-USE OF TRANSFORMATIONS OF RELIABILITY COEFFICIENTS TO NORMALISE THEIR DISTRIBUTION AND STABILISE THEIR VARIANCES AND IN THE SPECIFICATION OF THE STATISTICAL MODEL ASSUMED IN THE META-ANALYTIC CALCULATIONS. GIVEN ALL THIS EVIDENCE, THE PURPOSE OF THIS PROJECT IS TO DEVELOP A GUIDE FOR THE CORRECT CONDUCT AND REPORTING OF GF STUDIES, IN THE SAME LINE AS THE PRISM GUIDES OR AMSTAR FOR OTHER TYPES OF META-ANALYSIS. TO ACHIEVE THIS OBJECTIVE, A SYSTEMATIC REVIEW OF THE STUDIES OF GF THAT HAVE BEEN CARRIED OUT TO DATE WILL BE CARRIED OUT AND THE METHODOLOGICAL QUALITY AND THE REPORT OF THE SAME WILL BE EVALUATED. THROUGH INFORMAL SEARCHES, OUR TEAM HAS BEEN ABLE, TO DATE, TO LOCATE 115 GF STUDIES. IN THIS SYSTEMIC REVIEW WE WILL APPLY THE PRISM AND AMSTAR GUIDES AND PERFORM AN ASSESSMENT OF THE DEGREE TO WHICH THESE GUIDES ARE SUITABLE TO ASSESS THE QUALITY OF GF STUDIES. OUR STARTING HYPOTHESIS IS THAT THE PRISM AND AMSTAR GUIDES ARE NOT APPROPRIATE FOR THIS PURPOSE. AT LEAST THREE GF STUDIES OF PSYCHOLOGICAL TESTS WILL ALSO BE CARRIED OUT, IN ORDER TO BE ABLE TO HAVE DATABASES OF TESTS USUALLY USED IN RESEARCH AND PSYCHOLOGICAL PRACTICE. WITH THE DATABASES OF THESE GF STUDIES, TOGETHER WITH OTHER DATABASES OF OTHER GF STUDIES CARRIED OUT BY OUR RESEARCH TEAM, WE WILL PERFORM NEW META-ANALYTIC CALCULATIONS TO CHECK THE EXTENT TO WHICH THE RESULTS OF THE GF STUDIES ARE SENSITIVE TO VARIATIONS IN THE APPLIED STATISTICAL MODEL, THE USE OF TRANSFORMATIONS OF RELIABILITY COEFFICIENTS AND THE WEIGHT FACTOR. AS A RESULT OF THE REALISATION OF ALL THESE ANALYSES, THE FINAL PRODUCT OF THE PROJECT WILL BE THE ELABORATION OF A GUIDE FOR THE REALISATION AND REPORTING OF GF STUDIES THAT WE HAVE AGREED TO CALL “STANDARDS FOR PERFORMING AND REPORTING RELIABILITY GENERALISATION META-ANALYSES”, WITH THE ACRONIMO REGEMA. (English)
12 October 2021
0 references
LES TESTS PSYCHOLOGIQUES SONT COURAMMENT UTILISÉS DANS LA RECHERCHE ET LA PRATIQUE PROFESSIONNELLE EN PSYCHOLOGIE. IL EST COURANT POUR LES CHERCHEURS ET LES PROFESSIONNELS DE TROUVER LA MAUVAISE CROYANCE QUE LA FIABILITÉ EST UNE PROPRIÉTÉ INHÉRENTE AU TEST. TOUTEFOIS, LA FIABILITÉ VARIE D’UNE APPLICATION À L’AUTRE D’UN TEST, CAR IL S’AGIT D’UNE PROPRIÉTÉ DES NOTES OBTENUES DANS UNE APPLICATION DONNÉE. AFIN D’ÉTUDIER LA FIABILITÉ DES RÉSULTATS DES TESTS, DES ÉTUDES DE GÉNÉRALISATION DE LA FIABILITÉ (GF) SONT EFFECTUÉES. UNE ÉTUDE GF EST UN TYPE PARTICULIER DE MÉTA-ANALYSE DANS LAQUELLE LES COEFFICIENTS DE FIABILITÉ RAPPORTÉS DANS LES ÉTUDES EMPIRIQUES AYANT UTILISÉ UN CERTAIN TEST SONT STATISTIQUEMENT INTÉGRÉS. SON BUT EST DE VÉRIFIER SI LA FIABILITÉ DES NOTES D’EXAMEN EST GÉNÉRALISÉE DANS SES DIFFÉRENTES APPLICATIONS OU SI ELLE EST HÉTÉROGÈNE ET, DANS CE CAS, DE TROUVER DES CARACTÉRISTIQUES DES ÉTUDES QUI EXPLIQUENT AU MOINS UNE PARTIE DE CETTE HÉTÉROGÉNÉITÉ. IL EXISTE DES PREUVES DE GRAVES LACUNES DANS LA CONDUITE ET LA COMMUNICATION D’ÉTUDES SUR LE FG. PARMI CES LACUNES FIGURE LE MAUVAIS RAPPORT SUR LES CRITÈRES DE SÉLECTION DES ÉTUDES ET LE PROCESSUS DE RECHERCHE DES ÉTUDES. DES LACUNES ONT ÉGALEMENT ÉTÉ OBSERVÉES DANS LE PROCESSUS D’EXTRACTION DES DONNÉES DES ÉTUDES, DANS LA NON-UTILISATION DES TRANSFORMATIONS DES COEFFICIENTS DE FIABILITÉ POUR NORMALISER LEUR DISTRIBUTION ET STABILISER LEURS VARIANCES ET DANS LA SPÉCIFICATION DU MODÈLE STATISTIQUE SUPPOSÉ DANS LES CALCULS MÉTA-ANALYTIQUES. COMPTE TENU DE TOUS CES ÉLÉMENTS DE PREUVE, LE BUT DE CE PROJET EST D’ÉLABORER UN GUIDE POUR LA BONNE CONDUITE ET LA PRÉSENTATION DE RAPPORTS D’ÉTUDES SUR LE FG, DANS LA MÊME LIGNE QUE LES GUIDES PRISMES OU AMSTAR POUR D’AUTRES TYPES DE MÉTA-ANALYSE. POUR ATTEINDRE CET OBJECTIF, UNE REVUE SYSTÉMATIQUE DES ÉTUDES DE GF QUI ONT ÉTÉ RÉALISÉES À CE JOUR SERA EFFECTUÉE ET LA QUALITÉ MÉTHODOLOGIQUE ET LE RAPPORT DE CES ÉTUDES SERONT ÉVALUÉS. GRÂCE À DES RECHERCHES INFORMELLES, NOTRE ÉQUIPE A PU, À CE JOUR, LOCALISER 115 ÉTUDES GF. DANS CETTE REVUE SYSTÉMIQUE, NOUS APPLIQUERONS LES GUIDES PRISME ET AMSTAR ET ÉVALUERONS DANS QUELLE MESURE CES GUIDES SONT APPROPRIÉS POUR ÉVALUER LA QUALITÉ DES ÉTUDES DE GF. NOTRE HYPOTHÈSE DE DÉPART EST QUE LES GUIDES PRISME ET AMSTAR NE SONT PAS APPROPRIÉS À CET EFFET. AU MOINS TROIS ÉTUDES GF DE TESTS PSYCHOLOGIQUES SERONT ÉGALEMENT RÉALISÉES, AFIN DE POUVOIR DISPOSER DE BASES DE DONNÉES DE TESTS HABITUELLEMENT UTILISÉS DANS LA RECHERCHE ET LA PRATIQUE PSYCHOLOGIQUE. AVEC LES BASES DE DONNÉES DE CES ÉTUDES GF, AINSI QUE D’AUTRES BASES DE DONNÉES D’AUTRES ÉTUDES GF RÉALISÉES PAR NOTRE ÉQUIPE DE RECHERCHE, NOUS EFFECTUERONS DE NOUVEAUX CALCULS MÉTA-ANALYTIQUES POUR VÉRIFIER DANS QUELLE MESURE LES RÉSULTATS DES ÉTUDES GF SONT SENSIBLES AUX VARIATIONS DU MODÈLE STATISTIQUE APPLIQUÉ, À L’UTILISATION DES TRANSFORMATIONS DES COEFFICIENTS DE FIABILITÉ ET DU FACTEUR DE POIDS. À LA SUITE DE LA RÉALISATION DE TOUTES CES ANALYSES, LE PRODUIT FINAL DU PROJET SERA L’ÉLABORATION D’UN GUIDE POUR LA RÉALISATION ET L’ÉTABLISSEMENT DE RAPPORTS D’ÉTUDES GF QUE NOUS AVONS CONVENU D’APPELER «NORMES POUR EFFECTUER ET RAPPORTER LES MÉTA-ANALYSES DE LA FIABILITÉ GÉNÉRALISATION», AVEC L’ACRONIMO REGEMA. (French)
2 December 2021
0 references
PSYCHOLOGISCHE TESTS WERDEN ROUTINEMÄSSIG IN DER FORSCHUNG UND DER BERUFLICHEN PRAXIS IN DER PSYCHOLOGIE EINGESETZT. ES IST FÜR FORSCHER UND FACHLEUTE ÜBLICH, DIE FALSCHE ÜBERZEUGUNG ZU FINDEN, DASS ZUVERLÄSSIGKEIT EINE INHÄRENTE EIGENSCHAFT DES TESTS IST. DIE ZUVERLÄSSIGKEIT VARIIERT JEDOCH VON EINER ANWENDUNG ZU EINEM ANDEREN TEST, DA ES SICH UM EINE EIGENSCHAFT DER IN EINER BESTIMMTEN ANWENDUNG ERZIELTEN TESTERGEBNISSE HANDELT. UM DIE ZUVERLÄSSIGKEIT DER PRÜFERGEBNISSE ZU UNTERSUCHEN, WIRD EINE VERALLGEMEINERUNG DER ZUVERLÄSSIGKEITSSTUDIEN (GF) DURCHGEFÜHRT. EINE GF-STUDIE IST EINE SPEZIELLE ART DER METAANALYSE, BEI DER DIE ZUVERLÄSSIGKEITSKOEFFIZIENTEN, DIE IN EMPIRISCHEN STUDIEN GEMELDET WURDEN, DIE EINEN BESTIMMTEN TEST VERWENDET HABEN, STATISTISCH INTEGRIERT SIND. SIE SOLL PRÜFEN, OB DIE ZUVERLÄSSIGKEIT DER PRÜFERGEBNISSE IN IHREN VERSCHIEDENEN ANWENDUNGEN VERALLGEMEINERT IST ODER OB SIE HETEROGEN IST, UND IN DIESEM FALL MERKMALE DER STUDIEN ZU FINDEN, DIE ZUMINDEST EINEN TEIL DIESER HETEROGENITÄT ERKLÄREN. ES LIEGEN HINWEISE AUF SCHWERWIEGENDE MÄNGEL BEI DER DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN VOR. ZU DIESEN MÄNGELN GEHÖRT DER SCHLECHTE BERICHT ÜBER DIE AUSWAHLKRITERIEN DER STUDIEN UND DEN PROZESS DER SUCHE NACH DEN STUDIEN. ES WURDEN AUCH MÄNGEL BEIM EXTRAHIEREN DER DATEN AUS DEN STUDIEN, BEI DER NICHTNUTZUNG VON TRANSFORMATIONEN VON ZUVERLÄSSIGKEITSKOEFFIZIENTEN ZUR NORMALISIERUNG IHRER VERTEILUNG UND ZUR STABILISIERUNG IHRER VARIANZEN SOWIE BEI DER SPEZIFIKATION DES IN DEN METAANALYTISCHEN BERECHNUNGEN ANGENOMMENEN STATISTISCHEN MODELLS FESTGESTELLT. ANGESICHTS ALL DIESER BELEGE BESTEHT DER ZWECK DIESES PROJEKTS DARIN, EINEN LEITFADEN FÜR DIE KORREKTE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN IN DER GLEICHEN LINIE WIE DIE PRISMENFÜHRER ODER AMSTAR FÜR ANDERE ARTEN VON METAANALYSEN ZU ENTWICKELN. UM DIESES ZIEL ZU ERREICHEN, WIRD EINE SYSTEMATISCHE ÜBERPRÜFUNG DER BISHERIGEN STUDIEN VON GF DURCHGEFÜHRT UND DIE METHODISCHE QUALITÄT UND DER BERICHT DARÜBER BEWERTET. DURCH INFORMELLE RECHERCHEN KONNTE UNSER TEAM BIS HEUTE 115 GF-STUDIEN LOKALISIEREN. IN DIESER SYSTEMISCHEN ÜBERPRÜFUNG WERDEN WIR DIE PRISMEN- UND AMSTAR-LEITFÄDEN ANWENDEN UND EINE BEWERTUNG DES GRADES DURCHFÜHREN, IN DEM DIESE LEITFÄDEN GEEIGNET SIND, DIE QUALITÄT DER GF-STUDIEN ZU BEWERTEN. UNSERE AUSGANGSHYPOTHESE IST, DASS DAS PRISMA UND AMSTAR GUIDES ZU DIESEM ZWECK NICHT GEEIGNET SIND. ES WERDEN AUCH MINDESTENS DREI GF-STUDIEN ZU PSYCHOLOGISCHEN TESTS DURCHGEFÜHRT, UM ÜBER DATENBANKEN VON TESTS VERFÜGEN ZU KÖNNEN, DIE ÜBLICHERWEISE IN DER FORSCHUNG UND IN DER PSYCHOLOGISCHEN PRAXIS VERWENDET WERDEN. MIT DEN DATENBANKEN DIESER GF-STUDIEN, ZUSAMMEN MIT ANDEREN DATENBANKEN ANDERER GF-STUDIEN UNSERES FORSCHUNGSTEAMS, WERDEN WIR NEUE METAANALYTISCHE BERECHNUNGEN DURCHFÜHREN, UM ZU PRÜFEN, INWIEWEIT DIE ERGEBNISSE DER GF-STUDIEN EMPFINDLICH AUF VARIATIONEN DES ANGEWANDTEN STATISTISCHEN MODELLS, DIE VERWENDUNG VON TRANSFORMATIONEN VON ZUVERLÄSSIGKEITSKOEFFIZIENTEN UND DEN GEWICHTSFAKTOR REAGIEREN. ALS ERGEBNIS DER DURCHFÜHRUNG ALL DIESER ANALYSEN WIRD DAS ENDPRODUKT DES PROJEKTS DIE AUSARBEITUNG EINES LEITFADENS FÜR DIE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON GF-STUDIEN SEIN, DIE WIR MIT DEM ACRONIMO REGEMA ALS „STANDARDS FÜR DIE DURCHFÜHRUNG UND BERICHTERSTATTUNG VON VERLÄSSLICHKEITSVERALLGEMEINERUNGSANALYSEN“ BEZEICHNET HABEN. (German)
9 December 2021
0 references
Murcia
0 references
Identifiers
PSI2016-77676-P
0 references