ACCLC > In vitro veritas > 2004; vol5 > art60.html



Avaluació de la competència professional en anàlisis clíniques.
Presentació de la prova pilot d'un projecte d'avaluació objectiva i estructurada

Carles Blay-Pueyo
Unitat d'Avaluació de les Competències Clíniques
Institut d'Estudis de la Salut
Barcelona



Els sistemes sanitaris, com empreses que presten serveis a la població, fan un ús intensiu de recursos humans altament qualificats.

La qualitat d'aquests serveis només es pot assegurar si els professionals que hi treballen són prou competents.

L'avaluació de la competència professional hauria de ser, per tant, un objectiu de totes les institucions implicades en el sistema sanitari, incloses les pròpies associacions de professionals.

Per aquest motiu, està augmentant el nombre de països on l'avaluació de professionals es considera necessària i així veiem com s'estan incorporant al nostre llenguatge nous conceptes com certificació, recertificació, acreditació o avaluació de la competència.

La cultura avaluativa del nostre país ha estat basada fonamentalment en els mètodes tradicionals, centrats en l'acumulació de mèrits i, en tot cas, l'avaluació dels coneixements. L'avaluació objectiva de la pràctica dels professionals és gairebé inexistent.

Des de fa més de tres dècades s'estan desenvolupant arreu de països del nostre entorn nous mètodes que permeten avaluar la pràctica dels professionals. És per això que avui disposem d'instruments de qualitat a tal fi que poden ser, a més a més, acceptables tant per als professionals com per a les institucions.

De fet, hauria de ser el mateix professional qui hauria de garantir la seva pròpia competència, com a compliment de la seva responsabilitat social. Aquesta és la base del professionalisme, idea sobre la qual girarà la cultura de les professions sanitàries en l'actual segle. El professionalisme es podria definir com el compromís dels professionals per obtenir estàndards d'excel·lència en la seva pràctica, per generar i disseminar coneixement i, alhora, mantenir un inequívoc compromís per defensar els interessos i el benestar dels pacients, responent així a les necessitats de salut de la societat.

La competència és un procés dinàmic i longitudinal en el temps, pel qual una persona utilitza els coneixements, habilitats, actituds i bon judici, associats a la seva professió amb la finalitat de desenvolupar-la de forma eficaç en totes les situacions que corresponguin al camp de la seva pràctica.

Pretendre avaluar-la significar ser capaços d'observar i mesurar aquesta pràctica a fi de fer-ne una anàlisi i prendre, en base als resultats, les millors decisions, bé en termes d'acreditació (avaluació sumativa), bé en termes diagnòstics de febleses i debilitats (avaluació formativa).

L'alt compromís que suposa pretendre avaluar la competència dels professionals, implica la cerca de mètodes que siguin:

acceptables: valorats positivament, tant pels experts i institucions responsables, com pels propis col·lectius professionals avaluats.

vàlids: que mesurin exactament allò per al que han estat dissenyats.

fiables: capaços de donar resultats estables, consistents i reproduïbles.

factibles: logísticament possibles i econòmicament sostenibles.

implicant un impacte educatiu positiu: el missatge que donen als col·lectius avaluats en relació al que és la pràctica de qualitat ha de ser l'adient.

Des de 1994 s'estan endegant a Catalunya projectes d'avaluació de la competència professional que permeten avaluar les competències a diversos nivells (pregrau, postgrau i treball independent) i en diferents estaments professionals (metges, infermeres, tècnics, etc.). La següent taula resum aquesta experiència:


Experiències a Catalunya en avaluació de la competència professional. Institut d'Estudis de la Salut 1994 – 2003. (dades actualitzades a 31/12/03)
Nivells d'avaluació Projectes Nombre d'avaluats Institucions col·laboradores
Pregrau ACC Alumnes 6è de Medicina 897 Facultats de Medicina (4)
ACC Alumnes d'Infermeria 255 Escoles d'Infermeria (6)
ACOE de Medicina 2461 Facultats de Medicina (4)
Escoles d'Infermeria (8) 786 Escoles d'Infermeria (8)
Postgrau ACOE de Medicina Interna Total: 693 Societat Catalana de Medicina Interna
ACOE de Medicina Fam. i Comunit. Societat Catalana Medicina Familiar i Comunitària
ACOE de Llevadores Escola Universitària de Matrones
ACOE de Pediatria Societat Catalana de Pediatria
ACOE de Neonatologia Societat Catalana de Neonatologia
ACOE de Geriatria Societat Catalana de Geriatria
ACOE d'Anàlisis Clíniques Associació Catalana de Ciències de Laboratori Clínic
Treball independent ACOE de Tècnics Transport Sanitari 3432 Catsalut Empreses Transport Sanitari
ACOE d'Emergències Mèdiques 30 Sistema d'Emergències Mèdiques 061


Seguint aquesta línia de treball, l'any 2001, l'Institut d'Estudis de la Salut va iniciar un projecte de col·laboració amb l'Associació Catalana de Ciències de Laboratori Clínic, per al desenvolupament d'un prototip d'avaluació de la competència dels professionals de l'àmbit de les anàlisis clíniques.

A tal fi es va crear un grup d'experts composat per professionals reconeguts dins el col·lectiu professional d'anàlisis clíniques i tècnics de la Unitat d'Avaluació de les Competències Clíniques de l'IES. Aquest grup va iniciar el disseny d'una prova pilot que permetés avaluar a:

Les seves finalitats són:

A tal fi es va desenvolupar una prova que, a través del desplegament de 25 situacions paradigmàtiques de la pràctica d'aquest col·lectiu professional, avaluava els següents components competencials:


Component competencial Ponderació dins la prova
Interpretació de dades analítiques 11 %
Elaboració de protocols  6 %
Assessorament a clínics  7 %
Procediments / instrumentalització 24 %
Garantia de la qualitat 44 %
Gestió del laboratori  6 %
Aspectes legislatius  2 %


Aquests components s'han valorat mitjançant una combinació dels següents instruments avaluatius: professionals simulats, altres simuladors de la pràctica, preguntes obertes de resposta curta, identificació d'imatges professionals, preguntes orals estructurades i preguntes d'elecció múltipla.

El prototip avaluatiu resultant va tenir la forma d'un examen mixt que combinava una prova escrita (en la que les persones avaluades havien de prendre decisions en base a supòsits pràctics) i un túnel d'habilitats (on les activitats a desenvolupar eren simulacions més properes a la realitat). Aquest prototip va ser pilotat per 13 professionals voluntaris el passat novembre de 2003.

Les conclusions del tractament de les dades preliminars són les següents:

Acceptabilitat:

Malgrat són palesos certs recels en l'entorn professional on s'hauria d'aplicar l'avaluació, les enquestes a totes les persones que han passat la prova es mostren inequívocament favorables. És probable que sigui la pròpia administració de la prova qui aconsegueixi l'acceptació definitiva del col·lectiu.

Fiabilitat:

El tractament estadístic de les dades mostra una excel·lent fiabilitat de la prova. És a dir, que es confirmaria la seva capacitat de proveir resultats consistents i reproductibles.

Validesa d'aparença:

El grau en què la prova reprodueix la realitat que pretén avaluar és alt, segons les enquestes realitzades a les persones que la van passar.

Validesa de continguts:

El grau en què els continguts de la prova són pertinents ve confirmat per 3 fets:

  1. La pròpia metodologia de treball del grup d'experts, amb permanents de procediments de "validació en ruta" dels continguts.

  2. Les enquestes realitzades a les persones que l'han passat.

  3. La constatació que tots els aspectes avaluats dins la prova estan inclosos dins els corpus formatius de referència.
Validesa de constructe:

La teoria de constructe es constata per la bona correlació que guarden els resultats amb el grau de formació i expertesa en la pràctica diària dels professionals.

Validesa predictiva:

S'ha practicat un exercici de revisió d'experts entre el comitè d'experts en relació a les persones que han passat la prova, obtenint-se un adequat i significatiu grau de correlació.

Factibilitat:

El format del prototip ha demostrat ser eficient econòmicament, requereix un desplegament logístic senzill i permet fer avaluacions a gran escala.

Impacte educatiu:

El format de la prova representa fidelment les característiques del treball habitual dels professionals d'anàlisis clíniques i les enquestes donen suport al seu format i als missatges que dóna als que hi participen.

Capacitat discriminativa:

La prova sembla tenir capacitat de discriminar diferents nivells de pràctica. La revisió dels resultats mitjançant l'anàlisi d'ítems permetrà incrementar aquesta capacitat.

En conclusió, el pilotatge permet conferir futures capacitats certificadores a aquest prototip avaluatiu, alhora que sembla ser útil en el diagnòstic dels punts febles del col·lectiu professional al que s'adreça.






ACCLC > In vitro veritas > 2004; vol5 > Art60.html

Citació recomanada per a aquest document: Blay-Pueyo C. Avaluació de la competència professional en anàlisis clíniques. Presentació de la prova pilot d'un projecte d'avaluació objectiva i estructurada. In vitro veritas 2004;5: <http://www.acclc.cat/invitroveritas/vol5/art60.html>