A program hatékonyságának tesztelése, értékelése. A Big Five teszt hatékonyságának értékelése és gyakorlati felhasználási példája

A teszt hatékonyságának csökkenéséhez vezető hibák akkor jelennek meg, ha:

A teszt nincs jól megírva
A teszt nincs megfelelően szabványosítva
A tesztet nem megfelelően használták

Tesztkonstrukció

Először is világosan meg kell értenie azt a pszichológiai tulajdonságot, amelyet a jövőbeli teszt mérni fog. Egyetlen teszt sem készül „a nulláról”, annak elkészítése a tematikus anyag tanulmányozásán alapuló hosszú távú tudományos munkán alapul.

A pszichológiai teszt tervezője előtt Van egy nehéz feladat - minimális számú feladaton keresztül a legteljesebben tükrözni a mért pszichológiai tulajdonság minden aspektusát. Az utolsó feltétel a teszt hatékonyságának egyik kritériuma. Ez nem jelenti azt, hogy Cattell félezer kérdést tartalmazó személyiségkérdőíve hatástalannak tekinthető. Ilyen nagy számú személyiségtényező mérése mellett (16) ez a kérdésszám optimális. Ugyanez vonatkozik az intelligencia, a motiváció és más széles mentális területek tesztjére is. Óvakodni kell egy kérdőívtől, mondjuk a kockázatvállalásról, amely 250 kérdést tartalmaz.

Ezen követelmények mellett a vizsgálatnak meg kell felelnie célcsoport, amelyre irányul. A feladatokat megfelelő összetettséggel és hozzáférhetőséggel dolgozzák ki a különböző korcsoportok, különféle mentális zavarokkal küzdőknek, különböző nemzeti és nyelvi csoportok képviselőinek. Ha a tesztet egy másik nyelvcsoportban vagy országban ajánlják fel, akkor azt módosítani kell.

Az alkalmazkodásra nem csak a feladatok fordítását foglalja magában, hanem a kifejezések, fogalmak átstrukturálását, a frazeológiai egységek, közmondások és szólások hasonlókkal való helyettesítését egy adott nyelven. A kérdések jelentését a csoport vallási nézeteinek figyelembevételével kell közvetíteni.

Figyelembe kell venni néhány olyan hatást is, amelyeket a tesztelemek kitöltésekor észleltek. Az úgynevezett társadalmi kívánatossági hatás akkor működik, ha az ember válaszaiban a legjobb megvilágításban akarja magát feltüntetni. Sok teszt fogig felvértezve van" hazugság mérleg", csapdakérdések stb. De ez nem mindig segít - az ember ugyanazokat a kérdéseket találja meg, és megőrzi a válaszait az emlékezetében.

Van még egy trükk - a tesztcél helyettesítése az utasításokban, ha ez a cél egyáltalán feltárul az alany előtt. Ekkor az ember a kérdésekre válaszolva jól mutatja magát az egyik oldalon (hamis cél), és többé-kevésbé megbízható információt ad a másik oldalról (igazi cél), amit valójában ez a teszt mér.

Követelmények vannak a kérdések megfogalmazására és a tesztben való elhelyezésük sorrendjére is. Ezek ismét attól függnek, hogy a teszt melyik célcsoport számára készült.

Egy helyesen összeállított teszt még nem nevezhető kidolgozottnak. Ehhez szabványosítani kell.

Szabványosítás

A teszt szabványosítása lehetővé teszi a segítségével kapott adatok összehasonlítását különböző emberek. Ehhez az szükséges, hogy ezek az emberek egyenlő körülmények között legyenek. A pszichológiai nyelvben ezt "minden függő változó ellenőrzésének" nevezik. Ideális esetben az egyetlen független változó a tesztben a tesztet végző személy személyisége lenne. Annak biztosítására egyenlő feltételekkel a teszt fejlesztője konkrét utasításokat ad a teszt adminisztrálására. Ezek a következők:

Az ingeranyag sajátosságai
Időkorlátok
Utasítások az alanyokhoz
Mintafeladatok
Elfogadható válaszok a kérdésekre (ha ilyen korlátozások szükségesek)

Ezen utasításokon kívül a teszt melléklete tartalmazza a válaszok speciálisan meghatározott normáit („nyers pontokban”) és azok értelmezéseit.

A szabványosításon túlmenően a teszt hatékonyságát a megbízhatóság és érvényesség kritériumai szerint is ellenőrizni kell. Nagyon gyakran ezeket a fogalmakat felcserélhetően használják, ezért nézzük meg mindegyik jelentését.

Megbízhatóság

A megbízhatóság alatt a kapott eredmények konzisztenciáját értjük minden alkalommal, amikor ugyanaz az alany megismétli a tesztet az első teszt eredményeivel. A tesztek abszolút megbízhatósága nem megengedett, de minél magasabbak, annál alacsonyabb a teszt hatékonysága. A megbízhatóság a következő módszerekkel ellenőrizhető:

teszt-újrateszt megbízhatóság egy teszt ismételt végrehajtását és a kapott eredmények korrelációs összehasonlítását foglalja magában.
megosztott megbízhatóságúgy határozzuk meg, hogy a tesztet két részre osztjuk, és a két rész külön-külön lefutásának eredményeit összehasonlítjuk.
egyenértékű megbízhatóság a tesztalany és az övé bemutatásával derül ki alternatív lehetőség. A kapott eredményeket egymással is összehasonlítják.

Érvényesség

A pszichológiai szótárak az érvényesség fogalmát úgy tárják fel, mint azt a fokot, amellyel egy teszt megfelel annak a céljának, hogy mérje azt, amiért létrehozták; a teszt tényleges képessége annak a pszichológiai jellemzőnek a mérésére, amelyre vonatkozóan diagnosztizálni kívánják. Egy teszt érvényessége kvantitatívan kifejezhető a segítségével kapott eredmények más mutatókkal, például az adott tevékenység elvégzésének sikerességével való összefüggéseivel.

Ezen túlmenően egy teszt érvényessége megállapítható úgy, hogy az eredményeket összehasonlítjuk hasonló módszerekkel végzett eredményekkel. Például a verbális intelligencia kidolgozott tesztje elvégezhető a jól ismert Amthauer-teszttel, majd ezek eredményeit összehasonlítva. Az eredmények magas korrelációja magas validitást jelent – ami azt jelenti új teszt valóban verbális intelligenciát mér, nem verbális képességet, memóriát, figyelmet stb.

Fentebb a teszt használatának szakaszában előforduló hibákról volt szó. A pályázatokban javasolt megvalósítási feltételeinek megsértése az érvényesség csökkenését vonhatja maga után. Tegyük fel, hogy végzünk egy szómemorizálási tesztet, és látva, hogy az alany eléggé képes, felgyorsítjuk a szólista olvasását. Ebben az esetben a sebesség növekedése egy további független változó, más szóval zavar. Ennek eredményeként a memorizálási sebesség helyett egy személy stresszállóságát mérjük.

A teszt érvényességének értékelése a következő lépéseket tartalmazza:

látszólagos érvényesség meghatározása(arc érvényesség). Az ilyen érvényesség, ahogy mondják, „szabad szemmel” látható - értékelik a teszt általános megfelelését a célnak.
fogalmi érvényesség meghatározása(konstrukció érvényessége). Egy tulajdonságot mérő teszt megfelelési foka az erről a tulajdonságról általánosan elfogadott elméleti elképzeléseknek. Ezt az érvényességet általában szakértők értékelik.
empirikus érvényesség meghatározása(empirikus érvényesség). Ki kell választani egy kritériumot (független változót), amelyhez a vizsgálati eredményeket társítják. Például az iskolaérettségi vizsgálat kritériuma lehet az első osztályos tanuló teljesítményének átfogó értékelése.
tartalmi érvényesség meghatározása(tartalom érvényessége). A kidolgozott tesztnek tartalmaznia kell olyan kérdéseket, amelyek felmérik a tulajdonság maximális lehetséges számú paraméterét, amelyet ez a teszt mér (a teszttervezés első szabályát fentebb említettük - a tulajdonságparaméterek maximális száma a minimális számú feladaton keresztül). Ezt az érvényességet szakértői értékelések is értékelik.

Egyébként nem csak az új tesztek mennek át ilyen vizsgán. Jelenleg sok kutató foglalkozik a már ismert tesztek hatékonyságának elemzésével. A Psychological Science in the Public Interest című pszichológiai folyóirat oldalain a közelmúltban zajló vita megkérdőjelezte a pszichodiagnosztikai eszközök olyan „mestereinek” hatékonyságát, mint a Rorschach tintafoltteszt, a TAT (tematikus appercepciós teszt) és a projektív emberi alakrajzi teszt. Kiderült, hogy ezeknek a pszichodiagnosztikai technikáknak alacsony az empirikus érvényessége, alacsony a teszt-újrateszt megbízhatósága és rosszul összeállított normatív mutatóik.

A teszt eredményességének értékelésére szolgáló fenti módszerek segítenek a pszichológusnak nemcsak bizonyos személyiségjegyek mérésére szolgáló eszközök megalkotásában, hanem abban is, hogy a már kidolgozott tesztek közül a legszínvonalasabb és legmegbízhatóbb teszteket válassza ki.

Pszichológiai komplexum Effecton Stúdió

Az Effecton Studio komplexum létrehozásakor a fő prioritás az volt, hogy kizárólag tudományosan megalapozott és informatív technikákat tartalmazzon. Emellett felhasználóinknak, valamint az oldal látogatóinak és a hírlevél-olvasóknak pszichológiai technikákkal kapcsolatos információs támogatást nyújtunk. Kiemelt figyelmet fordítunk a munkavégzés hatékonyságára és ergonómiájára - az Effecton Studio pszichológiai tesztjein való megfelelés után a felhasználó nem csak nyers eredményeket, hanem azok értelmezését, kényelmes csoportos tesztelési és statisztikai elemzési módszereit is megkapja.

Számos egyéb funkció is kifejlesztésre került, amelyeket javasolunk, hogy ismerkedjen meg azzal, hogy letölti weboldalunkról a demóverziót, és megrendeli a komplexumot szervezetében való használatra. A komplexumról tájékoztathatja a többi érdeklődőt is, ebben az esetben a tranzakció értékének 25%-át kapja meg.

Olga Danilova.

Exkluzív anyag a "www... Szöveg és/vagy kapcsolódó anyagok kölcsönzése csak akkor lehetséges, ha közvetlen és jól látható hivatkozás van az eredetire. Minden jog fenntartva.

A komplexum demo verziója

V. V. Odincova

Számos pszichodiagnosztikai módszert alkalmazva ritkán gondolunk ezeknek a munkaeszközöknek a minőségére. És hiába. Hiszen minden gyakorló pszichológus tudja, hogy jó diagnosztikai eszközök nélkül semmilyen pszichológiai vizsgálat nem lehetséges.

Ugyanakkor népszerű pszichológiai tesztgyűjtemények, amelyeket széles körben publikáltak utóbbi időben Sajnos nem tudja kielégíteni egy igazi szakember követelményeit, akinek bíznia kell a munkájában használt műszer diagnosztikai képességeiben. ezért, továbbra is aktuális a jól kidolgozott és megbízható diagnosztikai technika megtalálásának problémája.

A Human Technologies HR Laboratórium fő feladata a minőségi termékek fejlesztése. Az ilyen termékek létrehozásának egyik feltétele a vizsgálati módszerek időszakos tesztelése, hogy megfelelnek-e számos pszichometriai követelménynek (validitás, megbízhatóság, reprezentativitás, megbízhatóság). Ehhez elegendő számú jegyzőkönyv összegyűjtése után elvégzik a vizsgálati módszerek statisztikai elemzését.

Nézzük a pszichometriai elemzést (amelynek teljes mintája 660 fő volt).

Ez a 90-es években kifejlesztett teszt öt, úgynevezett „nagy” temperamentum- és karaktertényező kifejeződési szintjének expressz diagnosztikáját szolgálja, és felnőttek személyiségének vizsgálatára szolgál szakmai kiválasztás, szakmai konzultáció, a pszichológiai segítségnyújtás területeinek meghatározása, csoportok toborzása, önismeret stb.

Az „Öt Nagy Tényező” egyetemességének alapja a szituációkon átívelő jelleg: az egyén globális funkcionális-aktivitás-értékelésének tényezői szinte minden helyzetre alkalmazhatók. társadalmi viselkedésés objektív tevékenységek, amelyekben az emberek közötti stabil különbségek találhatók.

A kérdőív 75 tételből áll, egyenként három válaszlehetőséggel.

MÉRLEG A tesztek a Big Five faktorok pontos reprodukálása nemzetközi változatukban (kivéve az ötödik faktort, amelyet a B5 számos nyugati változata „nyitottság az új tapasztalatokra – korlátozott gyakorlatiasság” néven jelöl):

extroverzió - introverzió
beleegyezés – függetlenség
szervezettség - impulzivitás
érzelmi stabilitás - szorongás
tanulási képesség – tehetetlenség

1. Érvényességi ellenőrzés

A meglévő mérlegek ellenőrzésekor hagyományos módon- a kérdésekre adott válaszok és a skála összpontszáma közötti összefüggések kiszámításával azt találtuk, hogy szinte minden item szignifikánsan korrelál a „saját” skálájával, átlagosan 0,35-ös korrelációs együtthatóval.

Ellenőrzéskor jelentőségteljes A teszt érvényességének megállapításához a tesztelemek megfogalmazását elemeztük, amely értelemszerűen tükrözi a megfelelő tantárgyi területet (viselkedési területet), és szignifikáns (pozitív vagy negatív) korrelációt mutat az összpontszámmal:

Skála	Minta tesztelemek	Korrelációs együttható
EXTRAVERZIÓ	Fontos számomra, hogy elmondjam a véleményemet másoknak	(0,31)
	Szeretek részt venni mindenféle versenyen, versenyen stb.	(0,41)
	Szeretek látogatni és új embereket megismerni	(0,5)
MEGÁLLAPODÁS	A legtöbb emberben nem lehet megbízni	(-0,23)
	Számomra az érdeklődésem az első	(-0,22)
	"Aki segít az embereknek, az idejét vesztegeti, jó cselekedetek Nem lehetsz híres"	(-0,3)
	„Mindenki magáért” egy olyan elv, amely nem hagy cserben	(-0,4)
ÖNIRÁNYÍTÁS	Amikor lefekszem, már biztosan tudom, mit fogok csinálni holnap	(0,37)
	Amikor kezembe veszek egy könyvet, mindig visszateszem a helyére	(0,35)
	A felelős feladatok előtt mindig tervet készítek azok megvalósítására	(0,37)
STABILITÁS	Könnyen elpirulok	(-0,28)
	Ha nemkívánatos munkahelyi helyzetet érzékelek, az mindig fájdalmas kétséget okoz, amíg a helyzet tisztábbá nem válik	(-0,3)
	A nap végén általában annyira fáradt vagyok, hogy minden apróság irritálni kezd.	(-0,32)
	Nagyon könnyű elrontani a hangulatomat	(-0,42)

A fenti készítmények elemzése a teszt meglehetősen magas tartalmi érvényességét jelzi.

2. Megbízhatósági ellenőrzés

A teszt, mint mérőeszköz megbízhatóságát a tesztpontszámok mérési hibáinak alacsony valószínűsége, valamint a mérési eredmények reprodukálásának mértéke határozza meg, ha a tesztet ismételten alkalmazzák egy adott alanycsoport vonatkozásában. A különböző források mérési hibához való hozzájárulásának becsléséhez szükséges használni különböző módokon megbízhatósági felmérések. Különösen érdekes a teszt belső konzisztenciájának értékelése, amely meghatározza a hiba azon részét, amely az elemek kiválasztásához kapcsolódik.

A teszt belső konzisztenciáját a Cronbach-alfa együttható kiszámításával értékeltük. Ez az együttható a megbízhatóság becslése, amely a skála homogenitásán vagy a tesztfelvevők kérdéseire adott válaszai közötti korrelációk összegén alapul ugyanazon a tesztformán belül.

Esetünkben az egyes skálákra kiszámított Cronbach-alfa megbízhatósági együttható általánosságban meglehetősen megfelelő szintű belső konzisztenciát mutatott, amely hagyományos az expressz személyiségkérdőíveknél, ahol az alskálák korlátozott számú elemet tartalmaznak (kevesebb mint 20):

Emlékezzünk vissza, hogy a hatékonyan működő személyiségteszt szigorú pszichometriai követelményei 0,8 feletti alfa együtthatóknak felelnek meg.

Esetünkben viszonylag alacsony szint A Cronbach-féle megbízhatósági együtthatók értéke e skálák érdemi terjedelmével magyarázható: minden skálán 15 különböző kérdés található, ami lehetővé teszi a vizsgált tényezők körének bővítését, egyúttal a magas szintű belső konzisztencia feláldozását is. .

Ez különösen élesen hatott az „EGYETRÉS” és „TANULÁSI KÉPESSÉG” faktorskálákra, amelyek alfa együtthatója 0,6 alatt volt.

3. Reprezentativitás ellenőrzése

A standardizációs mintáról (1. ábra - 300 fő) a populációs mintára (2. ábra - 660 fő) áttérve megjelenik a tesztpontszámok eloszlásának konfigurációjának stabilitása, ami a vizsgálati módszertan reprezentativitását jelzi:

1. ábra. Szabványosítási minta (300 fő)

2. ábra. Lakossági minta (660 fő)

Ezen eloszlások vizuális hasonlósága mellett az általunk használt Pearson statisztikai chi-négyzet teszt az eloszlások következő hasonlóságát mutatta:

Ezek a khi-négyzet értékek a bizonytalanság tartományába esnek: amikor lehetetlen egyértelműen elfogadni vagy egyértelműen elvetni az eloszlások konzisztenciájának hipotézisét.

Ez az eredmény az expressz teszt fő tulajdonságának köszönhető, nevezetesen az egyes skálákat lefedő kérdések kis számának. Ezt figyelembe véve a reprezentativitás vizsgálatának eredménye kielégítőnek mondható.

4. Érvényességi ellenőrzés

Mivel a helyszínen tesztelt alanyok a kliens helyzetében voltak (megbízható eredmények érdekelték őket), így nagy valószínűséggel a kapott eredmények megbízhatónak tekinthetők.

Vizsgálati szituációban (amikor egy harmadik fél is érdeklődik a teszteredmények iránt) azonban az adatok torzulhatnak tudatos hamisítások (hazugság, az alany őszintétlensége) vagy tudattalan beavatkozása miatt. motivációs tényezők. Ennek elkerülésére az ilyen esetekre tervezett változathoz (B5splus) egy hazugságskálát adtunk (in pillanatnyilag ezt a verziót teszteljük weboldalunkon).

A kapott eredmények a technika magas színvonalának és hatékonyságának bizonyítékai, ami azért fontos, mert a szakember szakmai színvonalát gyakran az általa használt műszer határozza meg.

Emlékeztetni kell azonban arra, hogy még egy erőteljes modern eszköz sem garantálja a hibák teljes hiányát. Ezek elkerüléséhez nem elég egy számítógép és egy tesztprogram hozzá. Tapasztalt pszichológus is köteles felügyelni a tesztet. A komoly pszichometriai adaptáción átesett tesztek jelenléte tehát egyáltalán nem zárja ki annak a pszichológusnak a professzionalizmusát és tapasztalatát, aki a teszteredmények hitelességét párhuzamos információforrások (beleértve a saját megfigyelést, beszélgetést stb.) segítségével ellenőrzi.

Az egyesek már a „szerencsétlenség képletének” nevezett teljesítményértékelés célja éppen az, hogy boldoggá tegyük a tesztelőt, hogy számokkal igazolhassuk, hogy valaki jól működik, meg kell veregetni érte a fejét, az egyéb rossz és meg kell ostorozni... A csak ez a kritérium szerinti értékelés nem lehet az egyetlen, ezért azt más mutatókkal együtt kell figyelembe venni, mint pl. a terv megvalósítása, tesztautomatizálás stb.

A tesztelő teljesítményét, mint minden más alkalmazottat, mennyiségileg kell értékelni, pl. mérhető mutatókban. De milyen mutatókat érdemes választani?

Az első dolog, ami eszünkbe jut, az a talált hibák száma. És pontosan ezt a mutatót próbáltam azonnal bevezetni az Inreko LAN-ba. Azonban azonnal heves vita alakult ki, ami arra késztetett, hogy elemezzem ezt a kritériumot. Ebben a cikkben ezt a témát szeretném megvitatni.

A talált hibák száma rendkívül csúszós mutató. A hálózaton a problémát tárgyaló összes forrás ugyanazt mondja (http://www.software-testing.ru/, blogs.msdn.com/imtesty, it4business.ru, sqadotby.blogspot.com, blogs.msdn. com /larryosterman, sql.ru, http://www.testingperspective.com/ és még sok más). Miután elemezte saját tapasztalatés ezek a források, a következő problémafát hoztam létre:

Először is, a hibától a hibáig nézeteltérés. Az egyik tesztelő az alkalmazás gombjainak elrendezésében kereshet hibákat, a másik pedig belemélyedhet a logikába, és bonyolult teszthelyzeteket találhat ki. A legtöbb esetben az első tesztelő több hibát talál, mert sokkal kevesebb időbe telik a teszt elkészítése is, de az ilyen hibák értéke sokkal alacsonyabb. Ez a probléma könnyen megoldható a hibakritikusság bevezetésével. Kiértékelheti az egyes kategóriákban talált hibák számát. Ebből például 4 van: kritikus, jelentős, közepes és jelentéktelen. De mivel a kritikusság meghatározásának határa nem teljesen világos, bár megvan formai jelek kritikusság, akkor két megbízhatóbb módon járhat. Az első az, hogy a kijelölt időszakban talált hibák egy bizonyos része nem lehet alacsony kritikusságú hiba. A második az, hogy az értékelés során ne vegyük figyelembe a kisebb hibákat. Így a kisebb hibák leírásával küzdünk a tesztelő azon vágya ellen, hogy minél több hibát gyűjtsön össze, és arra kényszerítjük őt (vagy gyakrabban őt), hogy mélyebbre ásson és komoly hibákat találjon. És mindig léteznek, hidd el a tapasztalatom. A második lehetőséget választottam - a kisebb hibák eldobása.

Az ilyen kritérium „csúszásának” a második oka az, hogy a rendszerben elegendő számú hiba található ahhoz, hogy a tesztelő megtalálja azokat. Itt három tényező van. Az első a rendszer logikájának és technológiájának összetettsége. A második a kódolás minősége. A harmadik pedig a projekt szakasza. Nézzük sorban ezt a három tényezőt. A rendszert alkotó logika és technológia összetettsége befolyásolja az esetleges hibákat. Ráadásul a függőség itt korántsem közvetlen. Ha egyszerű logikát valósít meg egy összetett vagy ismeretlen platformon, akkor a hibák főként a megvalósítási technológia helytelen használatával járnak. Ha összetett logikát valósít meg egy primitív platformon, akkor valószínűleg a hibákat magával a logikával és az ilyen logika primitív nyelven történő megvalósításának összetettségével is társítják. Azaz egyensúlyra van szükség a rendszermegvalósítási technológia kiválasztásánál. De gyakran a technológiát az ügyfél vagy a piac diktálja, így nem valószínű, hogy tudjuk befolyásolni. Ez azt jelenti, hogy csak ezt a tényezőt kell figyelembe venni a lehetséges hibák számának bizonyos együtthatójaként. Ráadásul ennek az együtthatónak az értékét nagy valószínűséggel szakszerűen kell meghatározni.

Kódolás minősége. Itt semmiképpen nem tudjuk befolyásolni a fejlesztőt. De: a) ismét szakszerűen felmérhetjük a fejlesztő szintjét, és további tényezőként figyelembe vehetjük, és b) egységtesztekkel megpróbálhatjuk megakadályozni a kód hibáit. kötelező követelmény 100%-os kódlefedettség egységtesztekkel.

Projekt szakasz. Régóta ismert, hogy lehetetlen minden hibát megtalálni, kivéve egy triviális programot vagy véletlenül, hiszen a tökéletességnek nincs határa, és a tökéletességgel való bármilyen eltérés hibának tekinthető. De egy dolog, amikor egy projekt az aktív fejlesztési szakaszban van, és egészen más, amikor a támogatási szakaszban van. És ha figyelembe vesszük a rendszer összetettségének és a kódolás technológiájának és minőségének tényezőit is, akkor egyértelmű, hogy mindez radikálisan befolyásolja a tesztelő által észlelhető hibák számát. Ahogy a projekt a befejezéshez vagy a támogatási szakaszhoz közeledik (ezt mind feltételesnek nevezzük, és ma már intuitívan definiáljuk), csökken a rendszerhibák száma, így a talált hibák száma is csökken. És itt meg kell határoznia azt a pillanatot, amikor ésszerűtlenné válik a tesztelőtől bizonyos számú hiba megtalálása. Egy ilyen pillanat meghatározásához jó lenne tudni, hogy a hibák teljes számának mekkora részét tudjuk megtalálni, és hány hiba maradt még a rendszerben. Ez egy másik vita tárgya, de egy meglehetősen egyszerű és hatékony statisztikai módszer alkalmazható.

A korábbi projektek statisztikái alapján egy bizonyos hibával meg lehet érteni, hogy hány hiba volt a rendszerben, és mennyit talált a tesztelő csapat a projekt különböző időszakaiban. Így lehetséges egy bizonyos átlagos mutatót kapni a tesztelő csapat hatékonyságáról. Minden egyes tesztelőre lebontható, és személyes értékelést kaphat. Minél több tapasztalat és statisztika, annál kisebb lesz a hiba. Használhatjuk az „error seeding” módszert is, amikor pontosan tudjuk, hogy hány hiba van a rendszerben. Természetesen további tényezőket is figyelembe kell venni, mint például a rendszer típusa, a logikai összetettség, a platform stb. Így összefüggést kapunk a projekt fázisa és a talált hibák százaléka között. Most ezt az összefüggést fordítva is alkalmazhatjuk: a talált hibák számának és a projekt aktuális fázisának ismeretében (természetesen némi hibával) meg tudjuk határozni a rendszerünkben lévő hibák teljes számát. Ezután személyes vagy általános értékelési mutatók alapján meghatározhatja, hogy egy tesztelő vagy csapat hány hibát találhat a hátralévő idő alatt. Ezen értékelés alapján már meg lehet határozni a tesztelői munka hatékonyságának kritériumát.

A tesztelő teljesítményjelző funkciója így nézhet ki:

Hibák– a talált hibák száma,

Súlyosság– a talált hibák kritikussága,

Bonyolultság– a rendszer logikájának összetettsége,

Platform– rendszermegvalósító platform,

Fázis- projekt fázis,

Időszak– a vizsgált időszak.

De azt a konkrét kritériumot, amelynek a tesztelőnek meg kell felelnie, empirikusan és egy adott szervezet sajátosságait figyelembe véve kell kiválasztani.

Jelenleg még nem lehet minden tényezőt figyelembe venni, azonban vezető fejlesztőnkkel, Ivan Asztafjevvel és Irina Lager projektmenedzserünkkel a következő képletre jutottunk, amely figyelembe veszi a hibák számát és kritikusságát:

, Hol

E– hatékonyság, amelyet a talált hibák száma határozza meg,

D Ügyfél– azon hibák száma, amelyeket a vevő talált, de amelyeket az értékelt tesztelőnek meg kellett volna találnia,

D Tesztelő– a tesztelő által talált hibák száma,

kÉs d– korrekciós tényezők teljes mennyiség hibákat.

Azonnal szeretném megjegyezni, hogy a képlet segítségével történő értékeléskor csak azokat a hibákat kell figyelembe venni, amelyek az értékelt tesztelő felelősségi körébe tartoznak. Ha több tesztelő osztozik a felelősségben egy elmulasztott hibáért, akkor ezt a hibát minden tesztelő értékelésekor figyelembe kell venni. Ezenkívül a számítás nem veszi figyelembe az alacsony kritikusságú hibákat.

Így van egy harmadfokú parabolánk, amely tükrözi a hibakeresés intenzitásának kritériumát, amelyet a tesztelőnek meg kell felelnie. Általában, ha a tesztelő pontszáma a parabola felett van, ez azt jelenti, hogy a vártnál jobban működik, ha alacsonyabb, akkor ennek megfelelően rosszabb.

Itt van egy árnyalat az elemzett hibák teljes számával kapcsolatban. Természetesen minél több a statisztika, annál jobb, de néha elemezni kell a projekt különböző szakaszait, néha csak egy értékelést kell végezni az egyes időszakokra. És egy dolog, ha egy időszak alatt 4 hibát találnak, és ebből 2 hibát a vásárló, és egészen más, ha 100 hibát találnak, és ebből 50-et az ügyfél. Mindkét esetben az ügyfél és a tesztelő által talált hibák számának aránya 0,5 lesz, de megértjük, hogy az első esetben nem minden olyan rossz, a második esetben pedig itt az ideje, hogy megszólaljon.

Miután sok sikertelenül megpróbáltuk szigorú matematikai összefüggést teremteni a hibák teljes számával, ugyanannak a Irina Lagernek a szavaival élve ehhez a képlethez „mankókat” csatoltunk intervallumok formájában, amelyek mindegyikére meghatároztuk a sajátunkat. együtthatók. Három intervallum volt: 1-től 20-ig, 21-től 60-ig terjedő statisztika és több mint 60 hiba statisztikája.

*A hibák száma*	k	d	*Az ügyfél által talált hibák becsült elfogadható része a talált hibák teljes számából*

A táblázat utolsó oszlopa annak magyarázatára szolgál, hogy az ügyfél hány hibát találhat egy adott mintán. Ennek megfelelően minél kisebb a minta, annál nagyobb lehet a hiba, és annál több hibát találhat a vásárló. Ez a függvény szempontjából azt jelenti, hogy a vevő és a tesztelő által talált hibák számának hányadosának a maximális minimális értéke, amely után a hatásfok negatívvá válik, vagy azt a pontot, ahol a grafikon metszi az X tengelyt. Azaz minél kisebb a minta, annál jobbra kell lennie a tengellyel való metszéspontnak. Vezetői értelemben ez azt jelenti, hogy minél kisebb a minta, annál kevésbé pontos egy ilyen értékelés, ezért abból az elvből indulunk ki, hogy kisebb mintánál kevésbé kell szigorúan értékelni a tesztelőket.

A következő grafikonjaink vannak:

A fekete grafikon a 60-nál több hibából álló minta kritériumát tükrözi, a sárga - 21-60, a zöld - a 20-nál kevesebb hibából álló minta esetén. Látható, hogy minél nagyobb a minta, annál balra metszi a grafikon az X-tengelyt Mint már említettük, az értékelő munkavállaló számára ez azt jelenti, hogy minél nagyobb a minta, annál jobban megbízhat ebben a számban.

Az értékelési módszer abból áll, hogy a (2) képlet segítségével kiszámítják a tesztelő teljesítményét, figyelembe véve a korrekciós tényezőket, és összehasonlítják ezt az értékelést a grafikonon szereplő szükséges értékkel. Ha a pontszám az ütemezés felett van, akkor a tesztelő megfelel az elvárásoknak, ha alacsonyabb, a tesztelő a szükséges „léc” alatt dolgozik. Azt is szeretném megjegyezni, hogy mindezek az ábrák empirikusan kerültek kiválasztásra, és minden egyes szervezetnél idővel pontosabban változtathatók és kiválaszthatók. Ezért szívesen fogadok minden megjegyzést (itt vagy a személyes blogomon) és fejlesztéseket.

Számomra ésszerűnek és többé-kevésbé objektívnek tűnik ez a vizsgálati módszer, amely a tesztelő csapat és a vevő/felhasználó/ügyfél által talált hibák számának arányán alapul. Igaz, ilyen értékelést csak a projekt befejezése után, vagy legalábbis akkor lehet elvégezni, ha a rendszernek vannak aktív külső használói. De mi van akkor, ha a terméket még nem használták? Hogyan értékelhető ebben az esetben a tesztelő munkáját?

Ezenkívül a tesztelő hatékonyságának értékelésének ez a módszere számos további problémát vet fel:

1. Egy hiba több kisebbre osztódik.

· A tesztelésvezetőnek, aki ilyen helyzetet észlel, informális módszerekkel meg kell állítania azt.

2.A hibakezelés bonyolultabbá válik az ismétlődő rekordok növekvő száma miatt.

· A hibakövető rendszerben a hibák bejelentésére vonatkozó szabályok, beleértve a hasonló hibák meglétének kötelező felülvizsgálatát, segíthetnek megoldani ezt a problémát.

3. A talált hibák minőségének értékelésének hiánya, mivel a tesztelő egyetlen célja a hibák száma, és ennek következtében nincs motivációja a „minőségi” hibák keresésére. Mégsem lehet egyenlőségjelet tenni egy hiba kritikussága és „minősége” között, a második kevésbé formalizált fogalom.

· Itt a döntő szerepet mind a tesztelő, mind a vezető „hangulatának” kell játszania. Csak az ilyenek jelentésének általános helyes (!) megértése számszerűsítése megoldhatja ezt a problémát.

A fentieket összefoglalva arra a következtetésre jutunk, hogy a tesztelő munkáját csak a talált hibák száma alapján értékelni nemcsak nehéz, de nem is teljesen helyes. Ezért a talált hibák száma csak az egyik mutatója lehet a tesztelő munkájának integrált értékelésének, és nem tiszta formájában, hanem figyelembe véve az általam felsorolt tényezőket.

A tesztelési folyamatnak elsősorban annak a vállalatnak a szempontjából kell hatékonynak lennie, amelyben zajlik. Egy céget a tesztelési folyamat alábbi paraméterei érdekelhetnek:

· A tesztek kidolgozásához szükséges idő
· Egy vizsgálati ciklushoz szükséges idő
· A tesztek kidolgozásához és lebonyolításához szükséges személyzet képesítése

Ezen paraméterek bármelyikének megváltoztatásával a vállalat befolyásolhatja a tesztelés minőségét. Fontos azonban megérteni, hogy e paraméterek bármely kombinációja kifejezhető pénzben, és általában bármely konkrét folyamat a tesztelés egy olyan optimális kombináció, amely minimális költséggel megfelelő szintű vizsgálati minőséget ér el.

A tesztelési folyamat automatizálásával természetesen megváltoztatjuk a tesztelési folyamatot, és ezzel együtt a fent felsorolt paraméterek optimális kombinációja is megváltozik. Például arra számíthatunk, hogy a tesztek kidolgozásához szükséges idő megnő, a személyzeti képesítési követelmények nőnek, miközben jelentősen csökken az egy tesztelési ciklus időtartama. Tekintettel arra, hogy a paraméterek kombinációja újszerűvé vált, a tesztelés minősége valószínűleg a költségekkel együtt változik. Annak érdekében, hogy a vizsgálati folyamat hatékonyságának számszerű megfelelőjét lehessen adni, javasolt a minőségi paramétert egy bizonyos szinten rögzíteni. Ekkor egy bizonyos vizsgálati módszer hatékonyságának számszerű értékelése az lesz, hogy mekkora befektetés szükséges ahhoz, hogy egy bizonyos minőségi szintet biztosítson.

A tesztelés automatizálásának megvalósíthatóságát a manuális és az automatizált tesztelés költségeinek kiszámításával és azok összehasonlításával értékelik. A tesztautomatizálás pénzügyi megvalósíthatóságát általában nem lehet pontosan kiszámítani, mivel az olyan paraméterektől függ, amelyeket a termékfejlesztési folyamat során csak hozzávetőlegesen érthetünk meg (például a tervezett hossztól). életciklus rendszerek vagy az automatizálandó tesztek pontos listája).

Az automatizált tesztek végrehajtásához és működtetéséhez szükséges beruházás kiszámításához a kijelölt időszakra (Ip) a következő képletet használjuk:

I0 - Induló beruházások becslése, amely a szükséges engedélyek költségeiből áll szoftver autotesztek fejlesztésére, kiegészítő hardver költségére stb.

C0 - Az automatizált tesztek könyvtárának fejlesztésének és hibakeresésének költségének becslése, amelyet az egy tesztfejlesztő által egy automatizált teszt elkészítéséhez szükséges átlagos idő szorzataként számítanak ki (órában), megszorozva a munkaórájának költségével és az automatizálandó tesztek teljes száma.

Ce – Az összes automatizált teszt egy futtatásának becsült költsége, amelyet úgy számítanak ki, mint a tesztelés végrehajtására való felkészüléshez szükséges időt, hozzáadva az egy tesztelő által egy teszt elvégzéséhez szükséges átlagos időhöz, megszorozva egy munkaóra költségével és a teljes összeggel. tesztek száma. Esetünkben ezt a változót 0-nak vesszük, mivel a tesztelési ciklusra való felkészülés nem szükséges, és maga a tesztelés sem igényel további kontrollt a munkavállaló részéről, és teljesen autonóm módon történik.

Ca – Egy automatizált tesztelési ciklus egy iterációjának eredményeinek elemzésének becsült költsége, amelyet úgy számítanak ki, hogy a negatív tesztek arányának becslését szorozzák a tesztek számával, a negatív értékelés okainak elemzéséhez szükséges átlagos idővel. egy teszt egy tesztelő által, és egy tesztelő munkaórájának költsége.

Cm - Az automatizált tesztek működő és naprakész állapotban tartásának költségének becslése. Kiszámítása annak a valószínűsége, hogy egy tesztet a vizsgálati ciklusok között meg kell változtatni, megszorozva a tesztek számával, egy teszt frissítéséhez szükséges átlagos idővel és egy tesztelő munkaórájának költségével.

A kézi tesztelés becsült költségét (Gp) a következő képlet mutatja:

G0 - Kézi teszteléshez szükséges tesztesetek adatbázisának fejlesztési költségének becslése.

k - Ez a tervezett próbaüzemek (tesztciklusok) száma a termék életciklusának teljes hátralévő idejében.

Ge – Egy egyszeri kézi tesztelési ciklus becsült költsége, amely a tesztelésre való felkészüléssel töltött átlagos idő plusz egy tesztes általi elvégzéséhez szükséges átlagos idő, szorozva az esetek teljes számával és egy teszt költségével. tesztelő munkaideje.

Ga – Az eredmények elemzésének becsült költsége a kézi tesztelési ciklus egy futtatására vonatkozóan. Kiszámítása a negatív tesztek átlagos arányának becslése egy futtatás során, megszorozva a tesztek számával, azzal az átlagos idővel, amely egy teszt negatív értékelésének okainak elemzéséhez szükséges, valamint egy teszt költségével. a tesztelő munkaideje;

Gm – A kézi tesztek naprakészen tartásának költségeinek becslése. Kiszámítása annak a valószínűsége, hogy egy tesztet a vizsgálati ciklusok között meg kell változtatni, megszorozva a tesztek számával, egy teszt frissítéséhez szükséges átlagos idővel és egy tesztelő munkaórájának költségével.

Ha szükséges: felmérni a csapaton belüli kapcsolatokat, az alkalmazottak érdeklődését az eredmények iránt és motivációjukat.

Woodcock teszt

Utasítás

Olvassa el a csapatát leíró állításokat, és karikázza be azokat, amelyekkel egyetért. Ha úgy gondolja, hogy az állítás nem teljesen igaz, hagyja üresen a válasz mezőt.

Ne töltsön sok időt az egyes kijelentések gondolkodásával: néhány másodperc is elég.

Ne feledje, hogy az eredményeknek csak akkor lesz értelme, ha őszinte vagy.

Tesztfeladat

1. Csapatunk a vezetésben boldogul.

2. Úgy tűnik, ránk kényszerítik a döntéseket.

3. Az embereknek nincs kedvük megszólalni.

4. Nehéz helyzetben mindenki a saját érdekeit tartja szem előtt.

5. A kommunikáció fejlesztésre szorul.

6. A döntések a hierarchia nem megfelelő szintjén születnek.

7. Néhány vezető nem őszinte önmagához.

8. Ritkán kérdőjelezzük meg találkozóink lényegét vagy hasznát.

9. Nem teremtettek elegendő lehetőséget a fejlődésre.

10. Gyakran veszekedünk más részlegekkel.

11. A csapattagok nem kommunikálnak egymással kellőképpen.

12. Egyértelmű, hogy a szervezet mit vár el csapatunktól.

13. Az elfogadott megrendelést ritkán kérdőjelezik meg.

14. Valójában senkinek sem világos, hogy merre tartunk.

15. Az emberek nem azt mondják, amit valójában gondolnak.

16. Az embereknek az a hozzáállása, hogy „a házam a szélén van”.

17. Egy csapatban a konfliktus romboló hatású.

18. A döntések nem megfelelő információkon alapulnak.

19. Néhány vezetőben nem bíznak.

20. Nem tanulunk a hibáinkból.

21. A vezetők nem segítik beosztottjaikat a tanulásban.

22. A többi csoporttal hűvös a kapcsolat.

23. Nem gondoljuk át alaposan a szervezeten belüli pozíciónkat.

24. Csapatunk „politikailag” érzékeny.

25. Gyakran tapasztaljuk, hogy hiányoznak a szükséges képzettségeink.

26. Mindannyian nagyon elfoglaltak vagyunk, de úgy tűnik, nincs mindenhol időnk.

27. Vitatott kérdések a szőnyeg alá bújva.

28. Segítene, ha az emberek hajlandóbbak lennének beismerni a hibáikat.

29. Bizalmatlanság és ellenségeskedés van.

30. Az emberek nem hozhatnak döntéseket.

31. Kevés hűség a csapathoz.

32. Külső véleményeket nem fogadunk el.

33. Nagyobb munkaforgás kellene.

34. Ritkán dolgozunk hatékonyan más csapatokkal.

35. Nem tudtuk biztosítani az együttműködést más csapatokkal és osztályokkal.

36. A csapatban való munkavégzés képessége a kiválasztási kritérium ebbe a szervezetbe.

37. Senki sem hozza létre a szükséges kapcsolatokat más csoportokkal.

38. Nem töltjük a szükséges időt a jövő tervezésével.

39. Kerüljük a kényes kérdéseket.

40. Előfordul, hogy valakit „hátba szúrnak”.

41. Nem igazán dolgozunk együtt.

42. Rossz emberek hoznak döntéseket.

43. A menedzserek gyengék, nem állnak készen a harcra, és nem követelnek figyelmet a nézőpontjukra.

44. Nem kapok elég visszajelzést.

45. Nem megfelelő típusú készségeket alakítanak ki.

46. A szervezet más részeiről nem érkezik segítség.

47. Erős félreértés van csapatunk és a ránk nyomást gyakorló szakszervezetek között.

48. Ez a szervezet jutalmazza a csapatmunkát.

49. Nem fordítunk kellő figyelmet a kapcsolatokra.

50. Nincs világos elképzelésünk arról, hogy mit várnak el tőlünk.

51. Az őszinteség nem jellemző tulajdonsága csapatunk.

52. Nem érzem a kollégáim támogatását.

53. A képesítések és az információk nem megfelelőek.

54. Vannak erős személyiségek, akik a saját útjukat járják.

55. Az önbecsülést rossz szemmel nézik.

56. Több időt kellene töltenünk a munkamódszerek megvitatásával.

57. A vezetők nem veszik komolyan a személyes fejlődést.

58. A szervezet más részei nem értenek minket.

59. Nem tudjuk közvetíteni üzenetünket a külvilág felé.

60. A csapat tagjai jó kapcsolatot ápolnak a szervezet többi tagjával.

61. Gyakran túl gyorsan hozunk döntéseket.

62. Annak a cselekvésnek, amelyben az egyént értékelik, nem sok köze van az elért eredményekhez.

63. Túl sok titok.

64. A konfliktusokat elkerüljük.

65. A nézeteltérések korruptak.

66. A döntések iránti elkötelezettség alacsony.

67. Vezetőink úgy vélik, hogy a szigorúbb felügyelet javítja az eredményeket.

68. Túl sok tiltás van a csapatunkban.

69. Nyilvánvaló, hogy egy másik osztályon jobbak a lehetőségek.

70. Rengeteg energiát fordítunk a határaink védelmére.

71. A csapattagok nem értik, mit várnak el tőlük.

72. A szervezet kultúrája ösztönzi a csapatmunkát.

73. Nem fordítunk kellő figyelmet az új ötletekre.

74. A prioritások nem egyértelműek.

75. Az embereket nem vonják be kellőképpen a döntéshozatalba.

76. Túl sok kölcsönös vádaskodás és szemrehányás.

77. Nem mindig hallgatnak.

78. Nem használjuk ki teljesen a rendelkezésünkre álló készségeinket.

79. A menedzserek úgy vélik, hogy az emberek eredendően lusták.

80. Sok időt töltünk csinálással, és nem elég időt a gondolkodással.

81. Az egyén növekedési vágyát nem ösztönzik.

82. Nem próbáljuk megérteni más csapatok álláspontját.

83. Nem hallgatjuk meg ügyfeleinket.

84. A csapat a szervezet céljainak megfelelően működik.

Köszönöm a válaszokat!

A Woodcock-teszt kulcsa a csapat hatékonyságának felméréséhez

Leírás

A Woodcock teszt célja a csapat teljesítményének felmérése. Lehetővé teszi a csapaton belüli kapcsolatok, az alkalmazottak eredmények iránti érdeklődésének és motivációjának felmérését. Figyelembe veszik a vállalat lojalitását és a szervezet részlegei közötti interakció szintjét is.

A tesztelés elve egyszerű. Minden csapattag, beosztástól függetlenül, egy 84 állítást tartalmazó kérdőívet tölt ki. Ezután egy speciális táblázat segítségével kiszámítják és elemzik az eredményeket.

Ha kétségei vannak abban, hogy a csapat tagjai őszintén válaszolnak a kérdésekre, próbálja meg biztosítani, hogy a tesztelés anonim legyen. Nagyjából ez már a csapat viszonyának mutatója. Mindazonáltal továbbra is hasznos a tesztelés, mivel annak eredményei pontosabban azonosítják a csapat munkájának hiányosságait.

Emellett nagyon hasznos a vezetők és beosztottjaik teszteredményeinek összehasonlítása. Ez lehetővé teszi, hogy felmérje a csapat légkörét, és meghatározza a beosztottak vezetésbe vetett bizalmának mértékét.

A teszt kulcsa

Helyezze át a kérdőívből a kiválasztott válaszokat az eredménytáblázatba. Számolja meg az egyes oszlopokban lévő jelek számát. Jegyezze fel a mennyiséget az „Összesen” sorba.

Eredmény táblázat

	A	IN	VEL	D	E	F	G	N	én	J	TO	L
	1	2	3	4	5	6	7	8	9	10	11	12
	13	14	15	16	17	18	19	20	21	22	23	24
	25	26	27	28	29	30	31	32	33	34	35	36
	37	38	39	40	41	42	43	44	45	46	47	48
	49	50	51	52	53	54	55	56	57	58	59	60
	61	62	63	64	65	66	67	68	69	70	71	72
	73	74	75	76	77	78	79	70	81	82	83	84
Teljes

Vigye át az oszlopok számát az Összes sorból a táblázatba.