La estadística és una ciència amb base matemàtica referent a la recol·lecció, anàlisi i interpretació de dades, que busca explicar condicions regulars en fenòmens de tipus aleatori.
És transversal a una àmplia varietat de disciplines, des de la física fins a les ciències socials, des de les ciències de la salut fins al control de qualitat. S'usa per a la presa de decisions en àrees de negocis o institucions governamentals.
L'estadística es divideix en dues branques:
Ambdues branques (descriptiva i inferencial) comprenen la estadística aplicada. Hi ha també una disciplina anomenada estadística matemàtica, la qual es refereix a les bases teòriques de la matèria. La paraula «estadístiques» també es refereix al resultat d'aplicar un algorisme estadístic a un conjunt de dades, com en estadístiques econòmiques, estadístiques criminals, etc.
Contingut |
La paraula «estadística» procedeix del llatí statísticum collégium (‘consell d'Estat’) i del seu derivat italià statista (‘home d'Estat’ o ‘polític’). El terme alemany statistik, que va anar primerament introduït per Gottfried Achenwall (1749), designava originalment l'anàlisi de dades del Estat, és a dir, «la ciència de l'Estat» (també cridada «aritmètica política» de la seva traducció directa de l'anglès). No va ser fins al segle XIX quan el terme «estadística» va adquirir el significat de recol·lectar i classificar dades. Aquest concepte va ser introduït per l'anglès John Sinclair.
A l'origen, per tant, l'estadística va estar associada a dades, a ser utilitzats pel govern i cossos administratius (sovint centralitzats). La col·lecció de dades sobre estats i localitats continua àmpliament a través dels serveis d'estadística nacionals i internacionals. En particular, els censos subministren informació regular sobre la població.
Des dels començaments de la civilització han existit maneres senzilles d'estadística, doncs ja s'utilitzaven representacions gràfiques i altres símbols en pells, roques, pals de fusta i parets de coves per explicar el nombre de persones, animals o certes coses. Cap a l'any 3000 a. C. els babilònics usaven ja petites tablillas d'argila per recopilar dades en taules sobre la producció agrícola i dels gèneres venuts o canviats mitjançant barata. Els egipcis analitzaven les dades de la població i la renda del país molt abans de construir les piràmides al segle XI a. C. Els llibres bíblics de Nombres i Cròniques inclouen, en algunes parts, treballs d'estadística. El primer conté dos censos de la població de Israel i el segon descriu el benestar material de les diverses tribus jueves. A Xina existien registres numèrics similars amb anterioritat a l'any 2000 a. C. Els grecs clàssics realitzaven censos la informació dels quals s'utilitzava cap al 594 a. C. per cobrar imposats.
Els mètodes estadístic-matemàtics van emergir des de la teoria de probabilitat, la qual data des de la correspondència entre Blaise Pascal i Pierre de Fermat (1654). Christian Huygens (1657) dóna el primer tractament científic que es coneix a la matèria. El Ars coniectandi (pòstum, 1713) de Jakob Bernoulli i la Doctrina de possibilitats (1718) de Abraham de Moivre van estudiar la matèria com una branca de les matemàtiques.[1] En l'era moderna, el treball de Kolmogórov ha estat un pilar en la formulació del model fonamental de la Teoria de Probabilitats, el qual és usat a través de l'estadística.
La teoria d'errors es pot remuntar a la Òpera miscellánea (pòstuma, 1722) de Roger Cotes i al treball preparat per Thomas Simpson en 1755 (imprès en 1756) el qual aplica per primera vegada la teoria de la discussió d'errors d'observació. La reimpressió (1757) d'aquest treball inclou el axioma que errors positius i negatius són igualment probables i que hi ha uns certs límits asignables dins dels quals es troben tots els errors; es descriuen errors continus i una corba de probabilitat.
Pierre-Simon Laplace (1774) fa el primer intent de deduir una regla per a la combinació d'observacions des dels principis de la teoria de probabilitats. Laplace va representar la llei de probabilitats d'errors mitjançant una corba i va deduir una fórmula per a la mitjana de tres observacions. També, en 1871, obté la fórmula per a la llei de facilitat de l'error (terme introduït per Lagrange, 1744) però amb equacions inmanejables. Daniel Bernoulli (1778) introdueix el principi del màxim producte de les probabilitats d'un sistema d'errors concurrents.
El mètode de mínims quadrats, el qual va ser usat per minimitzar els errors en mesuraments, va ser publicat independentment per Adrien-Marie Legendre (1805), Robert Adrain (1808), i Carl Friedrich Gauss (1809). Gauss havia usat el mètode en la seva famosa predicció de la localització del planeta nan Ceres en 1801. Proves addicionals van ser escrites per Laplace (1810, 1812), Gauss (1823), James Ivory (1825, 1826), Hagen (1837), Friedrich Bessel (1838), W.F. Donkin (1844, 1856), John Herschel (1850) i Morgan Crofton (1870). Altres contribuidores van ser Ellis (1844), Augustus De Morgan (1864), Glaisher (1872) i Giovanni Schiaparelli (1875). La fórmula de Peters para r, el probable error d'una observació simple és ben conegut.
El segle XIX inclou autors com Laplace, Silvestre Lacroix (1816), Littrow (1833), Richard Dedekind (1860), Helmert (1872), Hermann Laurent (1873), Liagre, Didion i Karl Pearson. Augustus De Morgan i George Boole van millorar la presentació de la teoria. Adolphe Quetelet (1796-1874), va anar un altre important fundador de l'estadística i qui va introduir la noció del «home mitjana» (l’homme moyen) com un mitjà d'entendre els fenòmens socials complexos tals com a taxes de criminalitat, taxes de matrimoni o taxes de suïcidis.
Durant el segle XX, la creació d'instruments precisos per a assumptes de salut pública (epidemiologia, bioestadística, etc.) i propòsits econòmics i socials (taxa de desocupació, econometria, etc.) va necessitar d'avanços substancials en les pràctiques estadístiques.
Avui l'ús de l'estadística s'ha estès més enllà dels seus orígens com un servei al Estat o al govern. Persones i organitzacions usen l'estadística per entendre dades i prendre decisions en ciències naturals i socials, medicina, negocis i altres àrees. L'estadística és entesa generalment no com un sub-àrea de les matemàtiques sinó com una ciència diferent «aliada». Moltes universitatés tenen departaments acadèmics de matemàtiques i estadística separadament. L'estadística s'ensenya en departaments tan diversos com a psicologia, educació i salut pública.
En aplicar l'estadística a un problema científic, industrial o social, es comença amb un procés o població a ser estudiat. Aquesta pot ser la població d'un país, de grans cristal·litzats en una roca o de béns manufacturats per una fàbrica en particular durant un període donat. També podria ser un procés observat en diversos instants i les dades recollides d'aquesta manera constitueixen una seriï de temps.
Per raons pràctiques, en lloc de compilar dades d'una població sencera, usualment s'estudia un subconjunt seleccionat de la població, anomenat mostra. Dades sobre la mostra són recollits de manera observacional o experimental. Les dades són llavors analitzats estadísticament la qual cosa segueix dos propòsits: descripció i inferència.
El concepte de correlació és particularment valuós. Anàlisis estadístiques d'un conjunt de dades pot revelar que dues variables (això és, dues propietats de la població sota consideració) tendeixen a variar conjuntament, com si hi hagués una connexió entre elles. Per exemple un estudi de l'ingrés anual i l'edat de mort entre persones podria resultar que persones pobres tendeixen a tenir vides més curtes que persones de major ingrés. Les dues variables es diuen a ser correlacionades. No obstant això, no es vaig poder inferir immediatament l'existència d'una relació de causalitat entre les dues variables. El fenomen correlacionat podria ser la causa d'un tercer, prèviament no considerat, anomenat variable confosa.
Si la mostra és representativa de la població, inferències i conclusions fetes en la mostra poden ser esteses a la població completa. Un problema major és el de determinar que tan representativa és la mostra extreta. L'estadística ofereix mesures per estimar i corregir per aleatoriedad en la mostra i en el procés de recol·lecció de les dades, així com mètodes per dissenyar experiments robusts com a primera mesura, veure disseny experimental.
El concepte matemàtic fonamental empleat per entendre l'aleatoriedad és el de probabilitat. La estadística matemàtica (també cridada teoria estadística) és la branca de les matemàtiques aplicades que usa la teoria de probabilitats i la anàlisi matemàtica per examinar les bases teòriques de l'estadística.
L'ús de qualsevol mètode estadístic és vàlid solament quan el sistema o població sota consideració satisfà els supòsits matemàtics del mètode. El mal ús de l'estadística pot produir seriosos errors en la descripció i interpretació, afectant les polítiques socials, la pràctica mèdica i la qualitat d'estructures tals com a ponts i plantes de reacció nuclear.
Fins i tot quan l'estadística és correctament aplicada, els resultats poden ser difícilment interpretats per un no expert. Per exemple, el significat estadístic d'una tendència en les dades, que mesura el grau al com la tendència pot ser causada per una variació aleatòria en la mostra, pugues no estar d'acord amb el sentit intuïtiu. El conjunt d'habilitats estadístiques bàsiques (i l'escepticisme) que una persona necessita per manejar informació en el dia a dia es refereix com a «cultura estadística».
Un objectiu comú per a un projecte d'investigació estadística és investigar la causalitat, i en particular extreure una conclusió en l'efecte que alguns canvis en els valors de predictores o variables independents tenen sobre una resposta o variables depenents. Hi ha dos grans tipus d'estudis estadístics per estudiar causalitat: estudis experimentals i observacionals. En ambdós tipus d'estudis, l'efecte de les diferències d'una variable independent (o variables) en el comportament d'una variable depenent és observat. La diferència entre els dos tipus és la forma en què l'estudi és conduït. Cadascun d'ells pot ser molt efectiu.
Un estudi experimental implica prendre mesuraments del sistema baix estudi, manipular el sistema i després prendre mesuraments addicionals usant el mateix procediment per determinar si la manipulació ha modificat els valors dels mesuraments. En contrast, un estudi observacional no necessita manipulació experimental. Per contra, les dades són recollides i les correlacions entre predictores i la resposta són investigades.
Un exemple d'un estudi experimental és el famós experiment d'Hawthorne el qual pretenia provar canvis en l'ambient de treball en la planta Hawthorne de la Western Electric Company. Els investigadors estaven interessats en si en incrementar la il·luminació en un ambient de treball, la producció dels treballadors augmentava. Els investigadors primer van mesurar la productivitat de la planta i després van modificar la il·luminació en un àrea de la planta per veure si canvis en la il·luminació afectarien la productivitat. La productivitat va millorar sota totes les condicions experimentals. No obstant això, l'estudi va ser molt criticat per errors en els procediments experimentals, específicament la falta d'un grup control i seguiment.
Un exemple d'un estudi observacional és un estudi que explora la correlació entre fumar i el càncer de pulmó. Aquest tipus d'estudi normalment usa una enquesta per recollir observacions sobre l'àrea d'interès i després produeix una anàlisi estadística. En aquest cas, els investigadors recollirien observacions de fumadors i no fumadors i després mirarien els casos de càncer de pulmó en ambdós grups.
Els passos bàsics per a un experiment són:
Hi ha quatre tipus de mesuraments o escales de mesurament en estadística. Els quatre tipus de anivellis de mesurament (nominal, ordinal, interval i raó) tenen diferents graus d'ús en la investigació estadística. Les mesures de raó, on un valor zero i distàncies entre diferents mesuraments són definides, donen la major flexibilitat en mètodes estadístics que poden ser usats per analitzar les dades. Les mesures d'interval tenen distàncies interpretables entre mesuraments, però un valor zero sense significat (com els mesuraments de coeficient intel·lectual o temperatura en graus Celsius). Les mesures ordinals tenen imprecises diferències entre valors consecutius, però un ordre interpretable per als seus valors. Les mesures nominals no tenen cap rang interpretable entre els seus valors.
L'escala de mesura nominal, pot considerar-se l'escala de nivell més baix. Es tracta d'agrupar objectes en classes. L'escala ordinal, per la seva banda, recorre a la propietat de «ordre» dels nombres. L'escala d'intervals iguals està caracteritzada per una unitat de mesura comuna i constant. És important destacar que el punt zero en les escales d'intervals iguals és arbitrari, i no reflecteix en cap moment absència de la magnitud que estem mesurant. Aquesta escala, a més de posseir les característiques de l'escala ordinal, permet determinar la magnitud dels intervals (distància) entre tots els elements de l'escala. L'escala de coeficients o Raons és el nivell de mesura més elevat i es diferencia de les escales d'intervals iguals únicament per posseir un punt zero propi com a origen; és a dir que el valor zero d'aquesta escala significa absència de la magnitud que estem mesurant. Si s'observa una manca total de propietat, es disposa d'una unitat de mesura per a l'efecte. A iguals diferències entre els nombres assignats corresponen iguals diferències en el grau d'atribut present en l'objecte d'estudi.
Alguns tests i procediments per a investigació de observacions ben coneguts són:
Alguns camps d'investigació usen l'estadística tan extensament que tenen terminologia especialitzada. Aquestes disciplines inclouen:
L'estadística és una eina bàsica en negocis i producció. És usada per entendre la variabilitat de sistemes de mesurament, control de processos (com en control estadístic de processos o SPC (CEP)), per compilar dades i per prendre decisions. En aquestes aplicacions és una eina clau, i probablement l'única eina disponible.
El ràpid i sostingut increment en el poder de càlcul de la computació des de la segona meitat del segle XX ha tingut un substancial impacte en la pràctica de la ciència estadística. Vells models estadístics van ser gairebé sempre de la classe dels models lineals. Ara, complexos computadors juntament amb apropiats algorismes numèrics, han causat un renéixer de l'interès en models no lineals (especialment xarxes neuronals i arbres de decisió) i la creació de nous tipus tals com a models lineals generalitzats i models multinivell.
L'increment en el poder computacional també ha portat al creixement en popularitat de mètodes intensius computacionalment basats en remuestreo, tals com a tests de permutació i de bootstrap, mentre tècniques com el mostreig de Gibbs han fet els mètodes bayesianos més accessibles. La revolució en computadors té implicacions en el futur de l'estadística, amb una nova èmfasi en estadístiques «experimentals» i «empíriques». Un gran nombre de paquets estadístics està ara disponible per als investigadors. Els sistemes dinàmics i teoria del caos, des de fa una dècada, van començar a interessar en la comunitat hispana, doncs en l'anglosaxona d'Estats Units estava ja establerta la «conducta caòtica en sistemes dinàmics no lineals» amb 350 llibres per 1997 i començaven alguns treballs en els camps de les ciències socials i en aplicacions de la física. També s'estava contemplant el seu ús en analítica.
Hi ha una percepció general que el coneixement estadístic és intencionada i massa freqüentment mal usat, trobant maneres d'interpretar les dades que siguin favorables al presentador. Una dita famosa, pel que sembla de Benjamin Disraeli,[2] és: «Hi ha tres tipus de mentides: mentides petites, mentides grans i estadístiques». El popular llibre How to lie with statistics (‘com mentir amb les estadístiques’) de Darrell Huff discuteix molts casos de mal ús de l'estadística, amb èmfasi en gràfiques malintencionades. En escollir (o rebutjar o modificar) una certa mostra, els resultats poden ser manipulats; eliminant outliers per exemple. Est pot ser el resultat de fraus o biaixos intencionals per part de l'investigador. Lawrence Lowell (degà de la Universitat d'Harvard) va escriure en 1909 que les estadístiques, «com alguns pastissos, són bones si se sap qui les va fer i s'està segur dels ingredients».
Alguns estudis contradiuen resultats obtinguts prèviament, i la població comença a dubtar en la veracitat de tals estudis. Es podria llegir que un estudi diu (per exemple) que «fer X redueix la pressió sanguínia», seguit per un estudi que diu que «fer X no afecta la pressió sanguínia», seguit per un altre que diu que «fer X incrementa la pressió sanguínia». Sovint els estudis es fan seguint diferents metodologies, o estudis en mostres petites que prometen resultats meravellosos que no són obtenibles en estudis de major grandària. No obstant això, molts lectors no noten tals diferències, i els mitjans de comunicació simplifiquen la informació al voltant de l'estudi i la desconfiança del públic comença a créixer.
No obstant això, les crítiques més fortes vénen del fet que l'aproximació de proves d'hipòtesis, àmpliament usada en molts casos requerits per llei o reglamentació, obliguen una hipòtesi a ser 'afavorida' (la hipòtesi nul·la), i pot també exagerar la importància de petites diferències en estudis grans. Una diferència que és altament significativa pot ser de cap significancia pràctica.
En els camps de la psicologia i la medicina, especialment pel que fa a l'aprovació de noves drogues per la Food and Drug Administration, crítiques de l'aproximació de prova d'hipòtesi s'han incrementat en els anys recents. Una resposta ha estat una gran èmfasi en el p-valor en comptes de simplement reportar si la hipòtesi va ser rebutjada al nivell de significancia α donat. De nou, no obstant això, això resumeix l'evidència per a un efecte però no la grandària de l'efecte. Una possibilitat és reportar intervals de confiança, ja que aquests indiquen la grandària de l'efecte i la incertesa. Això ajuda a interpretar els resultats, com l'interval de confiança per un α donat indicant simultàniament la significancia estadística i l'efecte de grandària.
El p valor i els intervals de confiança són basats en els mateixos càlculs fonamentals com aquells per a les corresponents proves d'hipòtesis. Els resultats són presentats en un format més detallat, en lloc del si-o-no de les proves d'hipòtesis i amb la mateixa metodologia estadística.
Una molt diferent aproximació és l'ús de mètodes bayesianos. Aquesta aproximació ha estat, no obstant això, també criticada.
El fort desig de veure bones drogues aprovades i el de veure drogues perilloses o de poc ús sent rebutjades crea tensions i conflictes (errors tipus I i II en el llenguatge de proves d'hipòtesis).