Hinnang 2016. aasta valimisprognoosid

Selle kuu alguses BuzzFeed Newsis teatasime, et hindame selle aasta valimisprognoose . Esmaspäeva pärastlõunal lõpuks Michigani lõuendikomisjon kinnitas Trumpi võitu . Nüüd, kui iga osariik on lõpuks kutsutud - eeldades seda Jill Steini ümberjutustus ei muuda asju - meil on tulemused.



Jah, küsitlused olid valed . Kuid mõned ennustajad, kes tavaliselt tuginevad küsitlustele ja kombineerivad neid sageli teiste andmetega, et anda tõenäosus, kes võidab, eksisid vähem kui teised. Selle kindlakstegemiseks pole vaja väljamõeldud matemaatikat Nate Silveri FiveThirtyEight prognoosid kuigi nad andsid Hillary Clintonile paremaid koefitsiente kui Trumpil, olid nad kõige vähem valed. Ta mitte ainult ei andnud Trumpile rohkem kui 1: 4 võimalust valimiste võitmiseks, vaid ka tema korduvalt kaitses tema prognoosid ' bullishness Trumpile , põhjustel, mis hiljem tõestanud ettenägelik . Teised kõrgetasemelised prognoosid andsid Trumpile väiksed ja kaduvad koefitsiendid.

Kokkuvõtteks, siin on meie analüüsitud prognoosid, mis on loetletud tõenäosuse järgi, et Trump Clintoni valimiskolledžis peksab või seob:



Need prognoosid põhinevad sellel, kuidas 50 osariiki ja Columbia ringkonda oodati hääletama. Me saame ennustajate otsusest paremini aru saada, ehkki veel ebatäiuslikult, vaadates, kuidas nad ennustasid üksikute osariikide võistlusi.

Põhitõed taanduvad sellele: millised ennustajad said kõige rohkem kõnesid? Milline jõudis Clintoni ja Trumpi lõplikule marginaalile kõige lähemale? Millised ennustajad tasakaalustavad enesekindlust ja õigsust kõige paremini? (Näiteks: kas nad andsid Clintonile 99% võimaluse võita Michigani või 80% võimaluse? Ja kas neil oli õigus?)

Lihtne lähenemisviis keeruliste prognooside hindamiseks

Lihtsaim lähenemisviis on lihtsalt arvutada olekute arv, mida iga ennustaja õigesti kutsus. Kuid see jätab kriitilise nüansi vahele. Näiteks ei võeta arvesse erinevust 51% ja 99% koefitsientide vahel. Sellegipoolest on see lihtne koht alustamiseks.

Princetoni valimiste konsortsiumi Sam Wang arvas rohkem osariike õigesti kui keegi teine, keda me uurisime: 46 pluss Columbia ringkond. Silveri FiveThirtyEight ja peaaegu iga teine ​​prognoos said 45 õiget. (Erinevalt teistest ennustajatest arvas Wang, et Trump võidab Põhja -Carolina.)

See toob esile paradoksi: vaatamata oma valesti liigsele enesekindlusele, et Clinton võtab Valge Maja - andes talle 99% võimaluse - arvas Wang rohkem osariike kui keegi teine.

Miks ta siis arvas, et Trumpil on nii väike võimalus võita? Mitte ainult ei teinud osariigi küsitlused ebaõnnestuvad , kuid enamik ebaõnnestus samamoodi: alahinnates Trumpi. Seda nimetatakse korrelatsiooniveaks. Kõik ennustajad mõistavad, et küsitlused pole täiuslikud; mõnikord küsitlevad nad valesid inimesi või kaaluge oma vastuseid valesti . Kuid ennustaja töö osaks on hinnata, kui tõenäoline ja kui ulatuslik korrelatsioon võib olla. Paljud ennustajad pidas seda väljavaadet ebatõenäoliseks , aga Nate Silver seda ei teinud .

Seekordsetel valimistel olen mina süüdi , Wang märkis selle vea oma prognoosi Achilleuse kannaks. Ma ei hinnanud korrelatsioonivea suurust õigesti - viis korda, kirjutas ta. Küsitlused ebaõnnestusid ja ma võimendasin seda ebaõnnestumist.

Nüansirikkam lähenemine

Kas olete valmis natuke rohkem matemaatikaks? Mõõdik nimega Brier skoor kasutatakse laialdaselt ennustajate täpsuse kvantifitseerimiseks - valimistel ja pärast seda. (See on peamine näitaja ütlesime, et kasutame hindamiseks . Oleme postitanud nende arvutuste taga olevad andmed ja kood GitHubis .)

Brieri hinded võtavad arvesse ainult kahte asja: kui suure tõenäosusega arvas ennustaja, et midagi juhtub, ja kas seda ka tehti? Brier hindab tasu enesekindluse eest, kui teil on õigus, kuid karistab usaldust, kui eksite.

Väiksemad tulemused on paremad. Null on parim võimalik skoor - see tähendab, et olite oma prognoosides 100% kindel ja kõik said paika. Halvim võimalik skoor on 1 - olite oma prognoosides 100% kindel ja nad kõik eksisid.

Allpool on iga prognoosi jaoks kahte tüüpi Brieri skoori. Esimest kaaluvad iga osariigi valijate hääled, nii et Pennsylvania (20 häält) on viis korda suurem kui New Hampshire (4 häält). Teine loeb iga osariiki võrdselt:

Nagu näete, said FiveThirtyEighti prognoosid parima tulemuse. The New York Times ja PollSavvy - mis andis Trumpi presidendiks järgmised viis parimat võimalust pärast FiveThirtyEightit - saavutasid osariigi tasemel ka suhteliselt hea tulemuse. Halvima tulemusega prognoosid olid pärit Huffington Post ja Igapäevane Kos , mis mõlemad andsid peaaegu kindla tõenäosuse, et Clinton võitis Pennsylvania, Wisconsini ja Michigani. (Varsti pärast valimisi Huffington Post Küsitlustoimetaja kirjutas selgitava artikli kuidas me seda lõime ja mida me teeme, et vältida kordumist .)

Ülaltoodud tabelis märkate, et kõik prognoosid olid kaalutud veerus halvemad kui kaalumata. See on sisuliselt öeldes: Üldiselt olid ennustajad rahvaarvuga osariikides tulemust ennustades halvemad kui väiksemates. (Kõrvalmärkus: Isegi selle aasta kõige täpsemad prognoosid toimisid Brieri skooril halvemini kui mis tahes kõrgetasemelisi prognoose 2012 , valimised, kus on palju vähem üllatusi.)

Teine levinud mõõdik on logaritmiline punktisüsteem - mis määrab veelgi suurema karistuse valele usaldusele - annab sarnase paremusjärjestuse üla- ja alaosas, paar vahetust pakendi keskel ja karistab Igapäevane Kos selle eest ekstra äärmine bullishness Clintonil Michiganis :



Märkus. Ümardamiseks arvestatakse ülaltoodud logitulemustega kõik 0% võimalused 0,01% (või 1/10 000) võimaluseks.

Tom Hanksi nimi hädas

Vaadates ennustajate ennustusi aja jooksul, näete, et novembri alguses on FiveThirtyEight'i prognoos ülejäänud pakendist eraldatud:



Hääletuse ennustamine

On selge, et küsitlused ei esindanud Trumpi toetust. Kuid milline prognoos ennustas osariigi tasandi häälte osakaalu kõige täpsemalt? Sellele küsimusele on veidi keerulisem vastata, sest ennustajad esindasid Trumpi eeldatavat võidumarginaali veidi erineval viisil. Prognoose saame rühmitada kahte tüüpi, mõningase kattumisega:

  • Prognoosid, mis võimaldavad arvutada Trumpi oodatavat protsendipunkti võidumarginaal kõigi häälte hulgas Clintoni üle. See rühm sisaldab FiveThirtyEight, PollSavvy, New York Times , Princetoni valimiste konsortsium ja Huffington Post .

  • Prognoosid, mis võimaldavad arvutada Trumpi oodatavat osa kahe partei häältest (st välja arvatud Johnson, Stein ja McMullin). See rühm sisaldab FiveThirtyEight, PollSavvy, Igapäevane Kos , Kremp / Kiltkivi ning Desart ja Holbrook. (PredictWise ei teinud häälte jagamise prognoose.)

Arvutasime iga presidendiriigi prognoosi jaoks, välja arvatud DC (mida mõned prognoosid ei hinnanud) ja Utah (kus ennustajad lähenesid McMullini kandidatuurile erinevalt). keskmise keskmise ruudu viga ennustajate prognoositud marginaalidest võrreldes tegelike tulemustega. (Mõned osariigid ei ole veel oma häältest täielikult teatanud, kuid iga jooksu varu näib olevat stabiilne. Uuendame postitust, kui lõplikud loendused on käes.)

Esimese grupi parim tulemus oli FiveThirtyEightil (väiksemad numbrid on paremad):



Teiste seas läks FiveThirtyEightil halvemini, osaliselt seetõttu, et alahinnati Trumpi toetust vabariiklaste kindlustele, nagu Lääne -Virginia ja Lõuna -Dakota, suuremal määral kui näiteks Igapäevane Kos tegi:



Senati võistlused

Paljud ennustajad avaldasid ka selle aasta senati võistluste ennustused. Allolevas tabelis on näidatud, kuidas nad saavutasid 32 hinde, mille hindasime. (Me ei hinnanud California senati võistlust, mis pani kaks demokraati üksteise vastu, või Louisiana oma, mis oli tehniliselt esmane.)



Siin, FiveThirtyEight ja New York Times juhtis pakki, kuigi täpne paremusjärjestus sõltub sellest, kuidas seda skoorite. Brieri tulemuste kohaselt tõusis FiveThirtyEighti küsitluste pluss mudel välja Ajad . Kuid logaritmiline punktisumma reegel määras küsitluste vastu just piisavalt lisakaristusi-pluss liigse usalduse eest Russ Feingoldi võimaluste suhtes Wisconsinis-anda Ajad ülemine koht.

See selleks aastaks.