Dreigingsanalyses cybercrime meestal ongeloofwaardig
Hoe betrouwbaar zijn schattingen over de schade van cybercrime eigenlijk? Donderdag 30 juni publiceert het ministerie van Veiligheid en Justitie voor de eerste keer haar eigen ‘Dreigingsbeeld’ over cybersecurity, waar cybercrime een onderdeel van is. Een net gepubliceerde studie onderzoekt zulke dreigingsbeelden en concludeert dat ramingen van schade doorgaans ongeloofwaardig zijn. Maakt het Ministerie dezelfde fout?
Bits of Freedom is van meet af aan kritisch op het baseren van cybersecurity- en cybercrimebeleid op eigen analyses van ministeries. Daarom adviseerden we in onze Kamerbrief over de Nationale Cybersecurity Strategie (PDF) om een onafhankelijke, openbare en wetenschappelijk verantwoorde nulmeting naar de aard én de omvang van de problematiek uit te laten voeren. Cybersecurity – wat is het precies en is er, zoals een onderzoek van de OECD en security expert Bruce Schneier stellen, inderdaad sprake van een hype?
Het belang van ons advies wordt onderstreept door een net gepubliceerde studie van Microsoft Research, waaruit blijkt dat 75% van de onderzochte ‘dreigingsbeelden’ ongeloofwaardig blijken. Het onderzoek stelt:
‘Much of the information we have on cyber-crime losses is derived from surveys. We examine some of the difficulties of forming an accurate estimate by survey. First, losses are extremely concentrated, so that representative sampling of the population does not give representative sampling of the losses. Second, losses are based on unverified self-reported numbers. Not only is it possible for a single outlier to distort the result, we find evidence that most surveys are dominated by a minority of responses in the upper tail (i.e., a majority of the estimate is coming from as few as one or two responses). Finally, the fact that losses are confined to a small segment of the population magnifies the difficulties of refusal rate and small sample sizes. Far from being broadly-based estimates of losses across the population, the cyber-crime estimates that we have appear to be largely the answers of a handful of people extrapolated to the whole population. A single individual who claims $50,000 losses, in an N = 1000 person survey, is all it takes to generate a $10 billion loss over the population. One unverified claim of $7,500 in phishing losses translates into $1.5 billion.’ (p. 1)
Cybercrime-beleid blijkt dus vaak op los zand te zijn gebaseerd. In de conclusie spreken de onderzoekers hun zorg uit over deze trend:
‘Are we really producing cybercrime estimates where 75% of the estimate comes from the unverified self-reported answers of one or two people? Unfortunately, it appears so. Can any faith whatever be placed in the surveys we have? No, it appears not.’
De Tweede Kamer vroeg minister Opstelten op 1 juni 2011 om bij het opstellen van zijn ‘Dreigingsbeeld’ duidelijk aan te geven wat de aard en de omvang van de problematiek over cybersecurity is, en waar het dreigingsbeeld op gebaseerd is. Helaas dwong de Kamer geen onafhankelijk en wetenschappelijk verantwoord onderzoek af. Wel hield de Kamer nadrukkelijk de mogelijkheid open om zelf initiatief te nemen in het geval dat het ‘Dreigingsbeeld’ op dit gebied ontoereikend zou zijn.
Vandaag publiceert het Ministerie haar eigen ‘Dreigingsbeeld’. Volgt haar document de trend die door de onderzoekers wordt geschetst? Bits of Freedom zal de analyse van het Ministerie grondig bestuderen en daarover publiceren op deze blog. Wordt vervolgd.
UPDATE (14.07.10): in tegenstelling tot eerdere toezeggingen, is de publicatie van de dreigingsanalyse uitgesteld. Het is onbekend wanneer het dreigingsbeeld gepubliceerd zal worden, al valt te verwachten dat dit na het zomerreces zal zijn.
Mark Lindhout
»Not only is it possible for a single outlier to distort the result, we find evidence that most surveys are dominated by a minority of responses in the upper tail«
Tja, zo kan ik het natuurlijk ook. Als die ‘outliers’ niet zouden bestaan zou er geen sprake zijn van een gevaar. Da’s natuurlijk een gigantische denkfout, want ze bestaan wél, en hebben dus ook invloed.
Maar goed, het punt van het artikel is dat er wel erg veel wordt vrij geëxtrapoleerd, zonder dat daar harde data voor is. Meetbaar is dit soort criminaliteit natuurlijk niet erg, want welk bedrijf zal vrijwillig toegeven dat hun data op straat ligt, of dat ze verlies hebben geleden door slechte beveiliging?
Hoewel dat punt blijft staan, is het een slordig, slecht onderbouwd artikel dat meer lijkt op een afleidingsmanoeuvre dan een geldige riposte. Veel gemakkelijk scorende ‘feitjes’ naast een bak met wiskunde waar de honden geen brood van lusten.
Nee, weinig overtuigend. En als ik zie door welk bedrijf het is gesponsord, verwordt het tot niets meer dan een semi-academische marketingtruc.
Willemijn Aerdts
@Mark Lindhout Het aangehaalde onderzoek stelt kritische vragen over de betrouwbaarheid van bestaande cybercrime analyses, en sluit aan bij onze zorg over dit soort analyses. Maar dat wil niet zeggen dat het probleem zelf daarmee gebagatelliseerd wordt.
Joris W
Bedrijven/ organisaties zullen inderdaad (individueel) niet snel informatie uitgeven over het feit dat er cybercrime heeft plaats gevonden binnen het bedrijf/ organisatie. Deze bedrijven zijn veelal bang voor de negatieve publiciteit (willen het liever zelf oplossen). Daarnaast kunnen ze hun verlies claimen bij de verzekering, of berekenen ze de geleden kosten door naar de klant. Dit geeft aan dat het lastig is een goed gefundeerd beeld te krijgen over de cybercrime problematiek omtrent publiek/ private organisaties. Betreft dat punt ben ik het ermee eens. Dit neemt niet weg dat het onmogelijk is. We moeten niet vergeten dat het Cyber Security Centrum meerdere publieke/ private partijen bevat die gezamenlijk de problematiek omtrent cybercrime bespreken. Een organisatie zal eerder een probleem aangeven in een gezamenlijk Cyber Security Centrum dan individueel. Dit gezegd te hebben ben ik blij dat de overheid eindelijk met een aanpak komt tegen cybercrime echter bij de methode van de aanpak zijn veel vraagtekens te zetten, waaronder het hierboven aangegeven punt over het onafhankelijk en wetenschappelijk verantwoord onderzoek die niet wordt geëist door de tweede kamer. Ook voor Trendrapport Cybercrime is er gebruik gemaakt van een onafhankelijk en wetenschappelijk verantwoord onderzoek, waarom dan niet voor het vervolg ervan. Daarnaast is het een goed iets dat er eindelijk organisaties zoals Bits of Freedom zich bezig houden met de betrouwbaarheid van het huidige/ te komen cybercrime beleid!
fapshow
Ainsi les bons joueurs de tournois en jouent-ils plusieurs en même temps durant le samedi
et le dimanche, et aucun d’entre eux ne serait
assez fou pour manquer ceux de PokerStars.
Dustin
Excellent way of explaining, and good paragraph to gget information concerning my presentation focus, wnich i am going to convey in college.