Open source intelligence and development

[Before shredding] Freeing knowledge, telling secrets: Open source intelligence and development (pdf) by Cody Burke. A classic example of a non-intel specialist who sees bright future in open source, collaboratioive tools and contests the existence of the (US model of a) Intel community. Intensively quotes from John Perry Barlow‘s Why Spy? (including the famous « intelligence defines reality for those whose actions could alter it »), Robert David Steele, ex-WIRED Thomas Goetz and NATO OSINT Handbook (pdf), with the faith of a Linux evangelist (to include quoting from The Cathedral and the Bazaar (pdf – see Wikipedia for details).

Mark Twain

« Truth is stranger than fiction, but it is because Fiction is obliged to stick to possibilities. Truth isn’t. »

How London cops use social media to spy on protest movements

Umut Ertogral, who runs the Opensource Intelligence Unit for London’s Metropolitan Police Service, today told the AusCERT information security conference a team of 17 staff were working seven days a week to track social media feedback and monitor community tension. “There’s a lot of work we’re doing to analyse the language and how people are talking on Twitter,” Ertogral said. The department, which has been mobilised around other major events such as the G20 conference, London student riots and London Olympics, is using Radian 6 and RepKnight software to explore trends, sentiment and association of social media users. Ertogral said the unit was using Radian 6 as a listening tool, for trend analysis and to gauge public mood, and RepKnight to identify geolocation hotspots where activity is taking place based on keywords. The unit is also conducting what Ertogral called “strategic horizon scanning”. “For the Olympics we looked at events five days in advance so we could make a prediction to say what was going to happen.” The unit monitored some 32 million social media articles during the Olympics, with 10,300 tweets being posted every second during the opening ceremony. “Companies will tell your that sentiment analysis from a piece of software is about 56 percent accurate … we would say it’s lower, because it doesn’t pick up humour or slang,” Ertogral said. In addition to looking at trends, he said the unit was also exploring association to establish influencers, particularly for protest movements. “So we’re trying to build friend lists on Facebook, who’s connected to who, who are the influencers out there etc.” He added that in the future it was likely the task would get more difficult as more social media “noise” emerged. “What is actually junk or what is not is going to be very difficult for us to distinguish, so we’re looking at user specific targeting. “We’re looking at tribes as well people surrounding themselves with likeminded people so we’ll see a lot more clusters within the social media world. » Ertogral said the advent of 4G would be a challenge for law enforcement, and “fantastic” for protestors because it would allow them to stream more pictures and video in real time. “4G’s going to be drawing in a lot more data and a lot more information for us to go through.” Ertogral also expects geo-tagging to become more prevalent, and said at the moment only about 1.6 percent of people had geo-location services switched on on their phone at any one time. “That can go up to around 13 percent in a protest environment.”

How London cops use social media to spy on protest movements, via boingboing

Apicube


An IT start-up with offices in the US, France and Argentina believes it has the ability to forecast crowd movements (such as the clashes between hooligans and police in Paris on May 13 while the Paris-Saint-Germain football club celebrated its victory in the European football championship) based on data mining of social media what they call “media noise”.

Apicube’s manager Joel Rubino (@joelrubino) claims their software can analyse Twitter & Facebook traffic and pick up some trends than can give law enforcement advance warning (i.e., when rioters are still in the get-together phase – up to 24 hours before the event!), and also provide evidence for prosecution.

This looks promising – a 2013 police response to a 2013 crime issue.

Note that this is clearly an intel job, as the trigger for this analyse of “twitts” is the knowledge of the use by those groups of hooligans (I am clearly aware that they are not hooligans in the classical sense, and I use that term only for lack of a better one) of a certain code word (the transliterated Arabic slang word “Zbeul”). Without the initial knowledge of the language shortcuts used by this crowd, the data-mining is useless.

The main question would be: as this is all open-data and really specialized job, does it need to be done in-house (e.g., police buying the software, training officers and manning operation center) or simply outsourced? And why should Police/security services be the only customer?


Chroniques et Coup de pouce à une start-up : Apicube dans 01Business

PSG, Trocadéro, il suffisait de lire Twitter
Ce que le préfet de police n’avait pas vu, les analystes du « bruit numérique » pouvaient le voir. Bluffant
Le 16/05/2013 à 11:05
La démonstration de force est impressionnante et c’est justement ce que cherchait l’équipe d’APICUBE. Montrer finalement que l’on pouvait prévoir l’avenir, grâce à l’analyse du « bruit numérique » émis autour d’un évènement
« nos technologies nous permettent de suivre 1 ou 2 milliards de conversations numériques, toutes publiques évidemment, sur Twitter, Facebook, les blogs, l’ensemble des réseaux » explique Joel Robino, le patron d’Apicube sur BFMbusiness, « il faut savoir qu’aujourd’hui moins de 1% des données numériques créées sur la planète sont utilisées à des fins d’analyse, les outils les plus modernes permettent d’augmenter considérablement ces capacités »
En l’occurrence, en se mettant à l’écoute 24heures avant la cérémonie du Trocadéro, on pouvait absolument tout prévoir. En résumant, l’idée c’est de repérer quelques mots clés, et de les suivre.
L’expérience a été menée sur le réseau social Twitter. Dès le 12 mai, 24 heures avant les affrontements, on constate très clairement, un lien entre le mot PSG et le mot « Zbeul », « mot d’argot arabe signifiant bordel » explique Apicube. En affinant la recherche, Apicube écrit « les supporters qui prévoient leur déplacement au Trocadéro ne répondent pas à une logique de groupe. Il n’apparaît pas de leader. Il n’y a pas de conscience de groupe dans les twitts (…) l’amalgame entre fête et « bordel » donne des indications très claires d’éventuels débordements ». On va encore plus loin dans l’analyse « certains supporters pressentent des débordements au matin de l’évènement et le disent très clairement, d’autres commencent déjà à se mettre en scène en vue d’affrontements inévitables, avec Flash Ball, bombes lacrymogènes ».
Apicube est évidemment en mesure de mesurer la fréquence des twitts, la montée en puissance et même l’ambiance générale qui se dégage. En l’occurrence il se dégage que le « zbeul » sera intense et massif. Bref, tout était écrit, il suffisait de le lire
(…) Avec la démonstration d’Apicube, l’enjeu devient public et national. On change radicalement de dimension. La question même va se poser de savoir si le maintien de l’ordre par le Big data est légal. IBM travaille directement avec plusieurs grandes villes américaines sur des bases de données considérables pour « prévoir les crimes », en tout cas essayer d’en étudier la fréquence, la répétition, l’intensité.
Et nous, nous allons vivre différemment notre vie numérique. Les patrons d’Apicube sont sidérés de ce qu’ils ont pu lire sur Twitter, la façon dont des centaines de gamins écrivent en toutes lettres « je finis le boulot et je vais au troca casser du CRS » sans même se cacher derrière un pseudo. Nous allons tous vite comprendre que cette fois-ci, pour de bon, Big Brother is watching us. Pour le meilleur. Et pour le pîre

Sur le blog de Stéphane Soumier, l’animateur de Good Morning Business sur bfm business (if blocked at work, you can always use Google cache or read a Sccop.it cross-post)

Install Lubuntu 13.04 on Asus Eee PC 701 4G

Update on my previous post.

Same statement: Lubuntu 13.04 works out of the box. Download, create USB key (Unetbootin) and boot!

Tips: