Profile cover photo
Profile photo
Wifileaks
1,682 followers -
Projekt komunitního zaměřování českých bezdrátových sítí Wi-Fi
Projekt komunitního zaměřování českých bezdrátových sítí Wi-Fi

1,682 followers
About
Wifileaks's posts

Post has attachment
Čas od času mi dorazí e-mail od nešťastníků, kteří si stáhli obří databázi a netuší, co s ní mají dělat. Databáze je primárně určena těm, kteří ví, jak ta data strojově zpracovat. Jsou ve formátu TSV, záznamy jsou tedy po řádcích a jejich dílčí hodnoty jsou oddělené tabulátorem.

Přesto s ní ale může samozřejmě pracovat i běžný smrtelník. Není to nic jiného než obří strukturovaný textový soubor. V Poznámkovém bloku apod. jej neotevírejte, Excel bude mít vzhledem k velikosti nejspíše také problémy, ale na základní vyhledávání stačí unixový program grep, resp. jeho alternativa na Windows findstr.

Tučňákům předpokládám nic vysvětlovat nemusím, windowsářům pak stačí v příkazové řádce spustit třeba příkaz findstr paroubek cesta-k-souboru-wifileaks.tsv

Program během okamžiku vyplivne všechny Wi-Fi sítě, které mají v názvu slovo paroubek jako na obrázku níže. 

Na řádku se postupně vypisuje MAC, název sítě, typ zabezpečení (0 - open, 1 - WEP, 2 - WPA1, 3 - WPA2, 4 - other), zem. šířka, zem. délka a nakonec nadmořská výška.

Výstup do příkazové řádky můžete snadno uložit do textového souboru příkazem findstr paroubek cesta-k-tsv > vystup.txt

Další možností pro rychlé prohlížení a vyhledávání je použití nějakého rychlého grafického textového prohlížeče, ideální je třeba Lister v Total Commanderu (F3 nad souborem). Ghisler jej nabízí i samostatně http://www.ghisler.com/lister/
Photo

Pokud si chcete stáhnout databázi Wifileaka (TSV), spíše než z přetíženého webu použijte:

https://mega.co.nz/#!54VRSLwR!alOn9mO26_A6JSRZjVqnhkfRCrdXg_4eSskq9YXudQ8

Wifileaks už zase jede...

Zatím jede web, upload jsem ještě nezkoušel a dostanu se k tomu až večer.

Posledních dvacet hodin bylo infarktových, protože se vám přiznám, že nemám zálohu, ani dat (db a ještě důležitější archivní uploady =  18 271 souborů), ani výpočetních skriptů na serveru. Pokud by tedy nedošlo k opravě – a ještě před 15 minutami mi z podpory psali, že je jedinou šancí reinstalace se ztrátou dat – mohl bych to celé odpískat. 

Teď se konečně dostanu k logům a budu zkoumat, kde to začalo, jestli to nebyl nějaký útok atd..

Hned večer si napíšu automatickou zálohu na domácí NAS.
A ještě jednou díky supportu Active24, ať už byl problém na jakékoliv straně.

Pokud jste si všimli nedostupnosti Wifileaks, tak ano, je nedostupný a žádné služby na něm v tuto chvíli nefungují a nebude fungovat ani upload z klientu. Problém momentálně řeším s podporou Active24 a zatím netuším, co se stalo...

Ahoj, Wifileaks neusnul na vavřínech...

1) Čistím databázi
Už několik dlouhých týdnů čistím databázi a vylepšuji vstupní zpracování, aby se už na začátku odfiltrovaly nesmysly – občas někdo pošle síť s polohou kdesi u pólu, uprostřed Atlantiku aj. Bude to ještě nějaký čas trvat, při těchto opravách se totiž pokaždé rekonstruuje databáze (přepočítávají se body, kterých se to týká) a to chvíli trvá. V mobilním klientu je sice podmínka, že odchylka GPS nesmí být velká, jenže toto jsou občasné chyby přímo v ovladačích GPS, které pošlou aplikaci totální nesmysl a s tím, že je odchylka třeba jen 10 metrů. Není to tak časté, ale když to vezmu tak, že jste mi od ledna poslali skoro 15 milionů GPS poloh, tak je i chybovost v řádu desetin promile skutečně obrovská ;-)

2) Vyvíjím webovou mapu
Za druhé, v podstatě už od ledna přemýšlím, jak udělat celkovou mapu. Opravdu to není tak jednoduché, že zobrazím všechny body z databáze, protože při tom ohromném počtu by to asi celé shořelo už při relativně malé návštěvnosti. Mapa bude na webu, bude se zoomem a posunovací, jako podklad poslouží GMapy a tečky wifin se budou rendrovat jako průhledné dlaždice – nebudou tedy klikací, interaktivní. Použiji pro to software mého starého známého: maptiler.org. Takže se nevytíží databáze, jen trafik serveru (stahování průhledných mapových dlaždic s body). Nebude to zítra, nebude to za týden, ale bude to co nejdříve – možná bych si na to mohl vzít dovolenou. Mapa nebude úplně živá, ale celá se aktualizuje/překreslí třeba jednou týdně.

(Ne, mapu z Google Fusion Tables použít také nemohu, protože ani ta nedokáže zobrazit tak velké množství bodů).

3) Budu více poslouchat vaše nápady
A za třetí, už jsem zapomněl, co všechno chcete v mobilním klientu, takže v dohledné době spustím Google Moderator, kde budete moci hlasovat pro nejžádanější funkce.

4) 200.-
Omlouvám se všem, kteří možná čekali každý týden něco nového & skvělého, ale bohužel nejsem Sheldon Cooper, ani Google. Jde to pomalu, ale jistě. Hromadu samozřejmostí, které znáte z webů, které mají v datacentru farmu výkonných serverů, prostě musím nějak obejít. Vše je to stále takový malý zázrak, protože dodnes mě celý Wifileaks stál všeho všudy 200,- ;-).

Dnes opravuji staré chyby v databázi (asi 2 000 špatně vypočítaných Wi-Fi sítí). Co to znamená v praxi? Stáhl jsem si k sobě archiv 6 000 uploadnutých databází z vašich telefonů, napsal jednoduchý prográmek v c#, který provedl 3,5 miliardy porovnání a vygeneroval opravené databáze, které teď serveru opět předám k přepočítání. Na serveru by se to počítalo snad hodinu, na běžném notebooku bylo za 9 minut hotovo :-).

A to všechno kvůli několika uživatelům z Hané, jejichž telefony čas od času ukládaly GPS polohu 0,0 (rovník, nultý poledník) a já to neměl na serveru ošetřené ;-))

A pro jistotu to napíšu i sem...

Stále mi chodí e-maily, že mi hackeři napadli web. Byla to jen recese a parodie na útok na web Intergramu (http://www.zive.cz/bleskovky/cesti-anonymous-napadli-intergram-a-chteji-provest-revoluci/sc-4-a-162493/default.aspx).

Alternativní "hackerskou" startpage jsem dnes odstranil, takže už nepište ;-)

Narazil jsem na webu na obavy z toho, co všechno Wifileaks sbírá za data (mimo samotných Wi-fi sítí). Není se čeho obávat, vedle zaměřených wifin pouze několik málo ryze statistických dat:

- výrobce mobilu
- značka mobilu
- jedinečný identifikační kód reg. uživatele (nikoliv mobilu)

Nic jiného se na server vážně neposílá, k ničemu jinému se totiž ani při pohledu na práva aplikace nedostanu.

Proč sbírám informace o modelu telefonu? K těmto údajům bych se dostal v případě, kdyby byla aplikace v Marketu. Zatím je ale distribuovaná jako samostatný APK balíček a já pro další vývoj potřebuji vědět, jaké telefony používáte nejčastěji.

Wi-Fi s pořadovým číslem 500 000:

http://g.co/maps/8w574

SSID: S4net_Erhart
MAC: 00:27:19:e1:e4:98

Zaměřená 5x, naposledy 2012-02-29 14:10:19

(Přiznejte se, kdo to byl ;)

Koukám, že zítra s největší pravděpodobností někdo zaměří 500 000. síť :-)

Co se teď děje? Nepočítám-li hackerský útok čivav, tak se snažím integrovat navigační část WPS do klienta Wifleaks (buď offline bez potřeby internetu - asi 20MB soubor s daty, nebo online) a konečně opět nabídnout ke stažení osobní databázi v KML a CSV (snadný import na Google Fusion Tables, kde si pak můžete vše snadno zobrazit na mapě).

Řeším také celkovou mapu. Nakonec asi vše poběží nad Fusion Tables s tím, že to bude rozdělené do několika částí (Fusion Tables neumí zobrazit takové množství bodů naráz).
Wait while more posts are being loaded