Egy irtó hatékony spamszűrő mp4



Hatékony védelem a spam ellen pdf ppt mp4




a spam könyv

http://mo.gyo.ro/

May 2008
M T W T F S S
« Apr   Jun »
 1234
567891011
12131415161718
19202122232425
262728293031  


Spam? Szinte már el is felejtettem mi az...

2008.05.31.

Májusi statisztika

Rendszeresen összesítést végzek, hogy mire képes a clapf a gépemen futtatva. A májusi eredmények részben jók, részben nem annyira jók. Ilyen még nem volt, de májusban ~2254 spamet kaptam, és nem fogod elhinni, de a clapf 100.00% eredményt ért el, azaz egyetlen spam sem csúszott át.

A májusi fals pozitív eredmény azonban már nem ilyen rózsás, de meg tudom magyarázni kérem. Az inbox-omba 1321 levél esett be, és ebből bizony 7 fals pozitív lett (0.53%). (Valójában több ham levelem jött különféle folderekbe szortírozva, amit most nem számoltam – tehát az összesített FP arány azért nem ilyen vészes.)

Nem szoktak a statisztikai szűrők így viselkedni, úgyhogy némi mentegetőzés következik. A clapf/spamdrop automatikus tanulás módban fut. Jönnek levelek mindenféle levelezőlistáról, amelyeket a spam teszt után mappákba szortírozok egy maildrop konfiggal, amelynek a végén egy szabály a spamet a junk folderbe teszi. Ott követtem el egy PEBKAC-ot, hogy ez a szabály leghátul volt, így az történt, hogy a program bár több (angol) nyelvű levelet is megtanult spamként, de azok rendben mentek tovább a szokásos folderbe. Így aztán a token adatbázisban összegyűlt jó pár eléggé kajlára sikeredett token.

Így tehát módosítottam a .mailfilter konfigomat, majd egy sóhajtás után 3 tanítással kezdtem májust (3 angol hírlevél), és vártam, hogy az idő haladtával a korrekciós tanításokkal semlegesített tokenek kihulljanak a token adatbázisból az éjjeli törlések során. Ha a kritikus FP hibákat nézzük, akkor egyet számoltam össze. Ez egy ilyen hónap volt…

2008.05.30.

Kalandok a Cloudmark-kal

Böngészem a netet, vagy éppen egy SpamAssassin lista egyik levele került elém, és mit látok? A Cloudmark elérhetővé tette a szolgáltatását – Cloudmark Authority Engine (CMAE) – az elterjedt SpamAssassinhoz. Mi a CMAE? Egy 2 csomagból álló alkalmazás, amellyel a SpamAssassinba integrálható a Cloudmark kollaboratív vírus/spamszűrője. Az egyik része egy démon, ami a 2703/tcp porton várja a leveleket, a másik pedig egy SA plugin.

Én meg amilyen kísérletező kedvű vagyok, megnéztem a kliens részét, amihez nyilván van egy C library + header fájlok. Mázli, hogy a cmae_client.h
korrekt módon dokumentált, így írni tudtam egy rövid 2 soros C függvényt, ami fog egy levelet, és kideríti, hogy az vírus, spam vagy tiszta levél.

A megoldás egyébként úgy működik, hogy a kliens base64 kódolva elküldi a levelet a démonnak, az pedig az adatbázisa alapján eldönti, hogy az jó levél vagy sem. Mivel a Cloudmark képes valósidőben (real time) detektálni a vírus/spamkitöréseket, ezért nagyon fontos, hogy az adatbázisa up-to-date legyen. Ezt úgy oldja meg, hogy ún. microupdate-ekkel tartja percre frissen az adatbázisát, és csak egy licence kulcs kell hozzá.

A kliens program kb. ennyi:

#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <unistd.h>
#include <errno.h>
#include <sys/stat.h>
#include <sys/mman.h>
#include <fcntl.h>
#include <cmae_client.h>

int main(int argc, char **argv){
   int ret, fd;
   unsigned int ScoreOut=0;
   char *msg=NULL;
   struct stat st;
   CMAE_Client_Session SessionOut;

   if(argc < 2){
      printf("usage: %s <messagefile>\n", argv[0]);
      return 1;
   }

   if(CMAE_Client_Open(&SessionOut, "127.0.0.1", 0, 0, 0)){
      printf("CMAE_Client_Open()\n");
      return 1;
   }

   if(stat(argv[1], &st)){
      printf("cannot stat: %s\n", argv[1]);
      return 1;
   }

   fd = open(argv[1], O_RDONLY);
   if(fd == -1){
      printf("cannot open: %s\n", argv[1]);
      return 1;
   }

   msg = mmap(msg, st.st_size, PROT_READ, MAP_SHARED, fd, 0);
   close(fd);

   if(msg == NULL){
      printf("mmap()\n");
      return 1;
   }

   ret = CMAE_Client_Score(SessionOut, NULL, msg,
           st.st_size, &ScoreOut, NULL, NULL, NULL, NULL);

   munmap(msg, st.st_size);

   CMAE_Client_Close(SessionOut);

   printf("%s %d\n", argv[1], ScoreOut);

   return 1;
}

Az elvégzett tesztben 1313 ham levél szerepelt a májusi levelezésemből, amiből 9-et tévesen spamként azonosított. Ebből kettőt mondhatunk nem kritikusnak (Sun hírlevelek), de a maradék 7 az üzleti levelezésem része, úgyhogy sajna 7 kritikus fals pozitív hibát is vétett. (FP: 9/1313 = 0.68%)

Kétféle spam mintán is leteszteltem: az egyik a junk mappa tartalma, 2182 levél, amiből csak 5 csúszott át, ez 99.77%-os spam felismerés. A másik minta a csapda email címre érkezett 4468 levélből állt, amiből 20 csúszott át, ami 99.55%-os spam felismerés.

A detektálás folyamata egyébként gyors, a 12 ujjlenyomatot gyorsan levette a levelekről, és kidobta az eredményt, hogy szerinte mi az ábra.

Ja igen, a kaland. A poén kedvéért kértem egy ajánlatot a Cloudmark-tól, hogy mégis mennyibe fájna ez nekem, ha a 30 napos trial után komolyra fordulna a dolog? Potom pénz az egész, évente $5,000, amiért akár 2222 mailboxot is megvédhetek.

Azt is kértem, hogy mutassanak már egy demo C-programot, hogyan kell használni az SDK-jukat? Erre jött a kiváncsiskodás, hogy minek az neked, mire akarod használni? Megírtam, hogy építek egy POP3 proxyt, ami bárki használhat regisztráció után egy féléves pilot erejéig. Aztán megjött a válasz, hogy sajna nem fog menni, csak a SpamAssassin plugint tudják adni. Nem akartam ünneprontó lenni, hogy már régen kész van a cucc…

2008.05.22.

Az ad.doubleclick.net-et is abajgatják

Már jó ideje kapok olyan spamet, amiben a video.exe-t ajánlják fel letöltésre. Hogy a spamszűrőkön is átcsússzon a dolog, népszerű és legitim szájtok redirect (=oldal átirányítás) funkcióját használják fel.

Vegyük pl. az alábbi levelet:


From: lauritz bang <mike@associateroofing.com>
To: sj@xxxx.hu
Subject: Britney and Paris lesbian video
<center><a
href="http://ad.doubleclick.net/click;h=[...];~sscs= %3fhttp://tellover.com/video.
exe" h <br><a><br><style>swXDaAwRLqK</style></center>

Ha rákattintasz, akkor egy video.exe nevű fájlt tölthetsz le. Hogy az .exe kiterjesztés ne legyen annyira feltűnő, 2 botrányhősnő beígért enyelgésével altatják el a szájberszex kedvelőinek éberségét.

Végig scanneltem a clamav-val, és vártam, hogy kidobja, hogy egy trójai letöltővel van dolgunk, de nem, nem jelzett ez semmit, hanem azt mondta, hogy tiszta. Elmentem hát a Kaspersky online víruskergetőjéhez, és az Trojan-Downloader.Win32.Exchanger.bc néven azonosította a kártevőt.

Ja igen, a megoldás. A megoldás szerintem az lenne, ha a szájtok nem engednék meg, hogy a paraméterek birizgálásával tetszőleges web címre el lehessen küldeni a látogatót. Ez rossz a doubleclick hírnevének, ha pedig valaki letölti a kártevőt, nekünk is rossz lesz, ti. zombi lesz belőle, és ontani fogja magából a spamet.

Ha pedig azt kérdeznéd, hogy mi ez a tellover.com szájt, akkor elmondom, olyan mint a Facebook, Myspace, iwiw, akármi. Valószínűleg nem is tudják, hogy valaki felpakolta hozzájuk ezt az exe fájlt. De szólok is nekik, hátha le akarják venni…

Házon kívül üzenettel csapnák be a spamszűrő rendszereket

A HWSW-n most találtam rá egy februári írásra, amely szerint a spammerek a népszerű freemail rendszereket (pl. Gmail, Yahoo, Hotmail, …) abajgatják.

A módszer a következő: “a kéretlen leveleket küldő elsőként egy teljesen legális e-mailcímet generál valamely ingyenes webes levelezőszolgáltatásnál, például a GMailnél. Ezt követően “házon kívül” üzenetet állít be megfelelő szövegezéssel, melyben elhelyezi azt a linket is, melyet közvetíteni szeretne. Innentől kezdve nincs más dolga, mint hamisított levekkel bombázni ezt az e-mailcímet.

A levelek küldőjeként azokat az e-mailcímeket hamisítja, melyekre el szeretné küldeni az üzenetét, ezért a visszapattanó, házon kívüli szöveget tartalmazó levelek a spam tartalmával ezekre a címekre indulnak majd útnak. Ezek a levelek szinte mindenben megfelelnek majd a spamszűrők feltételeinek, hiszen legális címről, igazi levelezőszerverekről érkeznek majd a postafiókokba.”

A cikk azt is megjegyzi, hogy a trükk ellen hatástalanok azok a módszerek, amelyek az SMTP információk alapján működnek, pl. feketelisták, szürkelisták, SPF, DomainKeys, stb.

Én ugyan még nem kaptam (legalábbis az idén) olyan spamet, amely valóban a Gmail hálózatából jött volna, de ha valaki annyira megbízik a Gmail-ben, hogy azt fehérlistára tette, az kaphat “out of office” spamet.

Megoldás azonban van: tartalomelemzés + SURBL/URIBL. Ezzel egyrész oda lehet küldeni az irritáló “Bocs, de most nem dolgozom 2 hétig” üzeneteket, ahova valók, ill. ha a levélben ismert spam website szerepel, akkor a levelet spamként lehet megjelölni.

2008.05.18.

qdb.hu

Valahol láttam egy hivatkozást a http://qdb.hu/-ra, ahol különféle IRC csatornákról szedett (és vedett) idézetek, mondhatni aranyköpések szerepelnek. A top100-ból válogattam pár szösszenetet.


[ashnur] ezzel volt tegnap vicc. a kutya valoban az ember legjobb baratja. ha nem hiszed vegezd el a kovetkezo kiserletet. zard be a feleseged/baratnod es a kutyadat egy orara a csomagtartoba. melyikuk fog orulni neked amikor kiengeded?


[mRdEExTer] hi
[mRdEExTer] valaki tudna nekem segiteni shell programozasban?
[badur] kérdés?
[mRdEExTer] Írj scriptet, ami paraméterként kap pontosan kettő könyvtárnevet s azok tartalmát rekurzívan összehasonlítja (elegendő a fájlnevek egyezőségét vizsgálni). Készít egy eredmény fájlt, mely tartalmazza, hogy mennyi darab fájl azonos, melyik fájlok szerepelnek kizárólag az egyik ill. a másik könyvtárban. Különbözőnek számít az, ha ugyanolyan nevű fájl különböző alkönyvtárakban szerepel!
[egeresz] ismeros
[mRdEExTer] igazabol csak egy kis lokes kene az elindulashoz
[grg-] aha man bash
[egeresz] mintha progkorny lenne
[egeresz] es mintha en tartanam
[badur] asszem ez elegendő lökés :)


[ obalix ] négyeshatoson jövök haza suliból (combino -n), és egy hülyegyerek mindig visszafogta a megállókban az ajtót, így a többi se csukódott be...aztán elengedte, mentünk tovább
[ obalix ] kb a negyedik megálló után megszólal a mikrofonba a villamosvezető
[ obalix ] "A lélekzeted tartsd vissza ne az ajtót!"
[ obalix ] gyerek leszállt egyből, mi meg szakadtunk a röhögéstől :)

2008.05.16.

Logikai műveletek operátorai C-ben

Leírom magamnak, hogy el ne felejtsem, mert akkora égő volt nem tudni, hogy a ^ az a XOR logikai művelet jele a C nyelvben.

1010 (A)
1100 (B)
0110 (A XOR B)

2008.05.08.

Mediatop spam – alig várom már!

Úgy értem, nem ezt a béna spamet, hanem az NHH határozatát, amelyben elmeszelik ezt a bagázst. Ez már ugyanis a sokadik alkalom, amikor a csapda email címre küldik a szemetet, így nagyon kiváncsi vagyok, hogy mekkora összegre büntetik meg őket.

Egy korábbi post-ban beszámoltam arról, hogy egy másik notórius spammelőt (World Travel Holding) több, mint 100k HUF-ra bírságolt meg a hatóság. Ebben az esetben is legalább ekkora elrettentő erőre számítok.

clapf 0.3.31-rc1

Ma bocsátottam útjára a clapf 0.3.31-rc1 verzióját.

Az alábbi hibákat javítottam ki:

- bug a purge script-ekben
- hiányzó tanítás mysql adatbázis esetén
- hiba a fehérlista kezelésben
- vírusos levelek esetén hibaüzenet

A következő újdonságok kerültek bele ebbe a verzióba:

- backscatter detektálás
- nyelv felismerés
- spamsum projekt hozzáadása
- a spamdrop-nak meg lehet adni a felhasználót a -u <username> módon
- spamdrop helper program használata
- dinamikus alapértelmezett linkelés

Az új béta/fejlesztői/… verzió a projekt honlapjáról tölthető le: http://clapf.acts.hu/clapf-0.3.31-rc1.tar.gz
(MD5: 4658d96c71d67a01860c726c0054e971)