A Spam Daily News egyik cikkében a Commtouch lerántja a leplet az image spamek elleni megoldásáról. Azt állítja Amir Lev, a cég főtechnológusa, hogy a hagyományos tartalomszűrő megoldások (pl. bayes-i, heurisztikus- és az URL szűrés) gyakorlatilag hatástalanok a képes spamekkel szemben, és hogy ebből kifolyólag csak úgy ömlenek be az ilyen típusú spamek a vállalati hálózatokba.

A probléma nehézségét az adja, hogy a spammerek minden egyes spam támadás során megváltoztatják a képeket. Még szerencse, hogy a Commtouch szabadalmaztatott Recurrent Pattern Detection (RPD) technológiája képes megfogni az ismétlődő mintákat, függetlenül a levél tartalmától.

Az izraeli cég az elmúlt hónapokban levelek milliárdjait elemezte, és egyre több olyan levelet azonosítottak, amelyek csak egy képet tartalmaznak.

Ha valaki azonban használt már valaha is egy korszerű spamszűrőt, akkor meggyőződhetett arról, hogy nem lehetetlen azért a küzdelem az image spamek ellen. Van élet a Commtouch-on kívül, és azon túl is. Magam egy (majdnem) tiszta statisztikai alapú antispam megoldást használok, és az utóbbi hónapokban 80-90/hó csatolt képet tartalmazó spamet azonosított, korábban pedig ~3-400 darabot. Vagy lehet, hogy ez a hír valójában egy tőzsde spam, hogy nőjön egy kicsit a Commtouch részvényeinek értéke?

Nem lennék azonban meglepve, ha a spammerek máris azon dolgoznának, hogyan tudják a képeket olyan szinten módosítani, és egyedivé tenni, hogy az RPD ne ismerje fel, hogy ‘ilyet már láttam korábban is’. Ha pedig ez megtörténik – mivel az RPD nem olvassa el a levél tartalmát, valószínűleg több képes spam ajánlatot kap majd a Commtouch védte majd 35 millió postafiók.

52%How Addicted to Blogging Are You?

Mingle² – Dating Site

Egy közelebbről meg nem nevezett levelezőrendszerben pár hónapja bevezették a szürkelista védelmet (egy közelebbről szintén nem megnevezett implementációt). Sokáig nagyon jól működött, és a beérkező spamek jó (nagy) részétől megkímélt. Azonban az utóbbi időben egyre több olyan levél érkezik a postafiókomba, amelyet spamként jelölt meg a céges spamszűrő.

Mi ebben a probléma? Kettő is. 1. Ez azt jelenti, hogy egyre több spammer(ek irányította) gép tárolja el a levelet, ha nem sikerül azt azonnal továbbítania. Ez úgy történhet meg, hogy a) egyre több SMTP szervert vonnak irányításuk alá a bűnözők, vagy b) a botneteken szoftver upgrade-et hajtanak végre, hogy a zombi gépeken futtatott SMTP kliens RFC kompatibilisebb legyen, és venni tudja szürkelista jelentette akadályt. 2. A céges spamszűrő elég karcsú, kedvétől függően 70-80% között ismeri fel a spameket, ami nagyon kevés az én – az igazi statisztikai szűrők 99.5% feletti eredményéhez szokott – finnyás lelkemnek.

Lehetne emelni a szürkelista okozta kispadon eltöltött időt, de már jelenleg is 2 órát késnek a szürkelistába beleszaladó levelek. Ennél nagyobb késleltetés pedig az email kommunikáció rovására menne. (Én egyébként már ezt is sokallom)

A hálózati szintű korlátozások nagyon jól működhetnek, de a spammerek előbb vagy utóbb megtalálják a kiskaput, és kikerülik azokat. Csak egy dolgot nem tudnak megtenni: elrejteni a spam tartalmát. Ezért a jövő (és már a jelen is) a tartalomszűrőké, az olyan antispam megoldásoké, amelyek elolvassák a levelet.

Nem kell azonban leírni a hálózati szintű védelmet sem. Feljövőben vannak a reputációs adatbázisok, amelyek azt mondják meg, hogy az adott gép eddigi élete során hány spamet és hány hamet küldött, milyen eloszlás szerint tette azt, stb. Ezt az infot nagyon jól lehet hasznosítani a tartalomszűrőkben is.

A ComputerWorld utolsó nyári vitaműsorában a kéretlen levelekről volt szó (video is van). A részvevők között volt az antispam iparág nagyágyúi mellett az NHH képviselője, és elmondták, mit gondolnak a spam különböző aspektusairól. Alább egy rövid összefoglalót található, helyenként a saját megjegyzéseimmel.

Rámutattak, hogy a spam elleni védekezés nem azonos a spamszűréssel – noha a köznyelv e két fogalmat egymás szinonimájaként használja. Az interjúalanyok egyet értettek abban, hogy a hagyományos feketelisták rossz megoldást jelentenek, és nem képesek a dinamikusan változó botneteket követni. Szóba került a MessageLabs megoldása, ami fokozatosan csökkenti a spammer számára elérhető sávszélességet.

Egyikük megemlítette, hogy a piacon ma temérdek spamszűrő közül lehet választani, de ezek jó 90%-a silány minőségű. A már említett dinamikus adatbázis kezelése csak olyan méret felett lehetséges, hogy ez konszolidálni fogja az antispam piacot, mert ezt csak a legnagyobb szereplők lesznek képesek finanszírozni.

Az is szóba került, hogy a legtöbb termék 95-99% pontosságot ígér, és nagy igazság az, hogy a felhasználók bevonása nélkül nem lehet e határ fölé menni. Az univerzális spam adatbázisból több egyszerűen nem csiholható ki. A megoldást én a testre szabott adatbázisban látom, ahol valós futásidőben összekapcsolja az antispam megoldás az alapértelmezett adatbázist az adott felhasználó személyre szabott adatbázisával. Ezzel pedig magabiztosan túl lehet szárnyalni a 9x%-ot.

A gyártók a legkülönbözőbb számokkal dobálóznak, ezért jó, ha a felhasználó maga is ki tud próbálni párat összehasonlítás végett, hogy valóban a legjobb megoldást választhassa. Az egyik szereplő meg is jegyzi, hogy némely 99.99….99%ot vállaló termék, jó ha ~80%-ot el tud érni. A spam felismerési aránynál azonban – különösen vállalati környezetben – sokkal fontosabb az, hogy hány levelet azonosít tévesen spamként (=fals pozitív hiba). Egy megbízható termék kb. 10k-100k vagy csak akár minden 1 millió levélnél téveszt egyet.

Arról is szó volt, hogy a spam elleni küzdelemnek minden területre ki kell terjednie, azaz szükség van a megfelelő jogi szabályozásra, a hatóság megfelelő szerepvállalására, a szolgáltatók bevonására és nem utolsó sorban a felhasználók tájékoztatására, sőt képzésére. Az NHH szerint ugyanis az átlag felhasználó meglehetősen tájékozatlan, legtöbben úgy “védekeznek” a spam ellen, hogy kézzel kitörlik a spamet, és anyáznak rá egyet.

Az NHH képviselője elmondta, hogy egyre több bejelentést kezelnek, egyre több bírságot szabnak ki, de mivel a hatóságnak be kell tartania a fokozatosság elvét, így nem lehet azonnal a max. 500.000 Ft összegű bírságot kiszabni, és enyhébb esetben csak figyelmeztetnek. 2007.08.01-től viszont már az NHH hivatalból is eljárhat a spammerek ellen, nem csak bejelentés alapján, és most már elkérheti a szolgáltatóktól a spammer adatait is, hogy ki van a problémás IP-cím mögött.

Hiába azonban a szigorú magyar szabályozás, ha az NHH csak a hazai spammerek ellen tud eljárni, pedig a spamek döntő hányada külföldről származik, és ellenük tehetetlen a magyar hatóság.

Végül az is szóba került, hogy ha egy céghez beesik 100k spam, akkor azt tárolni kell, ki kell válogatni belőle a magyar spamet, azokból kinyerni az IP-címeket, majd
hetekig őrizgetni, mire megindul a hatósági eljárás. Ez kissé(?) nehézkes egy kkv számára.

Az Internet Exploder 6-ban találtak egy hibát, amitől az elhasal (az IE7 kibírja). A problémát a képre kattintva tudod reprodukálni.

.

Javaslom, hogy válts Firefox-ra, ami egy sokkal korrektebb és biztonságosabb, a szabványokat követő böngésző.

Minap olvasom az Indexen, hogy a svéd miniszterelnök arra szólította fel kollégáit, hogy vegyenek részt az Európa szerte megrendezett meleg büszkeség napokon, az ún. Gay Pride-okon.

Nem, nem az SZDSZ került hatalomra Svédországban, hanem ezt a felhívást az éppen regnáló 41 éves konzervatív Fredrik Reinfeldt tette közzé. Azzal indokolta meg ezt a szokatlan kérést, hogy a miniszterelnököknek a tolerancia oldalán a helyük. A svéd homoszexuálisok olyan büszkék voltak az idén, hogy egy egész hétig tudtak örülni másságuknak.

Az még hagyján, hogy 1995 óta a svéd törvények elismerik az azonos nemű párok együttélését, de az már finoman szólva a pejkó másik oldala, hogy jövő évtől már a homoszexuálisok egyházi esküvőjét akarják bevezetni. Ha ez túl bizarrnak hangzik (szerintem bőven kimeríti az istenkáromlás fogalmát), de távolról sem lehetetlen, mert a szeretet nagy kalapja alatt a svéd lutheránus egyház lelkészei is beálltak a büszkék közé.

Ha pedig már ezek az elvetemültek Istent is beállították volna a büszke menetbe, hadd írjam le, csak úgy mellékesen, hátha érdekel valakit, hogy maga Isten mint gondol a homoszexualitásról. Csak 2 helyet hadd említsek a Bibliából, amit az evangélikusok (ez a lutheránus egyház másik elnevezése) elméletileg Isten szavának tartanak:

“Férfiúval ne hálj úgy, a mint asszonynyal hálnak: útálatosság az” Mózes 3. könyve 18,22. Ebből világos, hogy Isten előtt undorító a férfiak közötti szexuális kapcsolat.

“Azt állították magukról, hogy bölcsek, pedig ostobákká lettek, mikor a romolhatatlan Isten dicsõségét romlandó embernek, madaraknak, négylábúaknak és csúszómászóknak hasonmásával cserélték fel. Ezért az Isten szívük kívánságainak következményeként kívánságaikban tisztátalanságra adta oda õket, hogy testüket egymás között megbecstelenítsék. Hiszen õk maguk cserélték fel az Isten igazságát hazugsággal. Õk maguk félték és szolgálták a teremtményt, tették félre a Teremtõt, aki áldott az örök korokig. Ámen. Ezért adta azután az Isten oda õket becstelen szenvedélyekre, nõik a természetes életmódot természetellenesre cserélték fel, hasonlóképpen a férfiak is elhagyták a nõvel való természetes élést és indulatuktól hajtva, egymás iránt gyulladtak lángra, férfiak férfiakon követtek el torz dolgokat és önmagukban kapták meg azt a bért, mely tévedésükért kijárt nekik.” Pál levele a rómaiakhoz 1,22-27

Pál megerősíti azt, hogy az azonos neműek közötti gerjedelem természetellenes, sőt torz dolog. Hallja meg ezt minden büszke homokos, aki odáig van meg vissza a másságával! Mint egy debil, akinek kilóg az orrából a matéria, és veri a mellét, mert büszke rá.

De az apostol feltárja ennek a förtelemnek az okát is, ti. hogy az emberek Istentől való elvadultságukban annyira elteltek a saját eszükkel, hogy Isten megengedte nekik (és mondja még valaki ezután, hogy Isten nem rendes!), hogy kiéljék a “kollégákon” szívük kívánságait, egymáson kövessenek el gyalázatot, hogy így vegyék el testükben önként a büntetést.

Tovább pofozgattam a spamszűrőmet. A clapf-ban kikapcsoltam az antispam modult, így most csak vírusellenőrzést végez. A spam ellen pedig a spamdrop nevű komponens véd, amely egy LDA (pl. maildrop) segítségével használható. Ennek az az előnye az SMTP szinten működő clapf ellenében, hogy sokkal egyszerűbb azt megoldani, hogy minden felhasználó a saját token adatbázisát használja, amely a uid=0 globális adatbázissal való on-the-fly összegyúrással áll elő.

A maildrop konfigom (~/.mailfilter) így néz ki (leegyszerűsítve):

xfilter "/usr/local/bin/spamdrop -c /home/sj/.clapf.conf -p"

if(/csapda@email.cim/:h)
{
        to "|/usr/local/bin/black.pl"
}

if(/^X-Clapf-spamicity: Yes/:h)
{
        to "mail/junk"
}

to "Mailbox"

Az 1. sor hatására a maildrop átzavarja a levelet a spamdrop programon, amely megnézi, hogy vajon spam-e a levél vagy sem, majd a levél fejlécébe írja a saját dolgait. A 2. blokk a csapda email címet definiálja, minden erre a címre érkező levél automatikusan a kukába kerül. A következő rész arra szolgál, hogy a spamként megjelölt levelek a junk folderbe kerüljenek. Ha pedig egy levél ezt az akadályt is vette, akkor a postafiókomban landolhat.

Arra is lehetőség van, hogy ne kelljen minden egyes felhasználó esetén egy .mailfilter nevű fájlt írogatni, ebben az esetben a /etc/maildroprc használható az alábbi módon:

if($LOGNAME =~ /^spam$/)
{
        `/usr/local/bin/spam-fwd-train`
        exit
}
if($LOGNAME =~ /^ham$/)
{
        `/usr/local/bin/ham-fwd-train`
        exit
}
else
{
        xfilter "/usr/local/bin/spamdrop -p"
        to "Mailbox"
}

Az
első 2 blokk a spam ill. a ham levelekkel való tanítást állítja be. Ha a spam+felhasznalo@aaaa.hu címre továbbít egy levelet mellékletként a felhasználó, akkor valójában a token adatbázist tanította. A 3. rész ugyanaz, mint az előbb: a levelet átküldjük a spamdrop-on, majd irány a postaláda (Mailbox). A spam és a hasznos levelek szétválogatást pedig a felhasználó oldja meg (nyilván automatikusan), amikor letölti a leveleit POP3, IMAP4 vagy más módon.

Ja igen, a kaland meg az izgalom ott volt, amikor átálltam a spamdrop-ra. tail -f /var/log/maillog-gal, figyeltem, hogy mikor jön levél. Várok, várok, majd eszembe jut, hogy a spamdrop-ot nem másoltam a /usr/local/bin alá. Gyorsan su, mount, cp, megint mount, és nézem a naplót, levél még sehol. Aztán az is eszembe jut, hogy a konfigot nem másoltam a helyére. Gyorsan cp, vi, majd újra log nézés. Szerencsére semmi nem jött ez idő alatt.

Aztán jött egy spammer a csapda email címre, de hibátlanul felismerte a spamszűrő.

spamdrop[399]: written temporary file: b2be73a643afe47ddde823a415140a
spamdrop[399]: b2be73a643afe47ddde823a415140a: parsing
spamdrop[399]: b2be73a643afe47ddde823a415140a: TUM training 51 tokens for uid: 1000 11 [ms]
Qcache[2808]: cache hit rate: (403 of 500) 80.60% in 81187 [us]
spamdrop[399]: update metadata result: 1
spamdrop[399]: b2be73a643afe47ddde823a415140a: 1.0000 5706 in 102 [ms]

A spamdrop az üzenethez rendelt egy azonosítót, 51 tokennel tanította az adatbázist. Az egész a (még) experimentál Query cache-n keresztül történt. A levelet betolta MySQL adatbázisba, majd a néhány statisztikai adat: a levél 100% spam, 5,7 kB és ~100 ms alatt végzett az egésszel.

A spam nem statikus, nem marad ugyanaz mindig, hanem lassan változik, evolválódik. A csapda email cím segítségével azonban úgy képes a szűrő megtanulni a legújabb spam trendeket, hogy nekem nem kell azokkal találkoznom egy fals negatív élményben – hogy aztán kézzel tanítani kelljen a szűrőt, hanem a spammerek vannak olyan szívesek, és bemutatják a legújabb trükkjeiket, hogy a szűrő megtanulja.