Beperlem a Google-t, a Yahoo-t és az Amazont

A The Register arról számolt be, hogy egy Polaris nevű cég beperelte az említett vállalatokat, mert azok megsértették az ő szabadalmát azzal, hogy automatikusan route-olják az e-maileket.

A szabadalom kiterjed a levelek automatikus feldolgozására az alábbi lépések szerint:

(a) az elektronikus levél letöltése

(b) a levél értelmezése egy szabálygyűjtemény vagy eset alapú tudás motor (case base knowledge engine) alapján

(c) a levél osztályozása legalább annyiban, hogy az automatikusan megválaszolható vagy humán operátor beavatkozását igényli

A kommentek lesújtó véleménnyel vannak az amerikai szabadalmakról. Egyikük meg is jegyzi, hogy valakinek a lélegzést kellene szabadalom alá helyzeni. Más valaki szerint a pine nevű levelezőprogramot 1994-ben felokosították, hogy több mappát is kezelni tudjon, így az is vét e szabadalom ellen. David Benoit pedig azt veti fel, hogy akkor talán az összes spamszűrő megsérti a szabadalmat.

Az ügy érdekessége, hogy Texas keleti körzetében tárgyalják majd, amely tudvalevőleg pártolja a szabadalmakat.

Engem ugyan nem érint ez a bolondság, mert bár én is fejlesztek egy spamszűrőt, de szerencsére nem az USA-ban élek, ahol bármelyik futóbolond bármire szabadalmat jegyeztethet be. Nagyon bízom abban, hogy az amerikaiak sose lesznek képesek a szoftverszabadalmaikat Európára kényszeríteni. Nem egy helyről hallottam már, hogy szoftverekre nem lenne szabad szabadalmat bejegyeztetni. Én is ezen az állásponton vagyok, mert a szoftver szabadalmak csak arra jók, hogy:

(1) megakadályozzák a kisebb informatikai cégek fejlesztéseit és az innovációt, akiknek nincs pénzük ügyvédre, hogy azok átnézzék a millió patent-et

(2) a pénzéhes (kisebb-nagyobb) cégek megtömjék a zsebüket mások munkájával

De talán érdemes lenne az EU-ban törvényben kijelenteni azt, hogy nem ismerünk el semmilyen szoftver szabadalmat, hogy semmilyen processzoron futtatható kód vagy annak forrása definíció szerint nem szabadalmaztatható. Így nem fordulhat elő az a jövőben, hogy egy nagy amerikai multi cég megkeni – izé, kb. mint ahogyan a BSA szponzorálja a rendőrséget – egy adott nemzet kormányát, hogy az érvényt szerezzen a nemzeti jogban a szabadalmaiknak.

Dádá lesz, ha nem nézed meg az Ind*x reklámot!

A Firefox böngészőnek van egy kellemes tulajdonsága, hogy rengeteg ún. add-on (kiegészítés) érhető el hozzá. Lelkes programozók készítettek hozzá olyat is, ami lehetővé teszi, hogy a web oldalakon lévő reklámokat ne jelenítse meg a böngésző. Tudjátok, hogy én meglehetősen utálom a spamet, jelenleg a FlashBlock nevű kiterjesztést használom, hogy ne induljon el ész nélkül minden video.

De mit hallok minap? Az egyik HUP felhasználót megfenyegette Bodolai László – az Index nevű portál jogásza – az alábbi levéllel:

Az Ön által fejlesztett karbantartott és terjesztett, tehát harmadik
személyek, felhasználók számára elérhetővé tette reklámszűrő
szoftverrel Ön többek között a társaságunk által üzemeltetett
weboldal tartalmát is megváltoztatja.

A Btk alapján cselekményével megvalósítja a számítástechnikai
rendszer és adatok elleni bűncselekményt, amely az alábbi büntetési
tételekkel büntethető.

Itt pár beollózott BTK paragrafus szerepel a nyomatékosítás kedvéért, majd így folytatja:

Ezennel felszólítom, hogy tevékenységét 15 napon belül hagyja abba,
ellenkező esetben társaságunk büntetőfeljelentést tesz és
kártérítési igényt támaszt, mely megfizetésének jogi úton való
kikényszerítését haladéktalanul megkezdjük.

De mit követett el a megfenyegetett HUP olvasó? Készített egy listát (egy egyszerű szövegfájl), ami olyan reguláris kifejezéseket tartalmaz, amelyek segítségével megakadályozhatod azt, hogy a bizonyos web oldalakon (pl. az Index hírportálon) található reklámok megjelenjenek a te gépeden. Ehhez azonban telepítened kell az Adblock Plus és az Adblock Plus: Element Hiding Helper kiterjesztéseket.

Persze világos, hogy miért csípi az Index csőrét – nem is maga a reklámblokkoló szoftver, hanem – a HUP felhasználó listája, amin ők is szerepelnek: mert így kevesebb reklámot néznek meg a felhasználók, így kevesebbre fognak rákattintani, és ez kevesebb bevételt jelent számukra.

De álljunk meg egy pillanatra. Talán nincs jogom eldönteni, hogy mit akarok megnézni a weben? Talán kötelességem megnézni az összes reklámot, amit az orrom elé tolnak? Nem. Ezt senki nem kényszerítheti rám. Az Index ügyvédjének is tudnia kell, hogy alaptalan rágalmakat vágott ajnasz fejéhez, mert nem hatolt be az Index számítógépes hálózatába, és nem módosított ott semmilyen web oldalt.

Felháborító az Index FUD-ja, és bár eddig nem éreztem hiányát a reklámblokkoló szoftvernek, de mostmár csak azért is telepítettem, és természetesen letöltöttem ajnasz listáját is. (amivel ha bármi történne, akkor a mai verziót innen is le tudod tölteni.)

A különbség jól látható az alábbi képeken. A felsőn Opera böngszőben látható a 2 bekeretezett reklám, míg az Adblock Plus + ajnasz listája segítségével pedig nem.


A magam részéről megfontolok egy olyan szabálylistát, amivel csak az Index reklámjait blokkolom. Mert megérdemlik. Ha érdekel, hogy a HUP felhasználók mit gondoltak az esetről, itt elolvashatod.

Micro spam

Tegnap szinte alkotói válságba kerültem. Az még hagyján, hogy előző éjjel becsúszott egy spam, és elvette a postafiókom augusztusi szűzességét, de ezen túl beesett még 3 ún. micro spam is. Ez nem igazi spam abban az értelemben, hogy nincs benne reklám (mert olyan kicsi), sokkal inkább azt szokták vele tesztelni a spammerek, hogy él-e az adott email cím.

A spamszűrő némelyiket felismerte, de volt, amelyik átcsúszott. Gondolkodtam az elején, hogy tanítom vele a szűrőt, de mivel ezek értelem nélküli, összedobált szavak, ezért hezitáltam. Ma reggel viszont döntöttem: elég volt, tanítom a szűrőt. Remélen megszabadulok a többi hasonló gagyi spamtől. Főleg, hogy a hónap elejétől eddig 597 spamet hibátlanul felismert.

Ha még sose láttál ilyet, akkor tessék, kb. így néz ki a legutolsó microspam, amit kaptam:

Date: Thu, 16 Aug 2007 01:52:29 -0400
From: Rachel Knapp <kjdeferrable@cognifast.com>
To: sj <sj@xxxxx.hu>
Subject: austere czarina airmen

countryside banks amy bewail. chenille blue centrex babyhood bach cavort. berkshire algiers cerebellum dinosaur deciduous debauchery benight dachshund corporal. cowardice alluvial by alan ambassador diopter buckskin.

Az afrikai menyasszony avagy a 12 napos szafari

A BBC arról adott hírt, hogy Des Gregor 12 Maliban töltött nap után végre hazaérkezett. Nem egy szafarin vett részt az 56 éves ausztrál férfi, hanem azt remélte, hogy feleségül vesz egy ottani nőt, akivel az Interneten ismerkedett meg, és ráadásként kap még $86,000 hozományt is.

De valamit félreérthetett, mert a 86,000 USD nem a hozomány összege volt, hanem a váltságdíjé, és nem Natacha, a huszas éveiben járó libériai menekült várta, hanem 4 megtermett férfi bozótvágó késekkel (machete).

Nem tudjuk, hogy az első kapcsolat vajon spamben érkezett – bár igen valószínű. A csalás a Spamnation szerint a ‘klasszikus’ orosz menyasszony’ és a 419-es csalás kombinációja, amely a kapzsiságra és a szexuális vágyra épít.

Bamako - Mali A bűnözők a reptéren vették fel a férfit, és a hölgy rokonainak mondták magukat. Egy bamakoi lakásba vitték, elvették az összes ruháját, és egy fejéhez nyomott fegyverrel próbálták megértetni vele, hogy ‘ide a pénzt’, és azzal fenyegették meg, hogy levágják a végtagjait.

Az ausztrál hatóságok komolyan vették az ügyet, és a kanadai követségen végre elfogták az emberrablókat, amikor azok a váltágdíjat átvették volna. Noha a 419-es csalás nagyon gyakori és ismert, még Gregor rokonai sem értik, hogy tudták becsapni – bizonyára elvakította az internetes szerelem.

A Spamnation kemény szavakkal jegyzi meg, hogy a történet végül happy enddel zárult, de könnyen a ‘Ne vásárolj spammerektől’ című tanmesévé válhatott volna, ha az ausztrál rendőrök nem lettek volna okosabbak, mint Gregor és a banditák.

Image spam? Használd az RPD technológiát

A Spam Daily News egyik cikkében a Commtouch lerántja a leplet az image spamek elleni megoldásáról. Azt állítja Amir Lev, a cég főtechnológusa, hogy a hagyományos tartalomszűrő megoldások (pl. bayes-i, heurisztikus- és az URL szűrés) gyakorlatilag hatástalanok a képes spamekkel szemben, és hogy ebből kifolyólag csak úgy ömlenek be az ilyen típusú spamek a vállalati hálózatokba.

A probléma nehézségét az adja, hogy a spammerek minden egyes spam támadás során megváltoztatják a képeket. Még szerencse, hogy a Commtouch szabadalmaztatott Recurrent Pattern Detection (RPD) technológiája képes megfogni az ismétlődő mintákat, függetlenül a levél tartalmától.

Az izraeli cég az elmúlt hónapokban levelek milliárdjait elemezte, és egyre több olyan levelet azonosítottak, amelyek csak egy képet tartalmaznak.

Ha valaki azonban használt már valaha is egy korszerű spamszűrőt, akkor meggyőződhetett arról, hogy nem lehetetlen azért a küzdelem az image spamek ellen. Van élet a Commtouch-on kívül, és azon túl is. Magam egy (majdnem) tiszta statisztikai alapú antispam megoldást használok, és az utóbbi hónapokban 80-90/hó csatolt képet tartalmazó spamet azonosított, korábban pedig ~3-400 darabot. Vagy lehet, hogy ez a hír valójában egy tőzsde spam, hogy nőjön egy kicsit a Commtouch részvényeinek értéke?

Nem lennék azonban meglepve, ha a spammerek máris azon dolgoznának, hogyan tudják a képeket olyan szinten módosítani, és egyedivé tenni, hogy az RPD ne ismerje fel, hogy ‘ilyet már láttam korábban is’. Ha pedig ez megtörténik – mivel az RPD nem olvassa el a levél tartalmát, valószínűleg több képes spam ajánlatot kap majd a Commtouch védte majd 35 millió postafiók.

Szürkelista erózió, avagy egy összeesküvés elmélet

Egy közelebbről meg nem nevezett levelezőrendszerben pár hónapja bevezették a szürkelista védelmet (egy közelebbről szintén nem megnevezett implementációt). Sokáig nagyon jól működött, és a beérkező spamek jó (nagy) részétől megkímélt. Azonban az utóbbi időben egyre több olyan levél érkezik a postafiókomba, amelyet spamként jelölt meg a céges spamszűrő.

Mi ebben a probléma? Kettő is. 1. Ez azt jelenti, hogy egyre több spammer(ek irányította) gép tárolja el a levelet, ha nem sikerül azt azonnal továbbítania. Ez úgy történhet meg, hogy a) egyre több SMTP szervert vonnak irányításuk alá a bűnözők, vagy b) a botneteken szoftver upgrade-et hajtanak végre, hogy a zombi gépeken futtatott SMTP kliens RFC kompatibilisebb legyen, és venni tudja szürkelista jelentette akadályt. 2. A céges spamszűrő elég karcsú, kedvétől függően 70-80% között ismeri fel a spameket, ami nagyon kevés az én – az igazi statisztikai szűrők 99.5% feletti eredményéhez szokott – finnyás lelkemnek.

Lehetne emelni a szürkelista okozta kispadon eltöltött időt, de már jelenleg is 2 órát késnek a szürkelistába beleszaladó levelek. Ennél nagyobb késleltetés pedig az email kommunikáció rovására menne. (Én egyébként már ezt is sokallom)

A hálózati szintű korlátozások nagyon jól működhetnek, de a spammerek előbb vagy utóbb megtalálják a kiskaput, és kikerülik azokat. Csak egy dolgot nem tudnak megtenni: elrejteni a spam tartalmát. Ezért a jövő (és már a jelen is) a tartalomszűrőké, az olyan antispam megoldásoké, amelyek elolvassák a levelet.

Nem kell azonban leírni a hálózati szintű védelmet sem. Feljövőben vannak a reputációs adatbázisok, amelyek azt mondják meg, hogy az adott gép eddigi élete során hány spamet és hány hamet küldött, milyen eloszlás szerint tette azt, stb. Ezt az infot nagyon jól lehet hasznosítani a tartalomszűrőkben is.

Szemtől szemben: beszélgetés a levélszemétről

A ComputerWorld utolsó nyári vitaműsorában a kéretlen levelekről volt szó (video is van). A részvevők között volt az antispam iparág nagyágyúi mellett az NHH képviselője, és elmondták, mit gondolnak a spam különböző aspektusairól. Alább egy rövid összefoglalót található, helyenként a saját megjegyzéseimmel.

Rámutattak, hogy a spam elleni védekezés nem azonos a spamszűréssel – noha a köznyelv e két fogalmat egymás szinonimájaként használja. Az interjúalanyok egyet értettek abban, hogy a hagyományos feketelisták rossz megoldást jelentenek, és nem képesek a dinamikusan változó botneteket követni. Szóba került a MessageLabs megoldása, ami fokozatosan csökkenti a spammer számára elérhető sávszélességet.

Egyikük megemlítette, hogy a piacon ma temérdek spamszűrő közül lehet választani, de ezek jó 90%-a silány minőségű. A már említett dinamikus adatbázis kezelése csak olyan méret felett lehetséges, hogy ez konszolidálni fogja az antispam piacot, mert ezt csak a legnagyobb szereplők lesznek képesek finanszírozni.

Az is szóba került, hogy a legtöbb termék 95-99% pontosságot ígér, és nagy igazság az, hogy a felhasználók bevonása nélkül nem lehet e határ fölé menni. Az univerzális spam adatbázisból több egyszerűen nem csiholható ki. A megoldást én a testre szabott adatbázisban látom, ahol valós futásidőben összekapcsolja az antispam megoldás az alapértelmezett adatbázist az adott felhasználó személyre szabott adatbázisával. Ezzel pedig magabiztosan túl lehet szárnyalni a 9x%-ot.

A gyártók a legkülönbözőbb számokkal dobálóznak, ezért jó, ha a felhasználó maga is ki tud próbálni párat összehasonlítás végett, hogy valóban a legjobb megoldást választhassa. Az egyik szereplő meg is jegyzi, hogy némely 99.99….99%ot vállaló termék, jó ha ~80%-ot el tud érni. A spam felismerési aránynál azonban – különösen vállalati környezetben – sokkal fontosabb az, hogy hány levelet azonosít tévesen spamként (=fals pozitív hiba). Egy megbízható termék kb. 10k-100k vagy csak akár minden 1 millió levélnél téveszt egyet.

Arról is szó volt, hogy a spam elleni küzdelemnek minden területre ki kell terjednie, azaz szükség van a megfelelő jogi szabályozásra, a hatóság megfelelő szerepvállalására, a szolgáltatók bevonására és nem utolsó sorban a felhasználók tájékoztatására, sőt képzésére. Az NHH szerint ugyanis az átlag felhasználó meglehetősen tájékozatlan, legtöbben úgy “védekeznek” a spam ellen, hogy kézzel kitörlik a spamet, és anyáznak rá egyet.

Az NHH képviselője elmondta, hogy egyre több bejelentést kezelnek, egyre több bírságot szabnak ki, de mivel a hatóságnak be kell tartania a fokozatosság elvét, így nem lehet azonnal a max. 500.000 Ft összegű bírságot kiszabni, és enyhébb esetben csak figyelmeztetnek. 2007.08.01-től viszont már az NHH hivatalból is eljárhat a spammerek ellen, nem csak bejelentés alapján, és most már elkérheti a szolgáltatóktól a spammer adatait is, hogy ki van a problémás IP-cím mögött.

Hiába azonban a szigorú magyar szabályozás, ha az NHH csak a hazai spammerek ellen tud eljárni, pedig a spamek döntő hányada külföldről származik, és ellenük tehetetlen a magyar hatóság.

Végül az is szóba került, hogy ha egy céghez beesik 100k spam, akkor azt tárolni kell, ki kell válogatni belőle a magyar spamet, azokból kinyerni az IP-címeket, majd
hetekig őrizgetni, mire megindul a hatósági eljárás. Ez kissé(?) nehézkes egy kkv számára.

spamdrop, avagy egy fejlesztő kalandjai

Tovább pofozgattam a spamszűrőmet. A clapf-ban kikapcsoltam az antispam modult, így most csak vírusellenőrzést végez. A spam ellen pedig a spamdrop nevű komponens véd, amely egy LDA (pl. maildrop) segítségével használható. Ennek az az előnye az SMTP szinten működő clapf ellenében, hogy sokkal egyszerűbb azt megoldani, hogy minden felhasználó a saját token adatbázisát használja, amely a uid=0 globális adatbázissal való on-the-fly összegyúrással áll elő.

A maildrop konfigom (~/.mailfilter) így néz ki (leegyszerűsítve):

xfilter "/usr/local/bin/spamdrop -c /home/sj/.clapf.conf -p"

if(/csapda@email.cim/:h)
{
        to "|/usr/local/bin/black.pl"
}

if(/^X-Clapf-spamicity: Yes/:h)
{
        to "mail/junk"
}

to "Mailbox"

Az 1. sor hatására a maildrop átzavarja a levelet a spamdrop programon, amely megnézi, hogy vajon spam-e a levél vagy sem, majd a levél fejlécébe írja a saját dolgait. A 2. blokk a csapda email címet definiálja, minden erre a címre érkező levél automatikusan a kukába kerül. A következő rész arra szolgál, hogy a spamként megjelölt levelek a junk folderbe kerüljenek. Ha pedig egy levél ezt az akadályt is vette, akkor a postafiókomban landolhat.

Arra is lehetőség van, hogy ne kelljen minden egyes felhasználó esetén egy .mailfilter nevű fájlt írogatni, ebben az esetben a /etc/maildroprc használható az alábbi módon:

if($LOGNAME =~ /^spam$/)
{
        `/usr/local/bin/spam-fwd-train`
        exit
}
if($LOGNAME =~ /^ham$/)
{
        `/usr/local/bin/ham-fwd-train`
        exit
}
else
{
        xfilter "/usr/local/bin/spamdrop -p"
        to "Mailbox"
}

Az
első 2 blokk a spam ill. a ham levelekkel való tanítást állítja be. Ha a spam+felhasznalo@aaaa.hu címre továbbít egy levelet mellékletként a felhasználó, akkor valójában a token adatbázist tanította. A 3. rész ugyanaz, mint az előbb: a levelet átküldjük a spamdrop-on, majd irány a postaláda (Mailbox). A spam és a hasznos levelek szétválogatást pedig a felhasználó oldja meg (nyilván automatikusan), amikor letölti a leveleit POP3, IMAP4 vagy más módon.

Ja igen, a kaland meg az izgalom ott volt, amikor átálltam a spamdrop-ra. tail -f /var/log/maillog-gal, figyeltem, hogy mikor jön levél. Várok, várok, majd eszembe jut, hogy a spamdrop-ot nem másoltam a /usr/local/bin alá. Gyorsan su, mount, cp, megint mount, és nézem a naplót, levél még sehol. Aztán az is eszembe jut, hogy a konfigot nem másoltam a helyére. Gyorsan cp, vi, majd újra log nézés. Szerencsére semmi nem jött ez idő alatt.

Aztán jött egy spammer a csapda email címre, de hibátlanul felismerte a spamszűrő.

spamdrop[399]: written temporary file: b2be73a643afe47ddde823a415140a
spamdrop[399]: b2be73a643afe47ddde823a415140a: parsing
spamdrop[399]: b2be73a643afe47ddde823a415140a: TUM training 51 tokens for uid: 1000 11 [ms]
Qcache[2808]: cache hit rate: (403 of 500) 80.60% in 81187 [us]
spamdrop[399]: update metadata result: 1
spamdrop[399]: b2be73a643afe47ddde823a415140a: 1.0000 5706 in 102 [ms]

A spamdrop az üzenethez rendelt egy azonosítót, 51 tokennel tanította az adatbázist. Az egész a (még) experimentál Query cache-n keresztül történt. A levelet betolta MySQL adatbázisba, majd a néhány statisztikai adat: a levél 100% spam, 5,7 kB és ~100 ms alatt végzett az egésszel.

A spam nem statikus, nem marad ugyanaz mindig, hanem lassan változik, evolválódik. A csapda email cím segítségével azonban úgy képes a szűrő megtanulni a legújabb spam trendeket, hogy nekem nem kell azokkal találkoznom egy fals negatív élményben – hogy aztán kézzel tanítani kelljen a szűrőt, hanem a spammerek vannak olyan szívesek, és bemutatják a legújabb trükkjeiket, hogy a szűrő megtanulja.