Már megint azok a nyavalyás szoftver szabadalmak. Adott egy antivírus üzletben utazó amerikai cég (ez lenne a Trend Micro), akik úgy gondolták, itt az ideje egy kis pénzt begyűjteni, és az sem baj, ha nem túl szép módon sikerül. Arról van ugyanis szó, hogy az 5,623,600. sorszámú szabadalmat megsértette a Barracuda Networks, amikor a ClamAV nevű nyílt forrású antivírus szoftvert beépítette az x termékébe. Ez a szabadalom a gateway-ken alkalmazott antivírus megoldásokra terjed ki. A követelés világos: vagy távolítsd el a clamav-ot a termékedből (=degradáld le) vagy fizess licence díjat.

Nevetséges ez az amerikai szabadalmi mizéria. Ép ésszel felfoghatatlan, hogy ugyanazt az ötletet miért nem implementálhatja – egymástól függetlenül – 2 vagy több csapat. Mert ebben az esetben szó sincs arról, hogy x fejlesztőcsapat ellopta a másik évek alatt elkészített munkáját.

Magam is érintett vagyok, mert én is egy olyan terméket fejlesztek, amely mind vírus- ill. spamszűrést végez, és – micsoda véletlen – én is használom a clamav funkcióit. De szerencsére én az EU-ban élek, ahol az USA nem tudta lobbierejét bevetve sem (pedig nagyon ment a gőzhenger, az agitprop!) elérni, hogy a szabadalomrendszerét átvegye az Unió.

Így a távolból írom a Trend Micro képviselőinek, hogy jó lenne valami innovatív dologgal előállni, ha csökken a revenue, vagy valami tisztességes foglalkozás után nézni, ha nem megy…

Bővebben a HUP fórumában, ill. a Barracuda oldalain.

Elszineződött a szonda, ezért el kell vegyük a jogosítványodat.

Közeleg az adóbevallások ideje, amikor letámadnak bennünket a 2*1%-ért, és meg is lepődtem volna, ha a spammerek kihagynák a pénzszerzésnek ezt a módját. A HUP 2. spammer szégyenfalára az alábbi spamet küldte be az egyik olvasó (ő kapta, nem küldte):

From: “Center A.B.S.”
Subject: Adó 1%-a hasznos helyre!
To: ez@most.nem.lenyeg

Hirdessen weblapon szinte INGYEN: www.reklam.zug.hu

A levélben minden benne van, ami a sikeres szűréshez szükséges, és csak az alábbi kifejezéseket kell keresni:

• “nyilvános internetes oldalakról”
• “2001. évi CVIII. Törvény”
• “Ha levelünkkel zavartuk, elnézését kérjük”
• “küldje tovább”

Ezek a kifejezések ugyanis spameken kívül aligha szerepelnek legitim levelekben…

Úgy tűnik, érdemes a junk folderemet sűrűbben átnéznem. Na nem a fals pozitív hibák miatt, hanem mert a magyar spammerek is egyre jobban aktivizálják magukat. Biztosan ti is kaptatok már olyan spamet, amely mintha eltévedt volna. Ez a zsivány Pista gyerek szemmel láthatóan egy Tibcsi nevű címzettnek szánta a levelet. Ha pedig elküldöm a levelet az NHH-nak (és el fogom), akkor biztos azzal fog védekezni, hogy “ó bocsánat, biztos a technika ördöge, és félrement a levél.”

Ezt az ügyetlen mosakodást azonban ne vegyétek be, olyan nincs, hogy egy levél eltéved. Ezt a spamet is azért kaptam, mert a Vodafone egyik előfizetője kifejezetten nekem szánta a spamet. Nem lennék meglepve, ha a meghirdet.hu állna mögötte, de ezt derítse ki a hatóság. Ja, és a csúnya Pityu gyerek már másokat is felbosszanthatott, mert az IP-címe szerepelt a Spamhaus listáján. A clapf a statisztikai elemzés után nem ismerte fel spamként ezt a szemetet, de mivel képes feketelisták eredményét is felhasználni, így már összejött a dolog. De ha már itt jártam, tanítottam vele a spamszűrőt, mert vannak még olyan gagyesz maximusz spammerek, akik azt hiszik, ezt az olcsó reklámot el tudják még sütni valahol…

Date: Thu, 24 Jan 2008 21:59:59 +0100
From: “[iso-8859-1] Brichermann István”
To: xxxxx@xxxxx.hu
Subject: [iso-8859-1] az ígért link

Üdv: Pista

Arról hallani egy ideje, hogy a magyar állam kb. 25 milliárd forintot készül a Microsoft-nak adni, hogy meghosszabbítsa az oktatásban résztvevők campus licenceit. Ez azért probléma, mert azért eléggé felháborító egy közbeszerzést egy bizonyos gyártóra kiírni, és különösen felháborító abban az esetben, ha közben az állam az én nadrágszíjamat szorosabbra húzza, mert ugye megszorítások vannak.

Szerencsére 3 hazai cég, akik szintén szoftverben utaznak, megtámadták ezt a meglehetősen ostoba (abba most ne menjünk bele, hogy vajon melyik korrupt politikust vette meg kilóra a Microsoft) és pazarló döntést. Azt követelik ugyanis, hogy az állam ne kivételezzen a Microsoft-tal, hanem legyen egyenlő feltétel, legyen verseny (ami köztudottan lefelé kényszeríti az árakat).

A problémát (és a költséget) csak fokozza, hogy a Windows Vista eléggé erőforrás igényes jószág, ami azt jelenti, hogy az iskolákban használt gépek jó részét le kell cserélni újabbra és drágábbra.

Megoldás persze van: a nyílt forrású termékek, pl. Linux és OpenOffice.org. Ezek előnye az is, hogy 0 forintért telepítheti ezeket a rendszergazda, nem fog érte kötekedni (ha jobban tetszik: ugatni) a BSA. Ha pedig valaki még fél a Linux-tól, akkor azt is megteheti, hogy fenn hagyja a Windows XP-ket, és arra telepíti a nyílt forrású irodai csomagot, amíg meg nem barátkozik vele. Egyébként ma már olyan Linux terjesztések is vannak, amelyeknek még a telepítőjük is teljesen grafikus, vezetik az ember kezét.

Szóval kedves döntéshozó, aki eme sorokat olvasod, ne költsd az én adóforintjaimat a Microsoft termékeire! Legyen egy kis eszed, és gondolkozz, hogy a fejlettebb világ kormányai, városai miért állnak át Linuxra: ár, függőség és kiszolgáltatottság felszámolása, stabilitás, biztonság, … és nem utolsó sorban azért, mert ott el kell számolni a közpénzekkel. Ott ugyanis válaszolni kell arra a kérdésre is, hogy 2 hasonló tudású termék esetén miért adtál [egy vagon] pénzt az egyikre, miközben ugyanazt a funkcionaliást a másik teljesen ingyen nyújtja?

Minden adatbázis háttér esetén az egyes tokenekhez egy időbélyeget is tárolok. Minden alkalommal, amikor a spamszűrő átnéz egy levelet, akkor a spam valószínűség kiszámítása után a levélben szereplő tokenek időbélyegét is frissíti. Ennek az a haszna, hogy idővel kiderül, hogy melyek a valóban fontos és használt tokenek, a többitől pedig meg lehet szabadulni egy törléssel. Ez azzal a haszonnal jár, hogy a token adatbázis mérete a szükséges minimumon tartható úgy, hogy a pontosság sem szenved csorbát.

A saját adatbázisomon ki is próbáltam ezt az optimalizálást. A jelenlegi adatbázis mérete 2.44 MB és 137k tokent tartalmazott. Törlés után pedig 54k token maradt benne, és ~870kB lett a mérete.

A törlés során megszabadultam az összes olyan tokentől, amelyiket:

• 15 napja nem használtam, és csak 1 ham vagy 1 spam levélben szerepelt
• 60 napja nem használtam, és legfeljebb 5 levélben szerepelt (2*ham+spam)
• 90 napja nem szerepelt egy beérkező levélben sem

A pontosság olyannyira nem csökkent, hogy az összes decemberi spamet helyesen azonosította. Emellett a TUM tanítást is átgondoltam, mert az eddigi kicsit nem ügyes volt. Ezért a clapf akkor tanul meg egy levelet, ha

• azt spamnek hiszi, de a spam valószínűsége 0.99 alatt van
• a levél ham, de a spam valószínűsége 0.1 fölött van
• a levél az aknamező címre érkezett, és nem ismerte fel spamként

Az új feature egyelőre a nightly build-ben szerepel. Ha már használod a clapf spamszűrőt, ne felejtsd el elolvasni a Changelog-ot!

Ma szépen sütött a nap, ezért felkerekedtünk, és tettünk egy kört hármasban.

A feleségem 3 szögből + kölök:

Egy kicsit én is toltam a babakocsit:

Kuksivitézről is van kép. Nagyon jól viselte a 20 perces sétát, és a végén jót hortyogott a kocsiban.

Van egy olyan rossz szokásom, hogy időnként átnézem a junk mappámat. A hétvégén is ez történt, és nini, mit látok? A CKDELTA nevű szlovákiai idétlenek képtelenek felfogni, hogy nem érdekel a tátrai sielésük. Beszéltem velük telefonon, megígérték, hogy törölnek (merthogy ők egy szálloda, akik utazási irodákat akarnak megfogni, hogy vigyék őhozzájuk sielni a népet, azonban én nem az utazásban utazom), de végre a levelük a megfelelő helyre került.

De volt ott még egy magyar spammer, a DFT Hungária, akik “minőségi bulvár mesterkurzust” (sic!) szerveznek. A spamszűrőm csont nélkül megfogta a levelet, de várjunk csak. Miért ne tennék ellenük panaszt az NHH-nál? A hazai ‘spamtörvényben’ nincs olyan kitétel, hogy ha a spamszűrőd felismeri a spam levelet, akkor nem lehet eljárást indíttatni ellenük.

Külön bántó volt az a hazugság, amit a levelükbe írtak, hogy “Ezuton tajekoztatjuk, hogy jelen online hirlevel megkueldesehez szuekseges szemelyes adatainak kezelesere az OEn hozzajarulasa alapjan keruelt sor.”

Ha valaki beleolvas ebbe a blogba, aligha gondolhatja komolyan, hogy valami bulvár gagyi képzés spamre feliratkoznék.

A spam könyvben a teszteknél járok, ahol ráengedem a 2007-es levelezésemet – cirka 25k levél – különféle termékekre, és megnézem, mit tudnak kezdeni azokkal. Magam is fejlesztek egy spamszűrőt, így adódik, hogy miért ne dobnám be a clapf-ot is a nagy kalapba? Hogy referencia is legyen, először azt néztem meg, hogy mit tud a bogofilter.

A tesztet a következőképpen végeztem: megfeleztem a ham és a spam leveleket (jan-jún, ill. júl–dec). Az első ham ill. spam halmazzal tanítottam a bogofilter-t, míg a második 2 halmazzal teszteltem. A bogofilter nagyon jól helyt állt: 5399 levélből 14-et kategorizált tévesen fals pozitívként (99.74%), ill. 9055 spam levélből 113-at nem ismert fel (98.75%). Ezek a számok nagyon jók ahhoz képest, hogy a szűrőt gyakorlatilag fél évre magára hagytam, és nem tanítottam tovább. Már itt szeretném megjegyezni, hogy ez nem túl életszerű. Egy igazán reális teszt során a fals pozitívkat “másnap” korrigálni kellett volna, ill. menet közben is tanítani lehetett / kellett volna az új levelekkel, ill. az elavult tokeneket törölni. Azért döntöttem mégis egy ilyen metódus mellett, hogy a) bizonyítsam a statisztikai szűrők sokkal jobbak az egyéb megoldásoknál, b) leegyszerűsítette a tesztet.

Ezután jött a Nagy Clapf Teszt, hogy lássam, mire képes hasonló környezetben (fél évig nincs további tanítás) a saját programom? Hát majd leestem a székről, és nem azért, mert olyan jó eredmények születtek. Az ok, hogy csak 11 levelet ismert fel fals pozitívként, de 308 spam levelet nem ismert fel. Először arra gondoltam, hogy biztos azért, mert nem tanítottam spammel fél éven át, ami a spam lassú(?) változása miatt szükségszerűen erodálja a pontosságot.

De a bogofilter-rel összevetve rájöttem egy bug-ra. Bár a clapf is khi-négyzet algoritmust használ a statisztikai
összegzésre, de én csak a legérdekesebb 15 tokennel végeztem el az összegzést (bayes-i módra), holott egy bizonyos érdekesség fölött minden tokent figyelembe kellett volna vennem. A bogofilter-ben egy kicsit jobban elmélyedve azt is jó volt felfedezni, hogy ők más rob_s és (egy kicsit más rob_x) értéket használnak (ez 2 konstans érték a számításban). Így átvettem az ő default értékeiket, rob_s = 0.0178 és rob_x = 0.52. Ennek hatására jobb lett a spam felismerés aránya, de megnőtt a fals pozitívok száma, ami viszont rossz. Csomó teszt után úgy döntöttem, megmaradok a rob_s = 0.1 értéknél.

Végül a clapf 18 jó levelet jelölt meg spamként 5399-ből (=99.66%), és csak 63 spamet nem ismert fel a 9055-ből (99.30%). Szóval nagy kő esett le, alkotói válságnak vége, és már nem szégyellem a clapf eredményeit is megmutatni a könyv lapjain. Még annyit módosítottam a clapf-on, hogy a képes leveleket csak akkor jelöli meg spamként, ha a valószínűségük nagyobb 0.5-nél, így kevesebb fals pozitívom lett. Végül a clapf képes feketelisták eredményét is felhasználni, teszteltem az elszalasztott spameken is, de azok a fránya IP-címek nem szerepeltek, így ebben a tesztben ez a feature nem növelte a spam felismerés eredményét.

Ja, az összes teszttel még nem vagyok kész, de egy ilyen kellemetlen tesztelés után is még mindig a 2 statisztikai szűrő vezeti a mezőnyt.

Nem csak nálunk fut az említett reality show, hanem az USA-ban is. Az alábbi videoban egy szőke énekes- meg mittomén milyen nő még kapja a kérdést: Melyik európai ország fővárosa Budapest? Éreztem, hogy ebből gond lesz, mert kicsi hazánkat nem szokták tudni/ismerni a nagy vizen túl, és még örülhetünk, ha csak Bukaresttel keverik össze. Az alábbi videot csak saját felelősségre nézd meg, és egyet garantálhatok: a súlyos szó új értelmet nyer.

[youtube]http://www.youtube.com/watch?v=juOQhTuzDQ0[/youtube]

Ha te is abba a 99%-ba tartozol, akik majd leestek a székről, akkor bizonyára egyet értesz az alábbi video végén látható új versennyel: Okosabb vagy-e, mint Kellie Pickler? (Bár csak halkan jegyzem meg, hogy “9 uneszkóért” nekünk sem kell a szomszédba menni…

[youtube]http://www.youtube.com/watch?v=th55vy2P2CA[/youtube]