The Perfect Storm...

Una piccola digressione. Da quando ho ereditato il foxxuto sistema di mailscanning, la mia giornata inizia con un bel tre ore tre di analisi dei log, controllo dello spam che e' rimasto intrappolato dalle nostre 'honeypots', verifica dell'eventuale spam che e' passato attraverso il filtro nella notte ed aggiornamento dei filtri vari.

Come sanno tutti quelli che si occupano di gestire un server di posta per una societa' la "lotta allo spam" e' una lotta combattuta sulla difensiva. Si reagisce e non si agisce. Dato che lo spam di oggi e' diverso dallo spam di ieri e che quello di domani e' imprevedibile e' praticamente impossibile avere un sistema "stabile".

Nel mio caso, purtroppo, il problema e' moltiplicato per 10000. Che e' il numero di clienti che usano il nostro sistema.

Quindi non e' (almeno per me) incomprensibile o sorprendente il fatto che, di tanto in tanto, qualche cosa "scappi" al filtro o venga intrappolato per sbaglio. A tale scopo io consiglio sempre ai nostri clienti di non impostare il sistema per 'cancellare' lo spam sul server, ma di marcarlo semplicemente o inviarlo ad una specifica casella di 'quarantena', in modo da poterlo verifiare manualmente con comodo ed eventualmente zapparlo via dopo. Putroppo, nel 99.9% dei casi, il mio consiglio rimane inascoltato.

Stamani inizio il lavoro di controllo, analisi & verifica ed il mio occhio mi casca su una mail di $isp, mail che puo' essere descritta come "incazzatissima".

$Isp e', per l'appunto, un ISP. Loro 'vendono' connessioni internet e, a lato, rivendono anche il nostro sistema antispam per la posta elettronica. Una buona percentuale di quei 10.000 clienti sono in realta' clienti di $isp, quindi una mail di lamentela loro non passa di certo inosservata.

La mail dice, sostanzialmente, che "diversi loro clienti" lamentano che "troppe mail di spam passano inalterate" mentre, apparentemente, "molte mail legittime non arrivano mai". Ovviamente non riportano ne' chi sono questi "loro clienti", ne' forniscono alcun esempio di queste mail "mancanti" o "non marcate".

Metto insieme una risposta molto politica (...e' ovviamente sempre possibile che i nostri filtri commettano errori... eccetera eccetera...) e domando ulteriori informazioni. Dopo di che, procedo con il mio lavoro.

Un'ora dopo mi arriva DaBoss.

DB - Che accidenti sta' succedendo con $cliente?
IO - E chi e' $cliente?
DB - Ho appena ricevuto una telefonata da CL incazzato come una iena perche' sembra che noi non facciamo niente.
IO - Non ho la piu' pallida idea di che cosa parli. Chi e' CL?
DB - CL lavora per $isp, pare che uno dei loro clienti, $cliente, abbia un sacco di problemi e noi non facciamo nulla.
IO - Dunque, stamani ho ricevuto una mail da $isp, pensavo fosse arrivata anche a te, comunque non hanno nominato $cliente che e' la prima volta che lo sento, io ho chiesto piu' informazioni e basta.

A questo punto guardo i dati di $cliente.

IO - Allora, $cliente ha iniziato ad usare il nostro sistema una settimana fa circa, al momento ricevono qualche cosa come 150 mail al giorno, di cui un buon ottanta per cento circa sono marcate come spam.
DB - CL mi ha detto che ricevono migliaia di mail al giorno.
IO - Aho', queste sono le mail che passano da noi... a meno che...

Un rapido clicckety-click mi dice che i record MX di $cliente puntano a tutto meno che al nostro sistema. Un altro rapido clicckety-click mi dice che il loro server di posta riceve tranquillamente posta da tutto l'universo.

IO - Humpf. Il loro DNS e' configurato male ed il loro server di posta riceve posta da ogni dove. Nessuna sorpresa se ricevono spam.
DB - Allora, mandami una copia di quella roba che adesso chiamo CL.

La faccenda ovviamente non e' finita li', CL apparentemente ha reiterato le sue proteste adducendo "migliaia" di mail di spam al giorno, ed ovviamente di queste "migliaia" di mail di spam non e' possibile riceverne un esempio cosi' posso vedere quale sia il problema.

Dopo diversi giorni (si', giorni), di continue telefonate e mail di lamentela, riesco, finalmente, ad avere un "esempio" di queste mail di spam. CL lamenta anche che la stessa mail, inviata a 3 destinatari diversi, e' arrivata solo ad uno dei 3.

Io guardo questo "esempio" che e' composto da 8 mail. Si', otto. Alla faccia delle "migliaia" di mail. La prima cosa che controllo e' ovviamente questa "mail del mistero" e noto subito che non e' una mail ma sono due mail distinte, inviate a 2 ore di distanza una dall'altra e da due server diversi. Le due mail hanno lo stesso identico contenuto perche' trattasi di una mailing-list, ma sono innegabilmente, DUE mail distinte. Ed ecco spiegato il mistero: probabilmente in quelle due ore che sono intercorse qualche cosa e' cambiato nel filtro.

Delle altre 7 mail rimanenti, una buona meta' non sono passate attraverso il nostro sistema (ricordate cosa avevo detto della loro configurazione?), e se analizzate dal mio filtro vengono tutte considerate 'spam' senza problemi. Le altre 3 invece contengono solo un link http, quindi troppo poco perche' il filtro bayesiano possa farci qualche cosa e se il link non e' nella blacklist non e' possibile farci niente (allo scopo, io ho sviluppato un plugin di spamassassin).

Rispondo (con CC a DaBoss), ma ovviamente la cosa non e' molto apprezzata da CL.

Un paio d'ore dopo sono a consulta con DaBoss.

IO - ...quindi e' sempre possibile che il filtro marchi le mail in modo sbagliato, e' un sistema automatico, mica un essere umano. E comunque, Failure is ALWAYS an option.
DB - Ma questi stanno facendo un casino e domandano spiegazioni.
IO - Le ho inviate le spiegazioni. Anche a te.
DB - Questa cosa che il loro server accetta posta anche da altri sistemi e' la migliore, puoi fare un controllo su quanti dei loro clienti hanno lo stesso problema?
IO - Si ma ci vorra' un po' di tempo, non e' immediatao.
DB - Ok, tu comincia. Quante mail ricevono che sono marcate sbagliate?
IO - E come accidenti faccio a saperlo? L'unico modo sarebbe guardare ogni singola mail. Cosa che gia' faccio per i nostri sistemi di test e su questi la percentuale e' inferiore all'uno per cento. Ma quello che e' spam per me magari non lo e' per loro. L'unico modo per essere sicuri e' che loro mi mandino le mail che sono marcate sbagliate cosi' che io possa analizzarle. Se non lo fanno non posso farci niente.
DB - Ma CL ha detto che lo ha fatto.
IO - Sicomeno... Mi ha mandato 7 mail. SETTE, alla faccia delle migliaia. E 4 di queste non sono passate attraverso il nostro sistema quindi non contano. Alla fine erano solo 3 le mail "valide".
DB - Se ricevono un centinaio di mail al giorno il 3 per cento e' un po' troppo...
IO - Se sono 3 mail in un giorno forse, e se sono 3 mail in una settimana?
DB - Adesso richiamo CL e cerco di organizzare un meeting con $cliente...
IO - Ma perche' non chiamiamo direttamente $cliente e scavalchiamo CL? Dopo tutto e' $cliente che tira fuori i soldi no?

Riesco a convincere DB, cosi' chiamiamo direttamente $cliente e parliamo con il di loro SL.

DB - ... quindi abbiamo deciso di chiamarvi direttamente per mettere in chiaro la faccenda.
SL - Ah, bene, ma non ce n'era bisogno effettivamente. Ho gia' detto a CL di $isp che l'intera cosa non e' cosi' preoccupante.
DB - Ah no?
SL - No. Nei primi giorni c'e' stato un po' un problema perche' il nostro responsabile dell'it ha fatto un po' di casino con la configurazione dei server, ma adesso che abbiamo riconfigurato il firewall e non accettiamo piu' posta da altri le cose vanno molto meglio.
DB - E non ricevete piu' spam?
SL - Mah, qualche cosa di tanto in tanto, una o due mail al giorno, ma niente di grave in ogni caso. In effetti la mia mailbox e' un po' solitaria...
DB - Ah bene... perche' CL parlava di migliaia...
SL - CL non sa di cosa ca$$o parla.

E quella e' stata la cosa piu' giusta che ho sentito riferita a CL.

Davide
30/11/2009 08:00

Previous Next

Comments are added when and more important if I have the time to review them and after removing Spam, Crap, Phishing and the like. So don't hold your breath. And if your comment doesn't appear, is probably becuase it wasn't worth it.

20 messages this document does not accept new posts

Incredibbile.... By Cobra78 posted 30/11/2009 09:40

....no cioe', un cliente con qualcuno di competente che ammette i propri errori e capisce i limiti tecnici di certi sistemi O_O

Mi sa che monto le gomme da neve all'auto sulla fiducia :| -- Prendi la vita al minuto, non all'ingrosso.
Sogna come se dovessi vivere per sempre; vivi come se dovessi morire
oggi.

Nicola Strada

CL non sa di cosa ca$$o parla By Nicola Strada posted 30/11/2009 09:41

Ohibò, vuoi vedere che piano piano qualcuno comincia a svegliarsi? Avverto un tremito nella forza... -- Nicola Strada

Alex ARNZ

Piccole soddisfazioni... By Alex ARNZ posted 30/11/2009 09:48

"SL - CL non sa di cosa ca$$o parla."

... che danno un senso a tutte le incazzature della giornata.
-- Alex ARNZ

ossassin2

Che soddisfazione.. By ossassin2 posted 30/11/2009 10:03

"SL - CL non sa di cosa ca$$o parla."

.. quando hanno queste conferme dal cliente $:\)$

8=8 -- ossassin2

Venk DeVoer

Posizione invidiabile By Venk DeVoer posted 30/11/2009 10:05

Beh, come al solito la tua posizione è invidiabile: hai potuto scavalcare isp!
Se provassi a scavalcare qualcuno nella mia "catena", mi manderebbero a raccogliere margherite sulla Sopraelevata... -- Venk DeVoer

Marly

Tanto per cambiare... By Marly posted 30/11/2009 10:09

Mi sa che il CL è uno di quegli incompetenti mangler che la vogliono sempre vinta, quindi ha gonfiato le cose e fatto la voce grossa per farsi bello agli occhi degli altri... in parole povere: un pallone gonfiato. -- Marly

Eugenio Dorigati

Un SL non-brainless! By Eugenio Dorigati posted 30/11/2009 11:29

A quanto pare c'è un raro caso di SL non-brainless! O almeno non lo da a vedere come altri ^^ -- "Unix IS user friendly. It's just selective about who its friend are"

ringo

@ Eugenio Dorigati By ringo posted 30/11/2009 11:57

> A quanto pare c'è un raro caso di SL non-brainless! O almeno non lo da a vedere come altri ^^
>

Evidentemente si tratta di un SL che arriva dal reparto tecnico. Ogni tanto qualcuno ce n'e'...
-- ringo

argaar

e tu... By argaar posted 30/11/2009 11:41

...non hai proposto a DaBoss di richiamare il CL e brasarlo per bene dato che si permette di fare così? -- argaar

@ argaar By Nik posted 30/11/2009 17:33

> ...non hai proposto a DaBoss di richiamare il CL e brasarlo per bene dato che si permette di fare così?
>

più che altro, chiamare il capo di CL -- ...

argaar

@ Nik By argaar posted 02/12/2009 11:04

> > ...non hai proposto a DaBoss di richiamare il CL e brasarlo per bene dato che si permette di fare così?
> >
>
> più che altro, chiamare il capo di CL
>
>

di solito preferisco l'impatto "prima linea" prima redarguisco te in modo che capisci che hai fatto la ca**ata e la prossima volta non chiami...poi se (come normalmente) perseveri parte la chiamata più in alto...è anche vero che spesso tanto entrambe non sortiscono effetto alcuno...tu sei il sistemista e tu sbagli a priori....sigh! -- argaar

Lorenzo

Sport nazionali By Lorenzo posted 30/11/2009 17:17

Vedo che non è solamente un costume italico quello di lamentarsi (soprattutto senza motivo), anche in Olanda è uno sport molto praticato, a parte SL di $cliente. -- Lorenzo

Andrea

Ammettilo! By Andrea posted 30/11/2009 18:05

Però ammettilo,

quando si ha ragione e si fa passare per $diversamente_intelligente qualche rompi scatole, è dannatamente gratificante!! (fino alla telefonata successiva, ovvio..) -- Andrea

Silenx

Che tristezza .. By Silenx posted 01/12/2009 12:31

Cioè per una volta sono contento di vedere che esiste un SL tra l'altro cliente indiretto che NON si lamenta .. nella mia carriera non è mai successo .. oppure poteva succedere di ricevere le classiche email con scritto: ""non funziona più niente delle cose che ci avete venduto!!"" con tono minatorio/incazzoso ... poi chiamavi e la suddetta persona si cagava sotto e/o non la faceva più grave di quel tanto...
Io comunque resto dell'idea che i peggiori in classifica siano i commerciali .. son dei CL alla ennesima e anche i più spaccamaroni .. molto più di un DB .. sono dipendenti quanto me, ma pretendono e si atteggiano ad essere superiori, millantando conoscenze astrogeofisiconucleari.
Chissà se anche per voi è così... -- Linux cerberus-x 2.6.31-1-amd64 #1 SMP Sat Oct 24 17:50:31 UTC 2009 x86_64 GNU/Linux

radura

parole sante By radura posted 02/12/2009 17:29

>....la "lotta allo spam" e' una lotta combattuta sulla difensiva. Si >reagisce e non si agisce. Dato che lo spam di oggi e' diverso dallo spam di ieri >e che quello di domani e' imprevedibile e' praticamente impossibile avere un >sistema "stabile".
---------------------------------------------------------------

Prova a spiegarlo al mio ex-capo: "Prima avevamo un antispam che non faceva passare NEANCHE UNA mail di spam!!!". Io: "Sì, in compenso non potevi controllare se segasse anche le mail buone, perchè non aveva quarantena..." -- radura

@ radura By Davide Bianchi posted 02/12/2009 18:02

> Prova a spiegarlo al mio ex-capo

Non sono mai riuscito a spiegarli ai miei, figurati se ci provo con i capi degli altri...
-- Davide Bianchi

R. Damon

il server di posta, questo sconosciuto By R. Damon posted 03/12/2009 19:06

> [...] i record MX di $cliente puntano a tutto meno che al nostro sistema [...]

Cose che capitano. Anche a $noivendiamoilfumo, un mio ex datore di lavoro, uno dei nostri prodotti era un mailscan e infatti lo usavano in tanti. Non sempre la colpa era dei CL, ma i risultati erano ugualmente orripilanti.

1) record MX (controllati dal CL) che puntano non ai nostri sistemi, MA NEMMENO AI LORO, solo a hostname MOLTO campati per aria perche' inesistenti

2) CL che, con la scusa della fault tolerance (perche' i nostri server non erano ridondati, come no...) infilano un record MX a bassa priorita' sotto i nostri, con dentro il loro server interno; per la cronaca, una delle tattiche preferite di spammer e di qualche worm e' interpretare le priorita' degli MX in ordine inverso per bypassare il bypassabile (e infatti qualche pollastro ogni tanto lo beccano)

3) la porta 25 aperta al mondo, in architetture con un mailscan in outsourcing, e' un peccato (quasi) veniale, ma comunque da evitare: uno dei nostri CL rimase bersagliato dallo spam anche dopo mesi interi in cui aveva fatto girare (correttamente) i DNS

4) il punto alla fine degli hostname, su certi DNS, non e' un optional; il risultato e' che alcuni powerCL credono di impostare come MX mail.miodominio.com e il resto del mondo lo interpreta come mail.miodominio.com.miodominio.com

5) alcuni soggetti che si fanno passare da ISP si scordano di cancellare dai DNS le zone ormai migrate altrove; i DNS del resto del mondo continuano a rinfrescare la propria cache dalla stessa fonte e il risultato e' un bel casino, che il piu' delle volte coinvolge (anche) la posta

6) altri soggetti che si fanno passare da ISP si scordano di far cancellare interi servizi posta ancora presenti altrove; il risultato e' che tutti i loro clienti (piu' sono peggio e') mandano a caselle che non dovrebbero esistere piu' da un pezzo (per non parlare degli "user unknown" che saltano fuori perche' nel frattempo l'utente finale si e' creato indirizzi nuovi, inesistenti nel passato). Il record lo stabili' una compagnia che entro' in una nostra piattaforma e cambio' provider dopo qualche ANNO senza che noi fossimo ancora riusciti a convincere l'$ispcherivendevainostriservizi a cancellare le vecchie caselle (e le smtproutes del caso per il dominio) dai suoi server. -- R. Damon

@ R. Damon By Davide Bianchi posted 05/12/2009 09:57

> 4) il punto alla fine degli hostname, su certi DNS, non e' un optional;

No, il punto non e' optiona e basta. www.mydomain.com ha un significato mentre www.mydomain.com. ha un significato DIVERSO e molto preciso.

-- Davide Bianchi

R. Damon

@ Davide Bianchi By R. Damon posted 17/12/2009 16:44

> > 4) il punto alla fine degli hostname, su certi DNS, non e' un optional;
>
> No, il punto non e' optiona e basta. www.mydomain.com ha un significato mentre www.mydomain.com. ha un significato DIVERSO e molto preciso.

Era solo per precisare la cosa, casomai passasse un CL di quelli che manovrano i DNS dei provider e/o dei servizi di registrazione tramite interfacce certe web a-prova-di-babalano e credono che "i DNS" siano "quella cosa che uso col navigatore per metterci gli IP". Molte di queste interfacce sono cosi' guidate (=e anche rigide, certe cose magari non sono possibili) che, con il punto o senza, non fa differenza (e infatti molti nemmeno si pongono il problema prima di averci sbattuto il naso). Tutte, naturalmente, no. $;-\)$ -- R. Damon

Sabrina

Miracoli olandesi By Sabrina posted 05/12/2009 11:42

Resta il miracolo di un SL che sa di cosa parla -- Sabrina

20 messages this document does not accept new posts

Previous Next

Tales from the Machine Room