Allineare mysql slave

Cosa succede se si fa una bella insert sul nostro database mysql slave?
Due cose :

  1. Lo slave server si disallinea
  2. Il sistemista bestemmia 
Per controllore lo stato dello slave bisogna lanciare dallo slave :

mysql> show slave status\G 

Lo Slave utilizza piu’ thread. Il primo e’ una connessione remota al Master ed ha il compito di raccogliere i dati dal bin-log (BinLog Dump) ed e’ sempre attivo. Gli altri thread sono locali ed hanno il compito di ricevere il contenuto del bin-log (Slave I/O) e di applicarlo alla base dati (Slave SQL). In caso d’errore nell’inserimento dei dati il thread Slave SQL si interrompe mentre lo Slave I/O continua a raccogliere i dati dal Master. Con show slave status\G si ottiene l’indicazione dell’errore occorso; una volta corretto il problema la replicazione riprende dal punto in cui si era interrotta applicando il relay-log. 

Per risolvere il problema numero 1 bisogna seguire questa facile guida :

1. Stoppare sugli SLAVE SERVER il servizio di replica :

mysql> stop slave;

2. Lokkare le tabelle sul MYSQL MASTER (occhio a non uscire da mysql altrimenti questo comando viene flushato)
mysql> FLUSH TABLES WITH READ LOCK;

3. Effettuare un dump completo e copiarli sullo/i SLAVE/s :
mysqldump --all-database > databases.sql -u root -p 

4. Restore DB sugli SLAVE
mysql -u root -p databases.sql 

5. Controllare lo stato del MYSQL MASTER per vedere fino a che punto è arrivata il transaction bin log : (in un altra sessione ssh, vedi punto 2)
mysql> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000059 | 17908642 |              |                  |
+------------------+----------+--------------+------------------+

6. Riattivare il MYSQL SLAVE
CHANGE MASTER TO MASTER_LOG_FILE = 'mysql-bin.000059', MASTER_LOG_POS = 17148864;

7. Riattivare lo slave
mysql> start slave;

8. Riattivare il MYSQL MASTER in scrittura
UNLOCK TABLES;

Monitorare coda postfix

Un semplice script bash che controlla la coda di postix e ci avverte se supera un determinato limite :

 Bash | 
 
 copy code |
?

01
#!/bin/bash
02
limit=50;
03
notifyemail=luigi.molinaro@gmail.com;
04
servername=$(hostname);
05
 
06
queue_p=$(postqueue -p | grep Request | awk '{print $5}');
07
 
08
if [ $queue_p -ge $limit ] ; then
09
        echo "
10
Dear Server admin,
11
 
12
We have $limit in local mailqueue.
13
" | mail -s "Mailqueue limit exceeding - $servername" $notifyemail
14
 
15
fi
16

 

 

Proteggi SSH con SSHguard

 sshguard , è scritto in C, quindi usa meno memoria e CPU durante l’esecuzione pur ottenendo gli stessi risultati.

COSA FA SSHGUARD ?

La versione corta è: riceve i messaggi di log, rileva quando un servizio in rete è attaccato basandosi su di essi, e blocca l’indirizzo di chi sta attaccando, dopo qualche tempo, rimuove questo blocco.

La versione completa è: sshguard gira su una macchina come un piccolo demone, e riceve i messaggi di log (in diversi modi, ad esempio da syslog). Quando si determina che l’indirizzo X ha fatto qualcosa di male al servizio Y, attiva una regola nel firewall della macchina (uno dei tanti supportati) per il blocco di X.
Sshguard mantiene X bloccato per qualche tempo, poi lo rilascia automaticamente.

Si prega di notare che, nonostante il suo nome sshguard rileva di base gli attacchi per molti servizi, non solo SSH, ma anche diversi demoni ftpds, Exim e Dovecot. E’ in grado di operare con tutti i principali sistemi di firewalling, e fornisce supporto per IPv6, whitelist, sospensione, e registra i messaggi di autenticazione.

Installazione

Sshguard è distribuito sotto la permissiva licenza BSD: è possibile utilizzare, modificare e ridistribuire il software, a proprio rischio, per qualsiasi uso, anche commerciale, a condizione di conservare l’avviso di copyright originale che si trova al suo interno. Il software è distribuito nel repository principale delle più utilizzate distribuzioni GNU/Linux e per alcuni sistemi *BSD, ma è anche possibile scaricare i sorgenti dalla loro pagina di downlaod .

Per installarlo su Debian ( o altre distribuzioni che utilizzano i .deb come Ubuntu) lanciate da un terminale:

sudo aptitude install sshguard

Configurazione

Sshguard si interfaccia al sistema in due punti:

  • il sistema di logging (come sshguard riceve i messaggi di log per il monitoraggio)
  • il firewall (come sshguard blocca gli indirizzi indesiderati )

A partire dalla versione 1.5, sshguard viene fornito con il Log Sucker . Con il Log Sucker, SSHGuard recupera le voci dai log in modo proattivo, e gestisce in modo trasparente eventi come la rotazione dei file di log e la scomparsa e riapparizione dei file.

Nella pagina della documentazione ufficiale ci sono delle istruzioni per molti firewall differenti, io seguirò le istruzioni per netfilter/iptables.

sshguard non ha un file di configurazione. Tutta la configurazione che deve essere fatta è la creazione di una chain chiamata “sshguard” nella catena di INPUT di iptables dove sshguard inserisce automaticamente le regole per i pacchetti provenienti da host malevoli:

#Per il supporto a IPv4 :
iptables -N sshguard
# Se volete anche il supporto a IPv6 :
ip6tables -N sshguard

Ora aggiornare la catena di INPUT in modo che passi tutto il traffico che si desidera a sshguard, specificare con – dport tutte le porte dei servizi che si desidera proteggere con sshguard. Se si desidera impedire agli aggressori di fare tutto il traffico verso l’host, rimuovere completamente l’opzione:

#Blocca tutto il traffico:
iptables -A INPUT -j sshguard
ip6tables -A INPUT -j sshguard
 
        -- o --
 
#Blocca gli attaccanti solo per i servizi SSH, FTP, POP, IMAP  (usa il modulo "multiport")
iptables -A INPUT -m multiport -p tcp --destination-ports 21,22,110,143 -j sshguard
ip6tables -A INPUT -m multiport -p tcp --destination-ports 21,22,110,143 -j sshguard

Se al momento non usate iptables e volete solo avere sshguard installato e funzionante senza alcun ulteriore impatto sul sistema, questi comandi creano e salvano una configurazione iptables che non fa assolutamente nulla se non permettere ad sshguard di funzionare:

# iptables -F
# iptables -X
# iptables -P INPUT ACCEPT
# iptables -P FORWARD ACCEPT
# iptables -P OUTPUT ACCEPT
# iptables -N sshguard
# iptables -A INPUT -j sshguard
# /etc/rc.d/iptables save

Conclusioni

E questo è tutto quello che dovete fare per avere una installazione di base di sshguard installata e funzionante, vi aiuterà ad avere il vostro ssh, ftp ed altri demoni un po’ più sicuro.

Creazione automatica sito web apache con bash

Ecco un semplice script che crea website, alias, directory automaticamente tramite bash 

01
#!/bin/bash
02
 
03
echo "Inserisci dominio (es: example.com):";
04
read domain;
05
echo "" 
06
echo "Inserisci Alias (es: www.example.com):";
07
read domain_alias;
08
echo "" 
09
 
10
### Check $domain esiste
11
if ! grep "${domain}" /etc/apache2/sites-available/${domain}.conf >> /dev/null; then
12
        echo "${domain} will be created" 
13
        mkdir -p /var/www/${domain}/{htdocs,logs,cgi-bin};
14
 chown -R www-data:www-data /var/www/${domain}/
15
 
16
 echo " 
17
## Automatic generation from Genesi on `eval date +%d.%m.%Y`
18
## ${domain}
19
<VirtualHost *:80>
20
 ServerName ${domain}
21
 ServerAlias ${domain_alias}
22
 DocumentRoot /var/www/${domain}/htdocs
23
 ServerAdmin [email protected]
24
 
25
 ErrorLog /var/www/${domain}/logs/error.log
26
 CustomLog /var/www/${domain}/logs/access.log combined
27
</VirtualHost>
28
 
29
<Directory /var/www/${domain}/htdocs>
30
 Options FollowSymLinks MultiViews
31
 AllowOverride All
32
 Order allow,deny
33
 allow from all
34
</Directory>
35
 " >> /etc/apache2/sites-available/${domain}.conf
36
 
37
                echo "Testing configuration" 
38
                apache2ctl configtest
39
                a2ensite ${domain}.conf 
40
                /etc/init.d/apache2 reload
41
else
42
        echo "${domain} Dominio già esistente" 
43
fi
44

 

Mediawiki FCKeditor

Dalla versione di MediaWiki > 1.16 la versione stabile di FCKeditor è disponibile qui : http://svn.wikimedia.org.

SVN path: http://svn.wikimedia.org/svnroot/mediawiki/trunk/extensions/FCKeditor)

Peccato solo che la versione ufficiale esce con un bel baco :

 Bash | 
 
 copy code |
?

1
Fatal error: Cannot redeclare js_unescape() (previously declared in /home/webapps/ineh/extensions/FCKeditor/FCKeditorSajax.body.php:268) in /home/webapps/ineh/includes/AjaxFunctions.php on line 55

Per risolvere basta modificare questa pagina all’interno della cartella extensions/FCKeditor e cambiare  ‘js_unescape’ con ‘fck_js_unescape’;

O lo fate a mano o usate rpl ad esempio :

 Bash | 
 
 copy code |
?

1
rpl js_unescape fck_js_unescape FCKeditorSajax.body.php

 

LVM – Come funziona

Introduzione 

LVM (Logical Volume Manager) permette l’utilizzo di dispositivi logici virtuali per accedere ai disci, mascherano cosi’ la natura dei dispositivi fisici su cui risiedono i dati.

E’ quindi possibile utilizzare un device virtuale di cui possono fare parte diversi hard disk fisici, anche di natura, velocità e dimensioni diverse.

I vantaggi di un simile approccio alla gestione dei file system sono maggiore flessibilita’ e scalabilita’, alta disponibilita’ del servizio e ridondanza.

Schema

                        -------------------------------------------------
Logical Volumes  (LV)   |    lv_share   |    lv_backup   |   (unused)   |
                        -------------------------------------------------
Volume Groups    (VG)   |                 vg_fileserver                 |
                        -------------------------------------------------
Physical Volumes (PV)   | /dev/sdb1 | /dev/sdc1 | /dev/sdd1 | /dev/sde1 |
                        -------------------------------------------------

Ricerca nuovi dischi 

Per vedere nuovi dischi aggiunti alla macchina:
echo 1 > /sys/class/fc_host/host/issue_lip
rescan-scsi-bus.sh -l -w -c
multipath

Physical Volumes (PV) 

Per creare un Physical Volume (PV) su una partizione esistente, cioe’ rendere la partizione adatta ad ospitare dei Volume Group (VG):
pvcreate ”/dev/sdb1”

Per visualizzare tutti i Physical Volume (PV) presenti:
pvdisplay

Per spostare tutti i dati da un Physical Volume (PV) ad un altro:
pvmove -i 10 ”/dev/sdb1” ”/dev/sdc1”

Volume Groups (VG) 

Per creare un Volume Group (VG) su un Physical Volume (PV) precedentemente creato:
vgcreate ”vg_name” ”/dev/sdb1” ”/dev/sdc1”

Per attivare un Volume Group (VG) non attivo:
vgchange -a y ”vg_name”

Per estendere un Volume Group (VG):
vgextend ”vg_name” ”/dev/sdd1”

Per visualizzare tutti i Volume Group (VG) presenti:
vgdisplay

Per rinominare un Volume Group (VG):
vgrename ”vg_name” ”vg_new_name”

Logical Volumes (LV)

Per creare un Logical Volume (LV) grande 2 GB su un Volume Group (VG) precedentemente creato:
lvcreate -L”2G” -n ”lv_name” ”vg_name”

Per formattare in xfs il Logical Volume (LV) appena creato:
mkfs.xfs /dev/”vg_name”/”lv_name”

Per estendere un Logical Volume (LV) di 1 GB:
lvextend -L”+1G” /dev/”vg_name”/”lv_name”

Per estendere il filesystem presente sul Logical Volume (LV) appena esteso:
xfs_growfs /mountpoint

Per visualizzare tutti i Logical Volume (LV) presenti:
lvdisplay

Monitorare progresso restore Mysql

Vi è mai capitato di dover copiare un file di grandi dimensioni e voler monitorare lo stato di avanzamento della copia? Con pv è possibile farlo in maniera molto semplice. Le distribuzioni più comuni permettono di installare pv con un semplice apt-get install pv o yum install pv, dopodiché potete monitorare lo stato di avanzamento di una copia semplicemente mettendo pv in pipe con altri comandi. pv di per sé si comporta in maniera molto simile a cat, quindi, ad esempio, se dovete mandare una serie di query a mysql :

# pv database_backup.sql | mysql my_database
96.8MB 0:00:17 [5.51MB/s] [==>                                ] 11% ETA 0:02:10

Ecco il nuovo sito Ubuntu App Developer: annuncio ufficiale!


Punto di riferimento fondamentale per tutti gli sviluppatori Ubuntu: il nuovo sito è stato ufficialmente annunciato e risulta giù attivo a questo indirizzo: http://developer.ubuntu.com/.

Un supporto passo passo per chi ha voglia di dedicarsi allo sviluppo di applicazioni per uno dei sistemi operativi free più utilizzati al mondo: il sito è costituito da diverse sezioni, tutte con uno scopo ben preciso.

  • Get started – Per incominciare…
  • Resources – Tutorial, guide e tutta la documentazione necessaria per lo sviluppo
  • Publish – Viene spiegato come usufruire del famoso Ubuntu Software Centre
  • Community – Community che riunisce tutti gli sviluppatori
  • My Apps – Sezione in cui possiamo tutte le applicazioni sviluppate e relative informazioni.

Ci si aspettano ulteriori novità e cambiamenti che verranno probabilmente discusse e rivelate in occasione dell’ Ubuntu Developer Summit che si terrà ad Orlando

Cancellare directory piena di files (giga)

Se stai cercando di eliminare un numero molto elevato di file in una sola volta (ho cancellato una directory con 7.485.000 oggi +), probabilmente incorrerai in questo errore:

/bin/rm: Argument list too long.

Il problema è che quando si digita qualcosa del tipo “rm-rf *”, il “*” viene sostituito con un elenco di tutti i file corrispondenti, come “rm-rf file1 file2 file3 file4” e così via. C’è un buffer relativamente piccolo di memoria allocata per la memorizzazione questo elenco di argomenti e se è riempito, la shell non esegue il programma.

Per ovviare a questo problema, un sacco di persone useranno il comando find per trovare tutti i file e passarli uno ad uno per il comando “rm” in questo modo:

find . -type f -exec rm -v {} \;

Il mio problema è che avevo bisogno di cancellare queli 8 milioni di log e sci metteva davvero troppo tempo.
Sono incappato in un modo molto più veloce di eliminare file – il comando “find” ha un “-delete”  perfetto per me! Ecco cosa ho finito per usare:

find . -type f -delete

Utilizzando questo metodo, ho cancellato di circa 2000 file / secondo …  molto più veloce!

È anche possibile visualizzare i nomi dei file mentre li cancellati :

find . -type d -print -delete

VirusTotal

Fonte: http://www.bybab.com/sicurezza-online/1020/effettuare-scansione-antivirus-online-con-virustotal/

 

Il sito VirusTotal, ora tradotto anche in italiano, ci offre questo servizio a titolo gratuito. Oltre al controllo on-line, è possibile inviare un file via e-mail della grandezza massima di 10 MB.

Premete Sfoglia e selezionate il file che volete far analizzare. Quindi premete Invia File.

Vt1.jpg

Attendete qualche momento, a seconda delle dimensioni del file da caricare.

Vt2.jpg

In certi momenti della giornata, l’attesa potrebbe essere molto lunga; in questo caso, potete inviare il file via e-mail o riprovare più tardi.

Sebbene vi avvisino che potrebbero anche sbagliare, il grado di identificazione dei virus è molto alto e quindi il servizio offerto è più che affidabile.

Vt3.jpg

A questo punto, vi viene fornito il risultato dell’analisi.

Come potete vedere, quello che segue è il risultato finale: il virus è stato riconosciuto quasi da tutti gli antivirus, magari con un nome diverso, ma avete la certezza che quel file è infetto.

Vt4.jpg

Talvolta, nelle foto potete vedere nomi diversi per lo stesso virus. Ciò accade perché ogni casa utilizza il proprio “alias“, cioè stesso virus, ma con nome differente.

Premendo il pulsante Formattato, potrete passare ad un formato pagina più compatto.

Vt5.jpg

Questo servizio non elimina il virus, se presente, ma almeno vi dà la certezza che avete un problema, identificando il vostro “nemico”.

È possibile integrare nel menu Invia a un piccolo eseguibile, che permette di inviare direttamente i file sospetti al controllo di VirusTotal, senza neanche dover aprire il browser.

Il file è scaricabile da questa pagina. Questo, invece, è il link diretto al file.

Una volta installato, basterà selezionare il file, cliccarvi sopra con il tasto destro del mouse, aprire il collegamento ad Internet, selezionare Invia a e scegliere VirusTotal.

Upvt1.jpg

Si avvierà l’upload del file.

Upvt2.jpg

A questo punto, basterà attendere il risultato della verifica per sapere se il nostro file sia o meno infetto.