quarta-feira, 21 de dezembro de 2011

Soma dos débitos do extrato do Banco do Brasil

  Eu sempre fiz o controle dos meus gastos e para ter a resposta do custo do mês, desenvolvi um script que soma todas as parcelas debitadas da minha conta corrente do banco do Brasil.
  Começou de uma forma bem simples. Um conjunto de entradas e saídas era sequênciado da seguinte forma:
  • o comando cat exibe todo o conteúdo
  • o comando cut mostrar do caracter 60 em diante
  • o grep exibe somente as linhas de débito (indicadas por um "D")
  • o awk exibe somente o primeiro campo da linha de débito
  • o comando sed substitui vírgula por ponto
  • o paste e suas opções transformam a listagem de coluna para linha e insere um sinal de mais (+) entre os números
  • o comando bc faz a soma
Observação: a necessidade de substituir a vírgula por ponto é devido ao bc requerer este símbolo para interpretar valores fracionários.

  Até Maio de 2007 e anterior a esta data, o comando era:

cat extrato_07_05.txt | cut -c 60- | grep D | awk '{printf("%s\n",$1)}' | sed 's/,/./g' | paste -s -d"+" | bc

  De Junho de 2007 até o presente, usa-se:

cat extrato_07_06.txt | cut -c 71- | grep D | awk '{printf("%s\n",$1)}' | sed 's/,/./g' | paste -s -d"+" | bc

  Estes comandos combinados funcionavam para valores até 999 reais. A partir dos valores contendo 4 dígitos, este é exibido com um ponto separador de milhar. Exemplo: 1.000,00   Como consequência, causa um erro no interpretador do bc. Para resolver o problema, apresento a solução abaixo bem como os comentários.

#!/bin/bash
# Variáveis mes e ano capturam a data
mes=`date +%m`
ano=`date +%Y`

# Exige o número do arquivo ao executar o comando
 if [ $# != 1 ]
   then
    echo "Argumento: nome_de_arquivo"
    exit 1
  fi

cat $1 | cut -c 71- | grep D | awk '{printf("%s\n",$1)}' | sed 's/,/./g' > extrato.txt
# Conta a quantidade de linhas ao ler o arquivo
total_linhas=`wc -l extrato.txt | cut -f1 -d" "`
# Apaga o arquivo
rm -f gasto_"$ano"_$mes.txt
# Loop para executar um conjunto de ações até o final do arquivo
for i in `seq $total_linhas`
  do
# Analisa cada linha e conta o número de pontos (separadores de milhar e da parte fracionária)
   um_ponto=`head -n $i extrato.txt | tail -n 1 | tr -cd "." | wc -c`
   if [ $um_ponto = 1 ]
    then
# Se for apenas 1 ponto, simplesmente exibe o valor
    head -n $i extrato.txt | tail -n 1
   fi

# Analisa cada linha e conta o número de pontos (separadores de milhar e da parte fracionária)
  dois_pontos=`head -n $i extrato.txt | tail -n 1 | tr -cd "." | wc -c`
   if [ $dois_pontos = 2 ]
    then
# Se forem 2 pontos, substitui o primeiro ponto por nada (ponto aparece somente para parte fracionária)
    echo `head -n $i extrato.txt | tail -n 1` | sed 's/\.//'
   fi
  done >> gasto_"$ano"_$mes.txt
paste -s -d"+" gasto_"$ano"_$mes.txt | bc

sábado, 29 de outubro de 2011

Horas trabalhadas usando MySQL

  Na primeira publicação deste assunto com o título Horas trabalhadas armazenadas no MySQL eu abordei sobre um script que registra as horas trabalhadas. Passado um tempo tive que fazer alguma alterações para adequar meu sistema ao modelo usado pela empresa.
  As modificações são:
  • a substituição das colunas dia, mês e ano por data que agrupa as três informações;
  • pergunta se é um dia útil. Se a resposta for negativa, a forma como a variável saldo é calculada muda para diferenciar a quantidade de horas extras.

  A seguir está a descrição da tabela de acordo com o comando do MySQL describe ponto;

id int(11) NO PRI NULL auto_increment
in1 time YES NULL
out1 time YES NULL
in2 time YES NULL
out2 time YES NULL
tempo time YES NULL
saldo time YES NULL
data varchar(11) YES NULL
comment text YES NULL

  O script encontra-se abaixo bem como seus comentários para facilitar o entedimento das instruções.

#!/bin/bash

# Entrada dos horários
read -p "Entrada manhã: " in1
read -p "Saída almoço: " out1
read -p "Entrada tarde: " in2
read -p "Saída tarde: " out2

read -p "Data de hoje? [Y/n] " resp
# Entende que Y, y, S, s ou Enter signifiquem uma resposta a data de hoje
if [ "$resp" = Y -o "$resp" = y -o "$resp" = S -o "$resp" = s -o ! -n "$resp" ]
  then
   dia=`date +%d`
   mes=`date +%m`
   ano=`date +%Y`
   data=$dia/$mes/$ano
else
  read -p "dia " dia
  read -p "mes " mes
  read -p "ano " ano
  data=$dia/$mes/$ano
fi

# Subtrai o horário da manhã
manhaSQL=`mysql -uroot -psenha << SQL
SELECT SUBTIME('$out1','$in1');
QUIT
SQL`

# Filtra a resposta anterior ficando apenas um valor do tipo HH:MM:SS
manha=`echo $manhaSQL | awk '{printf "%s\n",$2}'`

# Subtrai o horário da tarde
tardeSQL=`mysql -uroot -psenha << SQL
SELECT SUBTIME('$out2','$in2');
QUIT
SQL`

# Filtra a resposta anterior ficando apenas um valor do tipo HH:MM:SS
tarde=`echo $tardeSQL | awk '{printf "%s\n",$2}'`

# Soma o horário da manhã e da tarde
tempoSQL=`mysql -uroot -psenha << SQL
SELECT ADDTIME('$manha','$tarde');
QUIT
SQL`

# Filtra a resposta anterior ficando apenas um valor do tipo HH:MM:SS
# Tempo total do dia (manhã + tarde)
tempo=`echo $tempoSQL | awk '{printf "%s\n",$2}'`

# Horas trabalhadas menos 9h para calcular o saldo de horas
tempo_add=`mysql -uroot -psenha << SQL
SELECT SUBTIME('$tempo','09:00:00');
QUIT
SQL`

read -p "Dia útil? [Y/n] " dia_util
if [ "$dia_util" = Y -o "$resp" = y -o "$resp" = S -o "$resp" = s -o ! -n "$dia_util" ]
  then # saldo de horas trabalhadas para dia útil
   saldo_horas=`echo $tempo_add | awk '{printf "%s\n",$2}'`
  else # saldo de horas trabalhadas para sábados, domingo e feriados
   saldo_horas="$tempo"
fi

read -p "Comentário? " comment

echo "$in1" "$out1" "$in2" "$out2" "$tempo" "$saldo_horas" "$data" "$comment"

cmd=`/usr/bin/mysql -uroot -psenha << SQL
   use imf
   insert into ponto (in1, out1, in2, out2, tempo, saldo, data, comment) values
    ("$in1", "$out1", "$in2", "$out2", "$tempo", "$saldo_horas", "$data", "$comment");
  quit
  SQL`

  Através do comando

select * from ponto where id > numero;

sendo numero o id que corresponde a uma data que procuro, o MySQL devolve a listagem de um determinado intervalo que através da ferramenta txt2tags crio as células que são facilmente portáveis para o Excel com um simples CTRL + C e CTRL + V.

sábado, 17 de setembro de 2011

Criando páginas rápidas com fotos

  O propósito deste script é gerar uma página para cada foto. Cada página tem dois links sendo o anterior e a próxima (exceção para a primeira e a última). Em outras palavras, aparecerá um número em ordem crescente(iniciado em 1) para cada foto, a foto e os links entre as páginas adjacentes.
  Esta necessidade surgiu para eu mostrar para os meus pais que tem dificuldade de lidar com o computador. Então juntei alguns conhecimentos para facilitar para eles. Recomendo redimensionar as fotos para não demorar no carregamento (veja Convertendo as fotos de um diretório específico ).
  O script exige que as fotos estejam numeradas sequencialmente. Para automatizar esta etapa, junte com o script que está em Renomear de maiúscula para minúscula e com sequência numérica . Copie e execute o segundo script desta página.
  As últimas instruções do script são 4 ajustes:
  • Trocar o link de número 010 por 10
  • Trocar o link de número 9 por 09
  • Eliminar da primeira página o link para página anterior
  • Eliminar da última página o link para a página seguinte
  Para entender como os arquivos TXT criaram os arquivos HTML, recomendo a leitura Marcas do Txt2tags do genial Aurélio Marinho Jargas.
  Depois de executar o script abaixo, transfira para o seu servidor web as fotos e os arquivos HTML. Uma alternativa que requer um pouco mais de conhecimento é configurar o Apache e o seu roteador para fazer um port forwarding. Assim, meus pais acessavam as fotos diretamente do meu computador.

#/bin/bash

# v1.1 September, 11th, 2010

total=`ls *.jpg | wc -l`
for i in `seq 9`
  do
   let j=$i-1
   let k=$i+1
echo "


=0$i/$total=

[0$i.jpg]


[anterior 0$j.html]


[proxima 0$k.html]
" > 0$i.txt
  done

for i in `seq 10 1 $total`
  do
   let j=$i-1
   let k=$i+1
echo "


=$i/$total=

[$i.jpg]


[anterior $j.html]

[proxima $k.html]
" > $i.txt
  done


# txt2html

for i in $total
  do
   txt2tags -t html *.txt
  done


sed 's/010/10/' 09.html > 09temp
mv -v 09temp 09.html

sed 's/9.html/09.html/' 10.html > 10temp
mv -v 10temp 10.html

sed '/anterior/d' 01.html > primeiroTemp
mv -v primeiroTemp 01.html

sed '/proxima/d' $total.html > ultimoTemp
mv -v ultimoTemp "$total".html

sábado, 3 de setembro de 2011

Horas trabalhadas armazenadas no MySQL

  Esta publicação tem o propósito de armazenar as suas horas trabalhadas. Nada do (argh!) excel. Este script armazena as informações e executa os cálculos.
  É preciso um certo conhecimento do banco de dados MySQL. Qualquer dúvida, consulte Introdução ao banco de dados MySQL.
  Primeiro passo é criar a database:

create database industria;

  Em seguida, cria-se a tabela com as colunas:

create table horarios (id int AUTO_INCREMENT, in1 time, out1 time, in2 time, out2 time, tempo tempo, saldo tempo, dia int(20), mes int(2), ano int(2), comment TEXT, PRIMARY KEY (id));

  Explicando cada coluna:

Coluna Tipo Explicação
id PRIMARY KEY número distinto
in1 time entrada de manhã
out1 time saída de manhã
in2 time entrada à tarde
out2 time saída à tarde
tempo time horas trabalhadas no dia somando manhã e tarde
saldo time saldo de horas
dia int(20) dia trabalhado
mes int(2) mês trabalhado
ano int(2) ano trabalhado
comment TEXT espaço para anotações do tipo "consulta médica" etc

  O banco de dados está pronto.
  Justificando por separar dia, mês e ano. Uma situação comum é fazer o levamento das horas trabalhadas de um determinado mês. Um select do tipo:

select * from horarios where mes=9 and ano=2011;

devolve todas as informações sobre o mês de setembro de 2011.
  A seguir disponibilizo o script que lê as informações introduzidas pelo usuário, executa somas e subtrações de horários e armazena no banco de dados.

#!/bin/bash

# Entrada dos horários
read -p "Entrada manhã: " in1
read -p "Saída almoço: " out1
read -p "Entrada tarde: " in2
read -p "Saída tarde: " out2

read -p "Data de hoje? [Y/n] " resp
# Entende que Y, y, S, s ou Enter signifiquem uma resposta a data de hoje
if [ "$resp" = Y -o "$resp" = y -o "$resp" = S -o "$resp" = s -o ! -n "$resp" ]
  then
   dia=`date +%d`
   mes=`date +%m`
   ano=`date +%Y`
else
  read -p "dia " dia
  read -p "mes " mes
  read -p "ano " ano
fi

read -p "Comentário? " comment

# Subtrai o horário da manhã
manhaSQL=`mysql -uroot -psenha << SQL
SELECT SUBTIME('$out1','$in1');
QUIT
SQL`

# Filtra a resposta anterior ficando apenas um valor do tipo HH:MM:SS
manha=`echo $manhaSQL | awk '{printf "%s\n",$2}'`

# Subtrai o horário da tarde
tardeSQL=`mysql -uroot -psenha << SQL
SELECT SUBTIME('$out2','$in2');
QUIT
SQL`

# Filtra a resposta anterior ficando apenas um valor do tipo HH:MM:SS
tarde=`echo $tardeSQL | awk '{printf "%s\n",$2}'`


# Soma o horário da manhã e da tarde
tempoSQL=`mysql -uroot -psenha << SQL
SELECT ADDTIME('$manha','$tarde');
QUIT
SQL`

# Filtra a resposta anterior ficando apenas um valor do tipo HH:MM:SS
# Tempo total do dia (manhã + tarde)
tempo=`echo $tempoSQL | awk '{printf "%s\n",$2}'`

# Horas trabalhadas menos 9h para calcular o saldo de horas
tempo_add=`mysql -uroot -psenha << SQL
SELECT SUBTIME('$tempo','09:00:00');
QUIT
SQL`

# saldo de horas trabalhadas
saldo_horas=`echo $tempo_add | awk '{printf "%s\n",$2}'`

# insere no banco de dados os valores armazenados nas variaveis
cmd=`/usr/bin/mysql -uroot -psenha << SQL
  use industria
  insert into horarios (in1, out1, in2, out2, tempo, saldo, dia, mes, ano, comment) values
    ("$in1", "$out1", "$in2", "$out2", "$tempo", "$saldo_horas", "$dia", "$mes", "$ano", "$comment");
  quit
  SQL`

sábado, 27 de agosto de 2011

Introdução ao banco de dados MySQL

  Vamos ao primeiro contato com o banco de dados MySQL. Depois desta introdução sobre as funcionalidades básicas do banco de dados, vamos unir com Shell Script nas futuras publicações.
  Para saber se o banco de dados já está instalado, digite:

dpkg -l mysql*

  Eu estou usando a versão 5.1.49-1ubuntu8.1
  Caso não esteja instalado, digite:

apt-get install mysql-server

  Para se autenticar, utilize o comando:

mysql -u user -p password

  Substitua o nome do user e a senha password pela combinação que autentica no sistema.
  Antes de sair digitando comando, entenda conceitos essenciais:

  • database: conjunto de tabelas.
  • table: depois de determinada a database a ser usada, é a vez de criar a tabela contendo os nomes das variáveis dispostas em colunas. Cada variável tem um tipo: varchar, int, time etc. Mais detalhes veja Data Types.
  Para os comandos a seguir, mostro anotações que fiz sobre meu estudo sobre C++. A medida que via informações da mais alta importância, fui armazenando num banco de dados.

  Para listar as databases:

show databases;

  Para criar uma database:

create database deitel;

  Para utilizar a database:

use deitel;

  Para listar as tabelas existentes na database, digite:

show tables;

  Para criar a tabela com 3 variáves sendo página, seção e texto:

create table livro ( pagina INT, secao INT, texto TEXT);

  Se quiser que a cada linha o contador incremente o número do registro, observe o tipo AUTO_INCREMENT e PRIMARY KEY que são usadas para a variável id.

create table livro ( id int AUTO_INCREMENT, pagina varchar(5), secao varchar(8), texto TEXT, PRIMARY KEY (id));

  Para o caso que um valor não poder aceito como vazio, digite o nome da variável, o tipo e a palavra NOT NULL.
  Exemplo:

create table livro ( id int AUTO_INCREMENT, pagina varchar(5) NOT NULL, secao varchar(8), texto TEXT, PRIMARY KEY (id));

  O comando a seguir descreve o nome, o tipo, se é permitido ou não preencher um valor e informações adicionais.

describe livro;

  Para inserir valores na tabela, observe:

insert into livro (pagina, secao, texto) values ('78', '3.9', 'A série Dive-Into mostra como compilar múltiplos arquivos.');

  Para alterar um dado, a sintaxe é:
update nome_da_tabela set Nome_da_variável='NOVO VALOR' where id='numero_unico';
  Exemplificando:

update livro set secao='4.6' where id=4;

  Caso queria descartar uma tabela, o comando é:

drop table nome_da_tabela;

  Exemplificando:

drop table livro;

  Com estes comandos já é possível criar databases e tabelas que atendam necessidades elementares. Na próxima publicação utilizaremos o Shell Script para manipular o MySQL.

quinta-feira, 25 de agosto de 2011

Configuração da minha rede de computadores

  Após várias tentativas finalmente cheguei na configuração de rede que atende exatamente o que preciso.
  Listando os elementos da rede:
  • modem ADSL
  • hub
  • roteador wireless
  • 2 computadores com windows
  • 1 computador com Linux
  • 1 impressora
  O modem ADSL deve ser o servidor DHCP para que os computadores entendam quem é o gateway da rede. Se puder o roteador wireless como servidor DHCP, não comunicação com a internet porque este dispositivo não tem interface com as redes externas.
  A função do hub é bem conhecida: é o distribuidor de pontos.
  O roteador wireless tem um recurso interessante que é um servidor de impressão. Basta conectar a interface USB da impressora com o roteador e instalar os drivers que a comunicação acontece sem transtornos. Desta forma, qualquer computador envia para fila de impressão sem depender de outro computador ligado.
  As duas estações windows recebem um IP que é negociado com servidor DHCP. Um ponto interessante chama-se "Expires In" que diz por quanto tempo o servidor DHCP reserva um IP para aquela máquina. Se o tempo expirar, outro computador pode receber o IP que estava com outra máquina.
  Apenas uma máquina tem um IP fixo e fora da faixa do servidor DHCP por razões óbvias: não conflitar com um IP que tem um intervalo reservado. A utilidade de um IP fixo é poder direcionar serviços. Lembrando que para estabelecer uma comunicação é preciso um IP e uma porta. Desta forma, quando uma solicitação vem de fora da minha rede, o roteador analisa qual a porta procurada e se este número estiver listado na configuração, faz o redirecionamento para meu computador. Perfeito quando se esquece um arquivo em casa e a conexão remota economiza tempo!
  Enfim, apresento o diagrama. A figura foi elaborada com o software dia e através do export foi convertida para jpg.

terça-feira, 16 de agosto de 2011

Análise dos números da Quina

  Não há dúvida que programação e matemática combinam para fazer análises das mais variadas formas.
  Este script executa as seguintes etapas:
  • baixa um arquivo compactado contendo todos os jogos realizados pela quina
  • apaga os arquivos textos criados para evitar que fique poluindo seu diretório
  • remove as tags html para que fiquem somente os cinco números sorteados
  • organiza os números de colunas para linhas
  • ordena em ordem crescente os números sorteados
  • calcula a soma da primeira coluna a quinta coluna individualmente
  • a soma de cada coluna é divida pelo número de jogos para obter a média aritmética
  • exibe os 5 números sorteados com maior frequência

  Copie e execute! Boa análise!
  E se você for premiado com ajuda deste script, aceito doações! :)

#!/bin/bash

# by Murilo Fujita
# v1.1 Exibe os 5 numeros sorteados com maior frequencia
# v1.0 Extrai os numeros sorteados, ordena em ordem crescente, soma cada coluna e divide pela quantidade de jogo

#read -p "Entre com jogo " inicio

wget http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_quina.zip
unzip D_quina.zip

rm -f D_quina.zip
rm -f T7.GIF
rm -f quina1.txt
rm -f quina2.txt
rm -f quina3.txt
rm -f quina4.txt
rm -f quina5.txt
rm -f quina6.txt
rm -f quina7.txt
echo Limpando HTML

sed '/html/d' D_QUINA.HTM | sed '/table/d' | sed '/body/d' | sed '/tr/d' | sed '/,/d' | sed '/SIM/d' | sed '/N/d' | sed 's/<td>//' | sed 's/<\/td>//' > quina1.txt
linhas1=`wc -l quina1.txt | awk '{printf "%s\n",$1}'`

#rm -f D_QUINA.HTM

echo Extraindo numeros sorteados

seq=7
while [ $seq -le $linhas1 ]
  do
   head -n $seq quina1.txt | tail -n 5
   let seq=$seq+10
  done >> quina2.txt

echo Formatando numeros em colunas

linha2=`wc -l quina2.txt | awk '{printf "%s\n",$1}'`
seq2=5
while [ $seq2 -le $linha2 ]
  do
   head -n $seq2 quina2.txt | tail -n 5 | paste -s -d" "
   let seq2=$seq2+5
  done >> quina3.txt

tr -d '\r' < quina3.txt > quina4.txt


echo Organizando os números sorteados em ordem crescente

total_jogos=`sed '/^$/d' quina4.txt | wc -l`
mv -v D_QUINA.HTM D_QUINA$total_jogos.HTM
for i in `seq $inicio 1 $total_jogos`
  do
   head -n $i quina4.txt | tail -n 1 | tr " " "\n" | sort -n | paste -s -d" " >> quina5.txt
  done

s1=`cut -f1 -d" " quina5.txt | paste -s -d"+" | bc`
s2=`cut -f2 -d" " quina5.txt | paste -s -d"+" | bc`
s3=`cut -f3 -d" " quina5.txt | paste -s -d"+" | bc`
s4=`cut -f4 -d" " quina5.txt | paste -s -d"+" | bc`
s5=`cut -f5 -d" " quina5.txt | paste -s -d"+" | bc`
echo Soma de todos os numeros
echo $s1 $s2 $s3 $s4 $s5

#let jogos_processados=$total_jogos-$inicio

# linhas5=`wc -l /home/murilo/programas/quina5.txt | cut -f1 -d" "`
media1=`echo $s1/$total_jogos | bc` #jogos_processados total_jogos
media2=`echo $s2/$total_jogos | bc`
media3=`echo $s3/$total_jogos | bc`
media4=`echo $s4/$total_jogos | bc`
media5=`echo $s5/$total_jogos | bc`
echo Media dos numeros sorteados nos $total_jogos jogos realizados
echo $media1 $media2 $media3 $media4 $media5

printf "\n"
echo Exibindo a frequencia do numero sorteado
sleep .5
  for i in `seq 9`;
   do
    printf "0$i `grep 0$i quina2.txt | wc -l` "
   done
  printf "10 `grep 10 quina2.txt | wc -l` "
  printf "\n"

inicio=11
fim=20
while [ $inicio -le 80 ]
do
  for i in `seq $inicio 1 $fim`;
   do
    printf "$i `grep $i quina2.txt | wc -l` "
   done
  printf "\n"
  let inicio=$inicio+10
  let fim=$fim+10
done


for i in `seq 9`; do printf "0$i `grep 0$i quina2.txt | wc -l`\n" ; done >> quina6.txt
for i in `seq 10 1 80`; do printf "$i `grep $i quina2.txt | wc -l`\n" ; done >> quina6.txt
awk '{printf "%s %3s\n",$2, $1}' quina6.txt | sort -n | tail -n 5 > quina7.txt

printf "\n"
echo Os numeros mais sorteados sao

for i in `seq 5`
  do
   head -n $i quina7.txt | tail -n 1 | awk '{printf "%s %3s\n",$2, $1}'
  done

   Caso queria baixar diretamente o código, salve este link.