Livros - O fim da infância
Livros - From this moment on
Livro - Androides sonham com ovelhas elétricas?
"Incursões violinísticas" - Mark O'Connor
Primeira frustração do ano - Scraping de dados de convênio
2014 - Final de ano
Be careful with Intel turbo boost! It can screw your benchmarking! And run slower when dealing with parallel programs!
I wrote several months ago a little application called machPQ.py (I’ll open the code soon…) which calculates the active, reactive and also the apparent power in machine terminal’s over the time domain, for electromagnetic transients analysis. The files that this program have to crunch often have 1.E6 lines or more.
Fig. 1: All this work to generate this kind of images.Due to those large files this application was taking long time to finish it’s calculations 1h-3h, hence I started to transcript it into a parallel paradigm using python as well.
The problem begins when I tried to benchmark the parallel version and compare with the single threaded one. The single threaded in some runs was being faster than the parallel version! That was driving me crazy! I don’t know why, but something told me that I should take a look at the processor state (my laptop is a Dell XPS 15 L502x with i7 processor).
And damn! I was right! With the turbo boost enabled [3] the computer running multiple threads got hotter faster and then slowed the clock speed, therefore being slower than the single thread version, or just slightly faster (depending on how hot the day was).
So, to disable the turbo boost, I used, from [1]:
# echo 1 > /sys/devices/system/cpu/intel_pstate/no_turbo
And then the magic happened! In this way, with the parallel version fighting in fair conditions with single thread version the expected results came up.
I’ll not do a long discussion over the data, but just to summarize:
- When the code was running with turbo boost enable, the time needed to complete the simulation using the parallel version was only by 4.13 % smaller than the single threaded version (Simulation 1);
- Now, with turbo boost disable, the non parallel version took 42.02 % more time time than the parallel version – Oh, yeah! – (Simulation 3);
- Running the code into n-crap-vidia, with optimus [2], again, we got a nice speed up of 48.34 % (comparing the bigger time to the smaller) (Simulation 4);
- The parallel code running directly into cpu (Simulation 3) took 2.61 % more time than into n-crap-vidia (Simulation 4). However, this mismatch is so small and I just performed a single simulation that it is not possible to verify any trend here;
- The single thread version running with turbo boost enabled (Simulation 1) was 24.21 % faster than the single threaded version when turbo boost was disabled (Simulation 3);
- The parallel version with turbo boost disabled (Simulation 3) was 8.77 % faster than the parallel version with turbo boost enabled (Simulation 1);
From the above analysis we can conclude:
- This variable clock speed is a pain in the ass when doing benchmarks!!! Even disabling the turbo boost, the clock can also be reduced if the temperature is high;
- As the major programs are still single threaded leaving the turbo boost enabled is a good idea;
- For very demanding multiple process or multiple threaded programs, it’s a good idea disabling the turbo boost;
- Using the GPU through bumblebee seems interesting and deserves further tests.
All the data used to analyze the performance and speed up due to the code parallelism are shown clicking here ->
Simulation 1: With turbo boost enabled
Fig. 2: Simulation 1 – Single thread version.
Fig. 3: Simulation 1: Parallel threads version.leonardo@AL:~/projects/machPQ$ time python machPQ_s_plot.py teste.adf 1.E-6 63. ; time python machPQ_teste_parallel.py teste.adf 1.E-6 63.
Abrindo arquivo de dados…
…OK!
Iniciando processamento…
…OK!
Gravando resultados em disco…
…OK!Tempo de processamento: 186.784282
real 3m7.005s
user 3m7.135s
sys 0m0.079s
Abrindo arquivo de dados…
…OK!
Iniciando processamento…
…OK!
Gravando resultados em disco…
…OK!Tempo de processamento: 179.066593
real 2m59.248s
user 5m14.349s
sys 1m11.704s
Simulation 2: With turbo boost enabled and running into n-crap-vidia
leonardo@AL:~/projects/machPQ$ time optirun python machPQ_s_plot.py teste.adf 1.E-6 63. ; time optirun python machPQ_teste_parallel.py teste.adf 1.E-6 63.
Abrindo arquivo de dados…
…OK!
Iniciando processamento…
…OK!
Gravando resultados em disco…
…OK!Tempo de processamento: 203.956192
real 3m52.100s
user 3m24.476s
sys 0m0.228s
Abrindo arquivo de dados…
…OK!
Iniciando processamento…
…OK!
Gravando resultados em disco…
…OK!Tempo de processamento: 183.662801
real 3m20.575s
user 5m29.300s
sys 0m58.710s
Simulation 3: With turbo boost disabled
Fig. 4: Simulation 3 – Single thread version.
Fig. 5: Simulation 3 – Parallel threads version.leonardo@AL:~/projects/machPQ$ time python machPQ_s_plot.py teste.adf 1.E-6 63. ; time python machPQ_teste_parallel.py teste.adf 1.E-6 63.Abrindo arquivo de dados…
…OK!
Iniciando processamento…
…OK!
Gravando resultados em disco…
…OK!Tempo de processamento: 232.012078
real 3m52.313s
user 3m52.349s
sys 0m0.107s
Abrindo arquivo de dados…
…OK!
Iniciando processamento…
…OK!
Gravando resultados em disco…
…OK!Tempo de processamento: 163.367201
real 2m43.608s
user 4m36.375s
sys 1m22.991s
Simulation 4: With turbo boost disabled and running into n-crap-vidia
leonardo@AL:~/projects/machPQ$ time optirun python machPQ_s_plot.py teste.adf 1.E-6 63. ; time optirun python machPQ_teste_parallel.py teste.adf 1.E-6 63.
Abrindo arquivo de dados…
…OK!
Iniciando processamento…
…OK!
Gravando resultados em disco…
…OK!Tempo de processamento: 236.172199
real 3m59.293s
user 3m56.594s
sys 0m0.125s
Abrindo arquivo de dados…
…OK!
Iniciando processamento…
…OK!
Gravando resultados em disco…
…OK!Tempo de processamento: 159.207409
real 2m41.755s
user 4m35.806s
sys 1m18.623s
References:
[1] – http://luisjdominguezp.tumblr.com/post/19610447111/disabling-turbo-boost-in-linux
[2] – http://bumblebee-project.org/
[3] – http://en.wikipedia.org/wiki/Intel_Turbo_Boost
Acknowledgements
English revised by my love @anielampm =) Thank you!!
Após 1 ano sem postar absolutamente nada, precisei "forçar" um pouco as coisas: - Tirei uma certificação (ISTQB CTFL); - Parei um pouco o desenvolvimento e estou me concentrando em criar um processo p/ a equipe de teste na empresa onde trabalho.
Instalando o conky-mannager no openSUSE 13.1
Para deixar o sua área de trabalho com openSUSE ainda mais bonita, que tal instalar o Conky que é um monitor do sistema leve e poderoso que pode mostrar várias informações sobre o seu computador.
O Conky está disponível no repositório Packman. Se você ainda não configurou seus repositórios abra o YAST e selecione Software e depois Gerenciamento de Repositórios. Em seguida selecione Adicionar Repositórios e depois selecione Repositórios da Comunidade. Uma lista de repositórios vai aparecer e, então escolha os que você deseja, principalmente o Packman que contém o Conky e muitos outros programas quase que essenciais.
Depois de atualizada a lista de repositórios, cliue no Yast em Gerencimento de Software. Faça a busca por Conky. Selecione e clique em instalar. O Conky é bem pequeno e instala rapidinho.
Para facilitar a configuração do Conky vamos instalar o Conky-Mannager que até pouco tempo não existia em nenhum repositório (pelo menos que eu saiba), mas aque agora possui um repositório que facilita muito a nossa vida sem precisar fazer “gambiarra”com pacote .deb. Vamos lá…
Você pode instalar o novo repositório através do 1 Click Install, basta acessar esse link para configurar o repositório e instalar automaticamente: http://software.opensuse.org/download.html?project=home:DarkSS&package=conky-manager
Depois clique no botão com símbolo openSUSE.

Na próxima página selecione a versão do openSUSE que está usando:

É só esperar um pouquinho que o Conky-Mannager estará instalado em seu computador. Depois de instalado vá no seu Menu Iniciar >> Utilitários >> Área de trabalho e clique em Conky Mannager.
Uma janela com o gerenciador do Conky vai abrir, basta agora você escolher um tema que mais lhe agrade. No meu caso eu gosto muito do Gotham que eu acho simples e bonito.

Agora vamos ajustar a posição que o conky vai aparecer na tela e também configurá-lo para iniciar juntamente com o sistema para não precisarmos fazer toda vez que iniciamos a máquina. Clique em Edit e conforme a imagem posicionei o Conky aonde eu gosto, ou seja, na parte inferior esquerda da tela, mas isso pode variar conforme o gosto de cada um e também com o papel de parede, para ficar bem legal…rs.

Agora clique em Options e selecione a caixa de seleção conforme imagem abaixo. Depois é só fechar e curtir sua área de trabalho. Adoro o Conky, pois acho que dá um charme a mais ao meu openSUSE. Veja como ficou:


Agora é com você. Escolha o seu tema preferido e configure-o a seu gosto. Espero ter ajudado. Um abraço!
openSUSE Science e mpmath
Para ficar registrado! Essa semana, quando estava implementado o cálculo dos parâmetros tranversais e longitudinais de linhas de transmissão para a disciplina Sobretensões Transitórias, precisei de uma biblioteca para usar com python que tivesse já disponíveis as funções de Bessel para números complexos.
Achei a biblioteca numérica de precisão arbitrária mpmath [1] [2], inclusive listei no Python Numeric Cook List, a qual continha as funções necessárias, mas infelizmente não estava disponível nos repositórios oficiais do openSUSE.
Depois de uma pesquisada encontrei o repositório extra-oficial openSUSE Science voltado para pacotes científicos. Página do OBS.
Então, para adicionar o repositório, como root:
zypper addrepo -r http://download.opensuse.org/repositories/science/openSUSE_13.1/ opensuse-science
zypper ref
Caso queira instalar a mpmath:
zypper install python-mpmath