import pandas as pd
A primeira coisa é ter os arquivos CSV's já baixados. No caso do Portal da Transparência existe um pequeno problema que os arquivos estão utilizando o encoding iso8859-1. Antes de mais nada vamos converter tais arquivos para UTF8.
ls -l *csv
-rw-rw-r-- 1 walrus walrus 34218300 Jul 16 10:42 201401_Transferencias.csv -rw-rw-r-- 1 walrus walrus 43579484 Jul 16 10:42 201402_Transferencias.csv -rw-rw-r-- 1 walrus walrus 46026696 Jul 16 10:42 201403_Transferencias.csv -rw-rw-r-- 1 walrus walrus 102053489 Jul 16 10:44 201404_Transferencias.csv -rw-rw-r-- 1 walrus walrus 89307861 Jul 16 10:45 201405_Transferencias.csv
Para isso podemos utilizar o programa iconv:
!iconv -f iso8859-1 -t utf8 201401_Transferencias.csv > 201401_Transferencias.utf.csv
Podemos agora carregar diretamente esse csv com o Pandas:
dados = pd.read_csv('201401_Transferencias.utf.csv', delimiter='\t+', decimal='.', thousands=',')
dados[0:4]
Sigla Unidade Federação | Codigo SIAFI Municipio | Nome Municipio | Codigo Funcao | Nome Funcao | Codigo Sub Funcao | Nome Sub Funcao | Codigo Programa | Nome Programa | Codigo Acao | Nome Acao | Linguagem Cidadã | Codigo Favorecido | Nome Favorecido | Fonte-Finalidade | Modalidade Aplicação | Número Convênio | Valor Parcela | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | MG | 4123 | BELO HORIZONTE | 19 | Ciência e Tecnologia | 572 | Desenvolvimento Tecnológico e Engenharia | 2021 | Ciência, Tecnologia e Inovação | 2095 | Fomento a Projetos de Implantação e Recuperaçã... | CT-INFRA | 18720938000141 | FUNDACAO DE DESENVOLVIMENTO DA PESQUISA | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas s/ Fins... | 673120 | 444340.00 |
1 | GO | 1066 | VALPARAISO DE GOIAS | 11 | Trabalho | 334 | Fomento ao Trabalho | 1025 | Promoção da Sustentabilidade de Espaços Sub-Re... | 6591 | Apoio à Geração de Empreendimentos Produtivos ... | 01616319000109 | MUNICIPIO DE VALPARAISO DE GOIAS [PREFEITURA M... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios | 735620 | 100000.00 | |
2 | MG | 5221 | SAO FRANCISCO | 15 | Urbanismo | 452 | Serviços Urbanos | 0660 | Segurança e Educação de Trânsito: Direito e Re... | 8487 | Fomento a Projetos Destinados à Prevenção e Re... | 22679153000140 | MUNICIPIO DE SAO FRANCISCO [SAO FRANCISCO PREF... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios | 725369 | 66397.51 | |
3 | CE | 1381 | COREAU | 15 | Urbanismo | 452 | Serviços Urbanos | 0660 | Segurança e Educação de Trânsito: Direito e Re... | 8487 | Fomento a Projetos Destinados à Prevenção e Re... | 07598618000144 | MUNICIPIO DE COREAU [COREAU GABINETE DO PREFEITO] | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios | 743035 | 246500.00 |
Como pode-se notar acima, o arquivo foi devidamente importado com os acentos já em utf8. Vamos agora converter todos os outros arquivos com o comando iconv, mas para isso utilizaremos a possibilidade de mixar código em Python com código em shell script do IPython. Primeiro criamos um diretório, movemos o arquivo utf8 criado (201401_Transferencias.utf.csv), apagaremos o formato antigo 201401_Transferencias.csv e converteremos o resto:
!mkdir utf
!mv 201401_Transferencias.utf.csv utf
!rm 201401_Transferencias.csv
Capturamos a lista de arquivos csv que falta serem convertidos e aplicamos a conversão neles:
to_convert = !ls *csv
for f in to_convert:
utf_file = f.replace('csv', 'utf.csv')
print "Convertendo {}".format(f)
!iconv -f iso8859-1 -t utf8 $f > utf/$utf_file
Convertendo 201402_Transferencias.csv Convertendo 201403_Transferencias.csv Convertendo 201404_Transferencias.csv Convertendo 201405_Transferencias.csv
ls -l utf
total 320632 -rw-rw-r-- 1 walrus walrus 35599266 Sep 17 17:05 201401_Transferencias.utf.csv -rw-rw-r-- 1 walrus walrus 45250632 Sep 17 17:20 201402_Transferencias.utf.csv -rw-rw-r-- 1 walrus walrus 47913588 Sep 17 17:20 201403_Transferencias.utf.csv -rw-rw-r-- 1 walrus walrus 106505705 Sep 17 17:20 201404_Transferencias.utf.csv -rw-rw-r-- 1 walrus walrus 93045122 Sep 17 17:20 201405_Transferencias.utf.csv
!rm *csv
Agora podemos carregar individualmente cada um desses csv com o Pandas:
dados = pd.read_csv('utf/201401_Transferencias.utf.csv', delimiter='\t+', decimal='.', thousands=',')
dados[dados['Nome Municipio'] == 'BELO HORIZONTE']['Valor Parcela'].sum()
244240718.58999994
dados[dados['Nome Municipio'] == 'BELO HORIZONTE'].to_csv('BeloHorizonte-201401_Transferencias.utf.csv')
!ls -l Belo*
!wc -l BeloHorizonte-201401_Transferencias.utf.csv
-rw-rw-r-- 1 walrus walrus 47199 Sep 17 17:24 BeloHorizonte-201401_Transferencias.utf.csv 112 BeloHorizonte-201401_Transferencias.utf.csv
Verificando o cabeçalho do novo csv gerado:
!head -3 BeloHorizonte-201401_Transferencias.utf.csv
,Sigla Unidade Federação,Codigo SIAFI Municipio,Nome Municipio,Codigo Funcao,Nome Funcao,Codigo Sub Funcao ,Nome Sub Funcao,Codigo Programa,Nome Programa,Codigo Acao,Nome Acao,Linguagem Cidadã,Codigo Favorecido,Nome Favorecido,Fonte-Finalidade,Modalidade Aplicação,Número Convênio,Valor Parcela 0,MG,4123,BELO HORIZONTE,19,Ciência e Tecnologia,572,Desenvolvimento Tecnológico e Engenharia,2021,"Ciência, Tecnologia e Inovação",2095,Fomento a Projetos de Implantação e Recuperação da Infraestrutura de Pesquisa das Instituições Públicas (CT-Infra),CT-INFRA,18720938000141,FUNDACAO DE DESENVOLVIMENTO DA PESQUISA,STN - Convênios/Contratos de Repasses/Fundo a Fundo/Outros,Transferências a Instituições Privadas s/ Fins Lucrativos,673120,444340.0 1448,MG,4123,BELO HORIZONTE,28,Encargos Especiais,845,Transferências,0903,Operações Especiais: Transferências Constitucionais e as Decorrentes de Legislação Específica,0547,"Transferências de Cotas-Partes da Compensação Financeira pela Exploração de Recursos Minerais (Lei nº 8.001, de 1990 - Art.2º)",CFEM,18715383000140,MUNICIPIO DE BELO HORIZONTE [BELO HORIZONTE GABINETE DO PREFEITO],STN - Transferências a Municípios,,,26593.72
Funcionou perfeitamente, apenas ocorreu a inclusão de uma coluna adicional pelo Pandas com a numeração da linha. Caso não queira isso basta utilizar o método to_csv com o argumento index=False:
dados[dados['Nome Municipio'] == 'BELO HORIZONTE'].to_csv('BeloHorizonte-201401_Transferencias.utf.csv', index=False)
!head -3 BeloHorizonte-201401_Transferencias.utf.csv
Sigla Unidade Federação,Codigo SIAFI Municipio,Nome Municipio,Codigo Funcao,Nome Funcao,Codigo Sub Funcao ,Nome Sub Funcao,Codigo Programa,Nome Programa,Codigo Acao,Nome Acao,Linguagem Cidadã,Codigo Favorecido,Nome Favorecido,Fonte-Finalidade,Modalidade Aplicação,Número Convênio,Valor Parcela MG,4123,BELO HORIZONTE,19,Ciência e Tecnologia,572,Desenvolvimento Tecnológico e Engenharia,2021,"Ciência, Tecnologia e Inovação",2095,Fomento a Projetos de Implantação e Recuperação da Infraestrutura de Pesquisa das Instituições Públicas (CT-Infra),CT-INFRA,18720938000141,FUNDACAO DE DESENVOLVIMENTO DA PESQUISA,STN - Convênios/Contratos de Repasses/Fundo a Fundo/Outros,Transferências a Instituições Privadas s/ Fins Lucrativos,673120,444340.0 MG,4123,BELO HORIZONTE,28,Encargos Especiais,845,Transferências,0903,Operações Especiais: Transferências Constitucionais e as Decorrentes de Legislação Específica,0547,"Transferências de Cotas-Partes da Compensação Financeira pela Exploração de Recursos Minerais (Lei nº 8.001, de 1990 - Art.2º)",CFEM,18715383000140,MUNICIPIO DE BELO HORIZONTE [BELO HORIZONTE GABINETE DO PREFEITO],STN - Transferências a Municípios,,,26593.72
dados[dados['Nome Municipio'] == 'BELO HORIZONTE']['Nome Sub Funcao'].value_counts()
Assistência Hospitalar e Ambulatorial 82 Transferências 8 Ensino Superior 6 Educação Infantil 5 Atenção Básica 5 Saneamento Básico Urbano 2 Vigilância Epidemiológica 1 Suporte Profilático e Terapêutico 1 Desenvolvimento Tecnológico e Engenharia 1 dtype: int64
dados[dados['Sigla Unidade Federação'] == 'SP']
Sigla Unidade Federação | Codigo SIAFI Municipio | Nome Municipio | Codigo Funcao | Nome Funcao | Codigo Sub Funcao | Nome Sub Funcao | Codigo Programa | Nome Programa | Codigo Acao | Nome Acao | Linguagem Cidadã | Codigo Favorecido | Nome Favorecido | Fonte-Finalidade | Modalidade Aplicação | Número Convênio | Valor Parcela | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
13 | SP | 7107 | SAO PAULO | 12 | Educação | 364 | Ensino Superior | 2032 | Educação Superior - Graduação, Pós-Graduação, ... | 0487 | Concessão de Bolsas de Estudos | Bolsas de Estudos no País | 86982311000119 | ASSOCIACAO NACIONAL DE POS-GRADUACAO E PESQUIS... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas s/ Fins... | 8.500000e+02 | |
16 | SP | 7107 | SAO PAULO | 11 | Trabalho | 333 | Empregabilidade | 2071 | Trabalho, Emprego e Renda | 20ST | Estudos e Pesquisas para Apoio e Gestão do Sis... | 60964996000187 | DEPARTAMENTO INTERSINDICAL DE EST ESTS SOCIO E... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas s/ Fins... | 755158 | 4.604908e+05 | |
66 | SP | 2999 | CAMPINA DO MONTE ALEGRE | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0547 | Transferências de Cotas-Partes da Compensação ... | CFEM | 67360404000167 | MUNICIPIO DE CAMPINA DO MONTE ALEGRE [CAMPINA ... | STN - Transferências a Municípios | 7.615700e+02 | ||
138 | SP | 7097 | SAO JOSE DO RIO PRETO | 28 | Encargos Especiais | 846 | Outros Encargos Especiais | 0909 | Operações Especiais: Outros Encargos Especiais | 0413 | Manutenção e Operação dos Partidos Políticos | 32095101000180 | PARTIDO REPUBLICANO PROGRESSISTA-PRP | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas s/ Fins... | 1.150952e+05 | ||
147 | SP | 6689 | MAUA | 11 | Trabalho | 333 | Empregabilidade | 2071 | Trabalho, Emprego e Renda | 20JT | Manutenção, Modernização e Ampliação da Rede d... | 46522959000198 | MUNICIPIO DE MAUA [MAUA GABINETE DO PREFEITO] | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios | 775355 | 4.351648e+05 | |
201 | SP | 7107 | SAO PAULO | 19 | Ciência e Tecnologia | 572 | Desenvolvimento Tecnológico e Engenharia | 2021 | Ciência, Tecnologia e Inovação | 0A29 | Subvenção Econômica a Projetos de Desenvolvime... | 08636745000153 | ODEBRECHT AGROINDUSTRIAL S.A. | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas c/ Fins... | 677494 | 1.344343e+06 | |
204 | SP | 6213 | BARUERI | 19 | Ciência e Tecnologia | 572 | Desenvolvimento Tecnológico e Engenharia | 2021 | Ciência, Tecnologia e Inovação | 0A29 | Subvenção Econômica a Projetos de Desenvolvime... | 06985928000159 | PHYTOBIOS PESQUISA, DESENVOLVIMENTO E INOVACAO... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas c/ Fins... | 5.516234e+05 | ||
207 | SP | 3067 | ARACARIGUAMA | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0547 | Transferências de Cotas-Partes da Compensação ... | CFEM | 58993577000121 | MUNICIPIO DE ARACARIGUAMA [GABINETE DO PREFEITO] | STN - Transferências a Municípios | 2.018012e+04 | ||
216 | SP | 2995 | ALAMBARI | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0547 | Transferências de Cotas-Partes da Compensação ... | CFEM | 67360420000150 | MUNICIPIO DE ALAMBARI [NAO POSSUI] | STN - Transferências a Municípios | 1.498670e+03 | ||
242 | SP | 7059 | SANTO ANTONIO DA ALEGRIA | 10 | Saúde | 301 | Atenção Básica | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 20AD | Piso de Atenção Básica Variável - Saúde da Fam... | PAB Variável - PSF | 11389859000150 | FUNDO MUNICIPAL DE SAUDE - FMS [FMS-SANTO ANTO... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 2.230000e+03 | |
243 | SP | 7059 | SANTO ANTONIO DA ALEGRIA | 10 | Saúde | 301 | Atenção Básica | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 20AD | Piso de Atenção Básica Variável - Saúde da Fam... | PAB Variável - PSF | 11389859000150 | FUNDO MUNICIPAL DE SAUDE - FMS [FMS-SANTO ANTO... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 8.000000e+03 | |
244 | SP | 7059 | SANTO ANTONIO DA ALEGRIA | 10 | Saúde | 301 | Atenção Básica | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 20AD | Piso de Atenção Básica Variável - Saúde da Fam... | PAB Variável - PSF | 11389859000150 | FUNDO MUNICIPAL DE SAUDE - FMS [FMS-SANTO ANTO... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 1.330000e+04 | |
245 | SP | 7059 | SANTO ANTONIO DA ALEGRIA | 10 | Saúde | 301 | Atenção Básica | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 20AD | Piso de Atenção Básica Variável - Saúde da Fam... | PAB Variável - PSF | 11389859000150 | FUNDO MUNICIPAL DE SAUDE - FMS [FMS-SANTO ANTO... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 1.426000e+04 | |
280 | SP | 7107 | SAO PAULO | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0051 | Transferências do Imposto sobre Operações Fina... | Transferência - IOF - Municípios - Lei n.º 7.766 | 46395000000139 | MUNICIPIO DE SAO PAULO [SECRETARIA DO GOVERNO ... | STN - Transferências a Municípios | 1.816120e+03 | ||
302 | SP | 6393 | DUMONT | 10 | Saúde | 301 | Atenção Básica | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 20AD | Piso de Atenção Básica Variável - Saúde da Fam... | PAB Variável - PSF | 11680230000165 | FUNDO MUNICIPAL DE SAUDE DE DUMONT [FUNDO MUNI... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 5.700000e+03 | |
303 | SP | 6393 | DUMONT | 10 | Saúde | 301 | Atenção Básica | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 20AD | Piso de Atenção Básica Variável - Saúde da Fam... | PAB Variável - PSF | 11680230000165 | FUNDO MUNICIPAL DE SAUDE DE DUMONT [FUNDO MUNI... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 7.130000e+03 | |
355 | SP | 6663 | MACAUBAL | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 099B | Transferência a Estados, Distrito Federal e Mu... | Transferências - LC n.º 87/96 e 115/2003 | 51848943000100 | MUNICIPIO DE MACAUBAL [MACAUBAL PREFEITURA] | STN - Transferências a Municípios | 1.846670e+03 | ||
356 | SP | 6703 | MIRANDOPOLIS | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 099B | Transferência a Estados, Distrito Federal e Mu... | Transferências - LC n.º 87/96 e 115/2003 | 44438968000170 | MUNICIPIO DE MIRANDOPOLIS [MIRANDOPOLIS GABINE... | STN - Transferências a Municípios | 5.103240e+03 | ||
357 | SP | 6691 | MENDONCA | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 099B | Transferência a Estados, Distrito Federal e Mu... | Transferências - LC n.º 87/96 e 115/2003 | 46935110000146 | MUNICIPIO DE MENDONCA [MENDONCA GABINETE PREFE... | STN - Transferências a Municípios | 2.452660e+03 | ||
358 | SP | 6683 | MARINOPOLIS | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 099B | Transferência a Estados, Distrito Federal e Mu... | Transferências - LC n.º 87/96 e 115/2003 | 45132719000114 | MUNICIPIO DE MARINOPOLIS [MARINOPOLIS GABINETE... | STN - Transferências a Municípios | 6.409100e+02 | ||
359 | SP | 6721 | MONCOES | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 099B | Transferência a Estados, Distrito Federal e Mu... | Transferências - LC n.º 87/96 e 115/2003 | 59854927000131 | MUNICIPIO DE MONCOES [MONCOES GABINETE PREFEITO] | STN - Transferências a Municípios | 1.493080e+03 | ||
360 | SP | 6767 | NOVA LUZITANIA | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 099B | Transferência a Estados, Distrito Federal e Mu... | Transferências - LC n.º 87/96 e 115/2003 | 53099149000136 | MUNICIPIO DE NOVA LUZITANIA [NOVA LUZITANIA GA... | STN - Transferências a Municípios | 7.611600e+02 | ||
361 | SP | 6809 | PANORAMA | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 099B | Transferência a Estados, Distrito Federal e Mu... | Transferências - LC n.º 87/96 e 115/2003 | 44918712000160 | MUNICIPIO DE PANORAMA | STN - Transferências a Municípios | 2.557120e+03 | ||
362 | SP | 6825 | PARIQUERA-ACU | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 099B | Transferência a Estados, Distrito Federal e Mu... | Transferências - LC n.º 87/96 e 115/2003 | 45685120000108 | MUNICIPIO DE PARIQUERA-ACU [PARIQUERA ACU GABI... | STN - Transferências a Municípios | 2.239600e+03 | ||
379 | SP | 7099 | SAO JOSE DOS CAMPOS | 19 | Ciência e Tecnologia | 572 | Desenvolvimento Tecnológico e Engenharia | 2021 | Ciência, Tecnologia e Inovação | 0A29 | Subvenção Econômica a Projetos de Desenvolvime... | 04149569000174 | EMG SYSTEM DO BRASIL LTDA - EPP | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas c/ Fins... | 3.913130e+05 | ||
382 | SP | 7107 | SAO PAULO | 19 | Ciência e Tecnologia | 572 | Desenvolvimento Tecnológico e Engenharia | 2021 | Ciência, Tecnologia e Inovação | 0A29 | Subvenção Econômica a Projetos de Desenvolvime... | 57455818000116 | QUANTA TECNOLOGIA ELETRONICA INDUSTRIA E COMER... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas c/ Fins... | 8.000000e+04 | ||
386 | SP | 7099 | SAO JOSE DOS CAMPOS | 19 | Ciência e Tecnologia | 572 | Desenvolvimento Tecnológico e Engenharia | 2021 | Ciência, Tecnologia e Inovação | 0A29 | Subvenção Econômica a Projetos de Desenvolvime... | 65481012000120 | MECTRON - ENGENHARIA, INDUSTRIA E COMERCIO S.A. | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas c/ Fins... | 6.178349e+05 | ||
387 | SP | 7099 | SAO JOSE DOS CAMPOS | 19 | Ciência e Tecnologia | 572 | Desenvolvimento Tecnológico e Engenharia | 2021 | Ciência, Tecnologia e Inovação | 0A29 | Subvenção Econômica a Projetos de Desenvolvime... | 65481012000120 | MECTRON - ENGENHARIA, INDUSTRIA E COMERCIO S.A. | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas c/ Fins... | 1.982551e+06 | ||
388 | SP | 7099 | SAO JOSE DOS CAMPOS | 19 | Ciência e Tecnologia | 572 | Desenvolvimento Tecnológico e Engenharia | 2021 | Ciência, Tecnologia e Inovação | 0A29 | Subvenção Econômica a Projetos de Desenvolvime... | 72727167000160 | PSS INDUSTRIA E COMERCIO LTDA - EPP | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas c/ Fins... | 676571 | 2.910237e+05 | |
398 | SP | 7107 | SAO PAULO | 28 | Encargos Especiais | 846 | Outros Encargos Especiais | 0909 | Operações Especiais: Outros Encargos Especiais | 0413 | Manutenção e Operação dos Partidos Políticos | 54956495000156 | PARTIDO COMUNISTA DO BRASIL | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas s/ Fins... | 7.155255e+05 | ||
... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
86795 | SP | 6863 | PINDORAMA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 11861752000163 | FUNDO MUNICIPAL DE SAUDE DE PINDORAMA [FUNDO M... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 1.822500e+04 | |
86801 | SP | 6719 | MOMBUCA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 11884769000136 | FUNDO MUNICIPAL DE SAUDE [FUNDO MUNICIPAL DE S... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 1.146780e+03 | |
86802 | SP | 6719 | MOMBUCA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 11884769000136 | FUNDO MUNICIPAL DE SAUDE [FUNDO MUNICIPAL DE S... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 4.180580e+03 | |
86806 | SP | 6681 | MARILIA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 14278219000161 | FUNDO MUNICIPAL DE SAUDE DE MARILIA | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 2.840202e+04 | |
86807 | SP | 6681 | MARILIA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 14278219000161 | FUNDO MUNICIPAL DE SAUDE DE MARILIA | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 3.942000e+04 | |
86808 | SP | 6681 | MARILIA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 14278219000161 | FUNDO MUNICIPAL DE SAUDE DE MARILIA | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 2.788712e+04 | |
86809 | SP | 6681 | MARILIA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 14278219000161 | FUNDO MUNICIPAL DE SAUDE DE MARILIA | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 5.191790e+03 | |
86810 | SP | 6681 | MARILIA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 14278219000161 | FUNDO MUNICIPAL DE SAUDE DE MARILIA | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 5.562500e+03 | |
86811 | SP | 6681 | MARILIA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 14278219000161 | FUNDO MUNICIPAL DE SAUDE DE MARILIA | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 5.220342e+04 | |
86812 | SP | 6681 | MARILIA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 14278219000161 | FUNDO MUNICIPAL DE SAUDE DE MARILIA | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 6.331218e+04 | |
86813 | SP | 6681 | MARILIA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 14278219000161 | FUNDO MUNICIPAL DE SAUDE DE MARILIA | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 2.018087e+06 | |
86826 | SP | 6731 | MONTE AZUL PAULISTA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 12183698000107 | FUNDO MUNICIPAL DE SAUDE [FUNDO MUNICIPAL DE S... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 5.196600e+02 | |
86827 | SP | 6731 | MONTE AZUL PAULISTA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 12183698000107 | FUNDO MUNICIPAL DE SAUDE [FUNDO MUNICIPAL DE S... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 1.398140e+03 | |
86828 | SP | 6731 | MONTE AZUL PAULISTA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 12183698000107 | FUNDO MUNICIPAL DE SAUDE [FUNDO MUNICIPAL DE S... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 3.756300e+02 | |
86829 | SP | 6731 | MONTE AZUL PAULISTA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 12183698000107 | FUNDO MUNICIPAL DE SAUDE [FUNDO MUNICIPAL DE S... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 4.437540e+03 | |
86830 | SP | 6731 | MONTE AZUL PAULISTA | 10 | Saúde | 302 | Assistência Hospitalar e Ambulatorial | 2015 | Aperfeiçoamento do Sistema Único de Saúde (SUS) | 8585 | Atenção à Saúde da População para Procedimento... | TETO MAC | 12183698000107 | FUNDO MUNICIPAL DE SAUDE [FUNDO MUNICIPAL DE S... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios - Fundo a Fundo | 1.350073e+05 | |
86855 | SP | 0000 | Governo do Estado | 12 | Educação | 847 | Transferências para Educação Básica | 2030 | Educação Básica | 0509 | Apoio ao Desenvolvimento da Educação Básica | Promed | 62823257000109 | CENTRO ESTADUAL DE EDUCACAO TECNOLOGICA PAULA ... | STN - Convênios/Contratos de Repasses/Fundo a ... | 670594 | 7.276426e+06 | |
86882 | SP | 0000 | Governo do Estado | 28 | Encargos Especiais | 847 | Transferências para Educação Básica | 0903 | Operações Especiais: Transferências Constituci... | 0369 | Transferência da Cota-Parte do Salário-Educaçã... | Cota-parte dos Estados e DF do Salário-Educação | 46384111000140 | SAO PAULO SECRETARIA DA EDUCACAO [SP SED GABIN... | STN - Convênios/Contratos de Repasses/Fundo a ... | 7.105874e+07 | ||
86904 | SP | 0000 | Governo do Estado | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0999 | Recursos para a Repartição da Contribuição de ... | CIDE - Combustíveis | 46379400000150 | ESTADO DE SAO PAULO [SP GOV GABINETE DO GOVERN... | STN - Transferências a Estados | 1.555422e+07 | ||
86931 | SP | 0000 | Governo do Estado | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 099B | Transferência a Estados, Distrito Federal e Mu... | Transferências - LC n.º 87/96 e 115/2003 | 46379400000150 | ESTADO DE SAO PAULO [SP GOV GABINETE DO GOVERN... | STN - Transferências a Estados | 3.036326e+07 | ||
86938 | SP | 0000 | Governo do Estado | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0548 | Transferências de Cotas-Partes dos Royalties p... | Royalties | 46379400000150 | ESTADO DE SAO PAULO [SP GOV GABINETE DO GOVERN... | STN - Transferências a Estados | 2.142356e+07 | ||
86981 | SP | 0000 | Governo do Estado | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0551 | Transferências do Fundo Especial dos Royalties... | Royalties | 46379400000150 | ESTADO DE SAO PAULO [SP GOV GABINETE DO GOVERN... | STN - Transferências a Estados | 2.341315e+05 | ||
87008 | SP | 0000 | Governo do Estado | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0044 | Fundo de Participação dos Estados e do Distrit... | FPE- CF art. 159 | 46379400000150 | ESTADO DE SAO PAULO [SP GOV GABINETE DO GOVERN... | STN - Transferências a Estados | 6.111261e+07 | ||
87036 | SP | 0000 | Governo do Estado | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0050 | Transferências do Imposto sobre Operações Fina... | Transferência - IOF - Estados e DF - Lei n.º 7... | 46379400000150 | ESTADO DE SAO PAULO [SP GOV GABINETE DO GOVERN... | STN - Transferências a Estados | 7.783300e+02 | ||
87045 | SP | 0000 | Governo do Estado | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0046 | Transferência da Cota-Parte dos Estados e DF E... | Cota-Parte IPI -LC n.º 61 | 46379400000150 | ESTADO DE SAO PAULO [SP GOV GABINETE DO GOVERN... | STN - Transferências a Estados | 6.677921e+07 | ||
87071 | SP | 0000 | Governo do Estado | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 099E | Auxilio Financeiro aos Entes Federados Exporta... | Compensação de Exportação - CEX | 46379400000150 | ESTADO DE SAO PAULO [SP GOV GABINETE DO GOVERN... | STN - Transferências a Estados | 6.127553e+07 | ||
87098 | SP | 0000 | Governo do Estado | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0C33 | Fundo de Manutenção e Desenvolvimento da Educa... | FUNDEB | 46379400000150 | ESTADO DE SAO PAULO [SP GOV GABINETE DO GOVERN... | STN - Transferências a Estados | 1.338576e+08 | ||
87125 | SP | 0000 | Governo do Estado | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 0547 | Transferências de Cotas-Partes da Compensação ... | CFEM | 46379400000150 | ESTADO DE SAO PAULO [SP GOV GABINETE DO GOVERN... | STN - Transferências a Estados | 1.096712e+06 | ||
87158 | SP | 0000 | Governo do Estado | 12 | Educação | 122 | Administração Geral | 2109 | Programa de Gestão e Manutenção do Ministério ... | 20RH | Gerenciamento das Políticas de Educação | 61924981000158 | INSTITUTO DE PESOS E MEDIDAS DO ESTADO DE SAO ... | STN - Convênios/Contratos de Repasses/Fundo a ... | 676977 | 6.436045e+04 | ||
87351 | SP | 0000 | Governo do Estado | 22 | Indústria | 665 | Normalização e Qualidade | 2055 | Desenvolvimento Produtivo | 20TV | Serviços de Metrologia e Qualidade Industrial | 61924981000158 | INSTITUTO DE PESOS E MEDIDAS DO ESTADO DE SAO ... | STN - Convênios/Contratos de Repasses/Fundo a ... | 676977 | 3.440049e+06 |
10789 rows × 18 columns
dados[dados['Sigla Unidade Federação'] == 'SP']['Nome Funcao'].value_counts()
Saúde 5526 Encargos Especiais 5054 Educação 143 Assistência Social 24 Ciência e Tecnologia 17 Comércio e Serviços 14 Trabalho 7 Cultura 2 Indústria 1 Agricultura 1 dtype: int64
É possível filtrar por mais de uma condição como os seguintes exemplos:
dados[(dados['Sigla Unidade Federação'] == 'SP') | (dados['Sigla Unidade Federação'] == 'MG')].head()
Sigla Unidade Federação | Codigo SIAFI Municipio | Nome Municipio | Codigo Funcao | Nome Funcao | Codigo Sub Funcao | Nome Sub Funcao | Codigo Programa | Nome Programa | Codigo Acao | Nome Acao | Linguagem Cidadã | Codigo Favorecido | Nome Favorecido | Fonte-Finalidade | Modalidade Aplicação | Número Convênio | Valor Parcela | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | MG | 4123 | BELO HORIZONTE | 19 | Ciência e Tecnologia | 572 | Desenvolvimento Tecnológico e Engenharia | 2021 | Ciência, Tecnologia e Inovação | 2095 | Fomento a Projetos de Implantação e Recuperaçã... | CT-INFRA | 18720938000141 | FUNDACAO DE DESENVOLVIMENTO DA PESQUISA | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas s/ Fins... | 673120 | 444340.00 |
2 | MG | 5221 | SAO FRANCISCO | 15 | Urbanismo | 452 | Serviços Urbanos | 0660 | Segurança e Educação de Trânsito: Direito e Re... | 8487 | Fomento a Projetos Destinados à Prevenção e Re... | 22679153000140 | MUNICIPIO DE SAO FRANCISCO [SAO FRANCISCO PREF... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Municípios | 725369 | 66397.51 | |
13 | SP | 7107 | SAO PAULO | 12 | Educação | 364 | Ensino Superior | 2032 | Educação Superior - Graduação, Pós-Graduação, ... | 0487 | Concessão de Bolsas de Estudos | Bolsas de Estudos no País | 86982311000119 | ASSOCIACAO NACIONAL DE POS-GRADUACAO E PESQUIS... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas s/ Fins... | 850.00 | |
16 | SP | 7107 | SAO PAULO | 11 | Trabalho | 333 | Empregabilidade | 2071 | Trabalho, Emprego e Renda | 20ST | Estudos e Pesquisas para Apoio e Gestão do Sis... | 60964996000187 | DEPARTAMENTO INTERSINDICAL DE EST ESTS SOCIO E... | STN - Convênios/Contratos de Repasses/Fundo a ... | Transferências a Instituições Privadas s/ Fins... | 755158 | 460490.76 | |
18 | MG | 4907 | OLARIA | 28 | Encargos Especiais | 845 | Transferências | 0903 | Operações Especiais: Transferências Constituci... | 099B | Transferência a Estados, Distrito Federal e Mu... | Transferências - LC n.º 87/96 e 115/2003 | 18338202000103 | MUNICIPIO DE OLARIA [OLARIA GABINETE PREFEITO] | STN - Transferências a Municípios | 594.39 |
Ou um exemplo mais interessante, vamos ver quanto foi transferido para 'Ciência, Tecnologia e Inovação' em São Paulo:
dados[(dados['Sigla Unidade Federação'] == 'SP') & (dados['Nome Programa'] == 'Ciência, Tecnologia e Inovação')]['Valor Parcela'].sum()
42568238.469999999
Mas o Pandas é mágico, poderíamos ter feito isso pra todos municípios (WARNING: A lot of magic below!, nada melhor do que somar a totalização de todas as trasnferências só em 'Ciência, Tecnologia e Inovação', agrupar por Estado, remover valores estranhos (NA) e imprimir em ordem descrescente tudo em uma linha de Python. Eu quebrei em várias pra ficar mais legível):
dados[dados['Nome Programa'] == 'Ciência, Tecnologia e Inovação'] \
.groupby('Sigla Unidade Federação') \
.sum() \
.dropna() \
.sort('Valor Parcela')[::-1]
Valor Parcela | |
---|---|
Sigla Unidade Federação | |
SP | 42568238.47 |
RJ | 39723053.48 |
RS | 2016691.03 |
PR | 1359788.92 |
AM | 593576.19 |
MG | 444340.00 |
SC | 362536.25 |
PB | 261261.42 |
CE | 189980.00 |