Pular para o conteúdo principal

[Power BI Like a PRO] Inserindo usuários em lote numa workspace.

[Power Query] Código M para Dataset sobre Covid19 no Brasil e a Função Value.Metadata

Muita gente tem feito alguns relatórios legais sobre covid19, como não sou tão fã de fazer relatórios bonitos pra ficar postando, prefiro trabalhar behind the scenes e trazer na verdade um Dataset do ministério da saúde sobre Covid19 nos estados.

PS. Foi feita uma alteração no Código por conta de alterações no nome do arquivo o abaixo é o mais atual então algumas coisas no artigo podem estar diferentes mas a ideia central é a mesma.

O grande detalhe dessa consultá é que utilizei uma função em PowerQuery conhecida por poucos a Value.Metadata.

Essa função permite trazer informações específicas sobre os nossos dados, ela só tem um argumento que é um valor qualquer. 

Se utilizamos como argumento uma tabela, por exemplo, na Value.Metadata ele vai me trazer informações sobre QueryFolding que você já viu aqui nesse VÍDEO.



Além disso vai me trazer informações de qual é a fonte de dados, bem como meu "Path" ou Caminho dessa fonte. No caso como era uma fonte SQL o Path seria servidor e banco.

Ok, mas porque eu utilizei Value.Metadata na consulta do Ministério da Saúde de Covid19?

Bem no site https://covid.saude.gov.br existe um botão onde você pode baixar o dataset utilizado nessa página com os dados de covid19 no Brasil, inspecionando essa página quando clicamos no botão o site faz uma consulta https://covid.saude.gov.br/assets/files/BRnCov19_30032020.csv que é arquivo csv que dá origem aos dados.

Nesse arquivo podemos perceber que o nome segue uma lógica com o prefixo BRnCov19_ seguido da data de ontem sem as barras, 30032020.

Tendo esse link em mãos poderíamos já utilizar alguma logica usando DateTime.LocalNow() para concatenar com o resto do link e trazer o arquivo da data certo?

Não necessariamente. 

O problema é que como o arquivo é diário, ele pode ser atualizado ao longo de um dia ou seja amanha 01/04/2020 se meu dataset estiver configurado para atualizar as 08:00AM não necessariamente já existam os dados de 31/03/2020 pode ser que o dataset no site ainda seja o 30/03/2020.

Nesse caso criei uma lógica que cria uma lista e além do dia atual, me traz o dia anterior e o dia posterior com algo simples como {DateTime.LocalNow(), Date.AddDays(DateTime.LocalNow(), -1), Date.AddDays(DateTime.LocalNow(), 1)}





Após isso realizei uma série de tratamentos inserí prefixo e sufixo, excluí as / e chamei uma função personalizada criada usando o link simples inicial, claro com a RelativePath dentro de uma Web.Contents pra garantir que o meu dado possa ser atualizado na web.

Então em tese seriam feito Web.Contents para 3 links diferentes:

Dia Atual 

Web.Contents("https://covid.saude.gov.br", [RelativePath ="assets/files/BRnCov19_31032020.csv"])

Dia Anterior

Web.Contents("https://covid.saude.gov.br", [RelativePath ="assets/files/BRnCov19_30032020.csv"])

Dia Posterior

Web.Contents("https://covid.saude.gov.br", [RelativePath ="assets/files/BRnCov19_01042020.csv"])


Nisso veio o problema, para as chamadas onde o link não existe o Power BI retorna o erro " Expression.Error: O acesso ao recurso é proibido "


Geralmente trataria um erro com uso de " try otherwise " mas nesse caso não é um erro de calculo mas é um erro de CONEXÃO, o que invalida o meu código, a não ser que eu saiba utilizar nesse caso o Value.Metadata

Utilizando o Web.Contents acima como argumento da Value.Metadata temos como retorno um registro com 6 itens, sendo o que nos interessa é o Response.Status 


No caso do exemplo acima o Response.Status nos retornou null ou seja sem nenhuma informação, o Respose.Status nos trás o status de resposta da consulta HTTP e deveríamos esperar um status 200 que é um status "OK sua solicitação foi bem sucedida", que é o que ocorre se fizermos a mesma solicitação para o arquivo BRnCov19_30032020.csv 


Sendo assim então eu consigo agora criar uma lógica validando se o meu Response.Status for igual a 200 então eu trago o valor da consulta caso contrário trago null, e foi o que fizemos na etapa InvocarFuncao:

= Table.AddColumn(#"Colunas Removidas", "Tabela", each if Value.Metadata(Web.Contents("https://covid.saude.gov.br", [RelativePath =[Link]]))[Response.Status]=200 then Funcao([Link]) else null)

E sendo assim mais um dia foi salvo graças ao Power Query e boas horas de estudo.

Grande abraço e até a próxima.





 


Comentários

  1. Queria fazer minhas proprias analise sobre o covid19 mas estava com sem tempo (preguiça) de garimpar dados...dai vem o mestre e me entrega de mão beijada.... Brincadeira a Parte ....vc mata a pau...

    ResponderExcluir
    Respostas
    1. rs...a ideia foi essa, dar subsídio fácil pra galera que gosta da parte de visualização.

      Excluir
  2. Rafael, essa lógica do Value. Metadata pode ser usada com a função Folder.value, acho que é essa, para escolher o caminho da pasta e retornar o caminho correto onde tenha os dados? A try otherwise até faz para o desktop, mas não funciona na atualização do relatório.

    ResponderExcluir
    Respostas
    1. Qualquer COISA pode ser usada como argumento da Value.Metadata é testar e validar se vai trazer algum resultado interessante abraço.

      Excluir
  3. Excelente. Eu estava fazendo download.
    Agora vou tentar adaptar meu M. Valeu pela dica!

    Se puder dar um pulo no meu painel, seria muito bom!

    http://covid.ax4b.com/

    ResponderExcluir
  4. Muito bom Rafael. Obrigado por facilitar as coisas ...
    Abraço !

    ResponderExcluir
  5. Boa tarde Rafael!
    Hoje tenho um dash a respeito em que utilizo um script VB para capturar o arquivo do mesmo site no final do dia.
    Queria muito poder utilizar seu código para tornar esse processo mais prático, porém, quando tentei, todas as linhas de conteúdo me retornaram como null. Alguma ideia do motivo?
    Outra pergunta, mais como curiosidade, como você obteve o caminho "https://covid.saude.gov.br/assets/files"? Quando eu faço o download, reparo que o link para download é sempre diferente, por isso optei por utilizar um método mais arcaico para obter a base.
    Abraço!

    ResponderExcluir
    Respostas
    1. Olá...eles mudaram os caminhos....o código efetivamente não ta funcionando pra esse site deixei ainda por conta da explicação do Value.Metadata que não tem conteúdo em Português sobre essa função do Power Query.

      Excluir

Postar um comentário

Postagens mais visitadas deste blog

Power BI Service - O Publicar na Web não está disponível para mim, e agora?

Olá seus pão duro que adoram publicar link público, tudo bem com vocês?

Hoje vamos dar uma mãozinha para você que por algum motivo arrancou todos os fios de cabelo da cabeça porque não viu mais a opção de Publicar na Web disponível no seu Power BI.

Antes também gostaria de te fazer dois convites:

O segundo, como sempre te convido a conhecer meu canal no YouTube, se inscrever e compartilhar os conteúdos que faço sempre com muito carinho para todos vocês (coisa melosa),

https://youtube.com/rafaelmendonca

Dados os recados vamos para nosso problema...

1) Seu dia amanheceu assim...
Numa bela manha você decide publicar seu relatório e compartilhar para toda a rede e se depara com essa situação:


Cara quem roubou meu botão de "Publicar na Web"?

Mas não se desespere isso pode ser uma configuração que o administrador do tenant (do seu site no serviço do PBI) ou até mesmo você desavisadamente alterou.

2) Verificando a Opção Desabilitada...
A partir daqui você precisa ter acesso de admi…

“Traduzindo” formulas do Excel para DAX.

Como utilizar algumas formulas bem conhecidas no EXCEL em DAX

Olá moçada tudo bem?
Todos sabemos que muitos dos usuários de Excel tem dificuldade de migrar ou utilizar o Power BI, muito pela dificuldade de entender a forma de calcular do DAX e os contextos de linha e de filtro, bem como por já estar acostumado com as formulas no Excel, chegando a procurar um SOMASE (SUMIF) quando quer escrever uma nova medida em DAX (eu fiz isso).
Queria então conversar hoje com esse público e te mostrar como traduzir o que você pensa em EXCEL para DAX.
Iremos brincar então com as seguintes formulas em Excel (versão português).
Somase, Somases, Procv, Cont.se, Cont.ses, Pgto, Concat, Texto, Esquerda, Direita e Seerro.
Utilizaremos para nosso exemplo o modelo de dados abaixo (Power BI e Excel)




Nossos objetivos serão:
- Encontrar o total de Compras para veículos novos (ano de venda igual a 2018). - Encontrar o total de Compras para veículos novos e com valor de venda igual a R$ 1Mi. - Encontrar qual o veículo ve…

Power BI - Colocando sua dCalendario em "Ordem"

Power BI - Colocando sua dCalendario em "Ordem"
Olá Princesas e Princesos.

Hoje iremos brincar, novamente, com dCalendario.

É um assunto legal, uma estrutura praticamente obrigatória, então vamos explora-la ainda mais.

Se você já entende o conceito de ordenar as linhas da coluna da dCalendário de forma a ficar sempre tudo na ORDEM crescente ou DECRESCENTE de Datas, Meses, Anos, Semanas, e etc esse artigo pode ser um tanto quanto boring pra você, então aconselho a procurar outro meio de vida.

MAS ANTES... adivinhem?

Não tá inscrito no canal se inscreve lá www.youtube.com/rafaelmendonca

Exemplo 1 - Ordenando coluna de Nome do Mês.
Uma das colunas que costumamos criar na dCalendario é a Mês Nome (janeiro, fevereiro, março...)

Por padrão a ordenação de uma coluna sempre é ela mesmo, ou seja numa coluna com dados de texto a ordenação vai ser alfabética, e seus meses serão ordenados da seguinte forma:

abril, agosto, dezembro, fevereiro, janeiro, julho, junho, maio, março, novembro…