Pular para o conteúdo principal

[Power BI Like a Pro] Compartilhando AUTOMATICAMENTE relatórios com novos usuários da sua equipe.

[Power Query] Código M para Dataset sobre Covid19 no Brasil e a Função Value.Metadata

Muita gente tem feito alguns relatórios legais sobre covid19, como não sou tão fã de fazer relatórios bonitos pra ficar postando, prefiro trabalhar behind the scenes e trazer na verdade um Dataset do ministério da saúde sobre Covid19 nos estados.

PS. Foi feita uma alteração no Código por conta de alterações no nome do arquivo o abaixo é o mais atual então algumas coisas no artigo podem estar diferentes mas a ideia central é a mesma.

O grande detalhe dessa consultá é que utilizei uma função em PowerQuery conhecida por poucos a Value.Metadata.

Essa função permite trazer informações específicas sobre os nossos dados, ela só tem um argumento que é um valor qualquer. 

Se utilizamos como argumento uma tabela, por exemplo, na Value.Metadata ele vai me trazer informações sobre QueryFolding que você já viu aqui nesse VÍDEO.



Além disso vai me trazer informações de qual é a fonte de dados, bem como meu "Path" ou Caminho dessa fonte. No caso como era uma fonte SQL o Path seria servidor e banco.

Ok, mas porque eu utilizei Value.Metadata na consulta do Ministério da Saúde de Covid19?

Bem no site https://covid.saude.gov.br existe um botão onde você pode baixar o dataset utilizado nessa página com os dados de covid19 no Brasil, inspecionando essa página quando clicamos no botão o site faz uma consulta https://covid.saude.gov.br/assets/files/BRnCov19_30032020.csv que é arquivo csv que dá origem aos dados.

Nesse arquivo podemos perceber que o nome segue uma lógica com o prefixo BRnCov19_ seguido da data de ontem sem as barras, 30032020.

Tendo esse link em mãos poderíamos já utilizar alguma logica usando DateTime.LocalNow() para concatenar com o resto do link e trazer o arquivo da data certo?

Não necessariamente. 

O problema é que como o arquivo é diário, ele pode ser atualizado ao longo de um dia ou seja amanha 01/04/2020 se meu dataset estiver configurado para atualizar as 08:00AM não necessariamente já existam os dados de 31/03/2020 pode ser que o dataset no site ainda seja o 30/03/2020.

Nesse caso criei uma lógica que cria uma lista e além do dia atual, me traz o dia anterior e o dia posterior com algo simples como {DateTime.LocalNow(), Date.AddDays(DateTime.LocalNow(), -1), Date.AddDays(DateTime.LocalNow(), 1)}





Após isso realizei uma série de tratamentos inserí prefixo e sufixo, excluí as / e chamei uma função personalizada criada usando o link simples inicial, claro com a RelativePath dentro de uma Web.Contents pra garantir que o meu dado possa ser atualizado na web.

Então em tese seriam feito Web.Contents para 3 links diferentes:

Dia Atual 

Web.Contents("https://covid.saude.gov.br", [RelativePath ="assets/files/BRnCov19_31032020.csv"])

Dia Anterior

Web.Contents("https://covid.saude.gov.br", [RelativePath ="assets/files/BRnCov19_30032020.csv"])

Dia Posterior

Web.Contents("https://covid.saude.gov.br", [RelativePath ="assets/files/BRnCov19_01042020.csv"])


Nisso veio o problema, para as chamadas onde o link não existe o Power BI retorna o erro " Expression.Error: O acesso ao recurso é proibido "


Geralmente trataria um erro com uso de " try otherwise " mas nesse caso não é um erro de calculo mas é um erro de CONEXÃO, o que invalida o meu código, a não ser que eu saiba utilizar nesse caso o Value.Metadata

Utilizando o Web.Contents acima como argumento da Value.Metadata temos como retorno um registro com 6 itens, sendo o que nos interessa é o Response.Status 


No caso do exemplo acima o Response.Status nos retornou null ou seja sem nenhuma informação, o Respose.Status nos trás o status de resposta da consulta HTTP e deveríamos esperar um status 200 que é um status "OK sua solicitação foi bem sucedida", que é o que ocorre se fizermos a mesma solicitação para o arquivo BRnCov19_30032020.csv 


Sendo assim então eu consigo agora criar uma lógica validando se o meu Response.Status for igual a 200 então eu trago o valor da consulta caso contrário trago null, e foi o que fizemos na etapa InvocarFuncao:

= Table.AddColumn(#"Colunas Removidas", "Tabela", each if Value.Metadata(Web.Contents("https://covid.saude.gov.br", [RelativePath =[Link]]))[Response.Status]=200 then Funcao([Link]) else null)

E sendo assim mais um dia foi salvo graças ao Power Query e boas horas de estudo.

Grande abraço e até a próxima.





 


Comentários

  1. Queria fazer minhas proprias analise sobre o covid19 mas estava com sem tempo (preguiça) de garimpar dados...dai vem o mestre e me entrega de mão beijada.... Brincadeira a Parte ....vc mata a pau...

    ResponderExcluir
    Respostas
    1. rs...a ideia foi essa, dar subsídio fácil pra galera que gosta da parte de visualização.

      Excluir
  2. Rafael, essa lógica do Value. Metadata pode ser usada com a função Folder.value, acho que é essa, para escolher o caminho da pasta e retornar o caminho correto onde tenha os dados? A try otherwise até faz para o desktop, mas não funciona na atualização do relatório.

    ResponderExcluir
    Respostas
    1. Qualquer COISA pode ser usada como argumento da Value.Metadata é testar e validar se vai trazer algum resultado interessante abraço.

      Excluir
  3. Excelente. Eu estava fazendo download.
    Agora vou tentar adaptar meu M. Valeu pela dica!

    Se puder dar um pulo no meu painel, seria muito bom!

    http://covid.ax4b.com/

    ResponderExcluir
  4. Muito bom Rafael. Obrigado por facilitar as coisas ...
    Abraço !

    ResponderExcluir
  5. Boa tarde Rafael!
    Hoje tenho um dash a respeito em que utilizo um script VB para capturar o arquivo do mesmo site no final do dia.
    Queria muito poder utilizar seu código para tornar esse processo mais prático, porém, quando tentei, todas as linhas de conteúdo me retornaram como null. Alguma ideia do motivo?
    Outra pergunta, mais como curiosidade, como você obteve o caminho "https://covid.saude.gov.br/assets/files"? Quando eu faço o download, reparo que o link para download é sempre diferente, por isso optei por utilizar um método mais arcaico para obter a base.
    Abraço!

    ResponderExcluir
    Respostas
    1. Olá...eles mudaram os caminhos....o código efetivamente não ta funcionando pra esse site deixei ainda por conta da explicação do Value.Metadata que não tem conteúdo em Português sobre essa função do Power Query.

      Excluir
  6. Rafa muito show o conteúdo!! eu fiquei com uma dúvida, para o if, vc puxou o response status pela coluna [Link], e nao pela Funcao. Teria algum jeito de puxar pra testar diretamente da função?

    um abraço !!

    ResponderExcluir

Postar um comentário

Postagens mais visitadas deste blog

Power BI - DAX - Canivete Suiço dos Valores Acumulados

Com certeza você já deve ter quebrado bastante cabeça quando precisou calcular valores acumulados dentro do Mês, Semana, Ano, periodo específico nao é? Então nesse vídeo mostro 9 medidas de calculos de valores acumulados ao longo de varios tipos de periodos diferentes.

[Power BI] Lista do SharePoint não é Banco de Dados, OK?

Olá viciados em SharePoint e outras coisas mais que são impronunciáveis a essa hora, tudo bem? Bem se você já conhece esse blog sabe que sou apaixonado por tecnologias Microsoft e com o SharePoint não poderia ser diferente, MAS... aí vem o grande MAS... não usem listas do SharePoint como Banco de Dados, porque as consultas a esse tipo de fonte são extremamente lentas e ineficientes seja no nosso Projeto no Power BI ou para qualquer outra coisa que você queira fazer que precise utilizar esses dados. Então vamos lá, para nossa demonstração pra não ficar só no meu PAPO! Para nossa demonstração eu criei três Fluxos de Dados (DataFlows) no Power BI Web utilizando 3 fontes de dados que possuem os mesmo dados, uma tabela de duas colunas e mais de 200 mil linhas, no Excel, SharePoint e Azure SQL Server. Criei uma única entidade em cada Fluxo de Dados para que pudéssemos avaliar o tempo de atualização de cada uma das Fontes. Conectei meu Power BI Desktop a esses Data Flows para qu

“Traduzindo” formulas do Excel para DAX.

Como utilizar algumas formulas bem conhecidas no EXCEL em DAX Olá moçada tudo bem? Todos sabemos que muitos dos usuários de Excel tem dificuldade de migrar ou utilizar o Power BI, muito pela dificuldade de entender a forma de calcular do DAX e os contextos de linha e de filtro, bem como por já estar acostumado com as formulas no Excel, chegando a procurar um SOMASE (SUMIF) quando quer escrever uma nova medida em DAX (eu fiz isso). Queria então conversar hoje com esse público e te mostrar como traduzir o que você pensa em EXCEL para DAX. Iremos brincar então com as seguintes formulas em Excel (versão português). Somase, Somases, Procv, Cont.se, Cont.ses, Pgto, Concat, Texto, Esquerda, Direita e Seerro. Utilizaremos para nosso exemplo o modelo de dados abaixo (Power BI e Excel) Nossos objetivos serão: - Encontrar o total de Compras para veículos novos (ano de venda igual a 2018). - Encontrar o total de Compras para veículos novos e com va