Pular para o conteúdo principal

Power BI ERROR - O modelo não tem uma expressão nomeada chamada ...

[Power Query] Código M para Dataset sobre Covid19 no Brasil e a Função Value.Metadata

Muita gente tem feito alguns relatórios legais sobre covid19, como não sou tão fã de fazer relatórios bonitos pra ficar postando, prefiro trabalhar behind the scenes e trazer na verdade um Dataset do ministério da saúde sobre Covid19 nos estados.

PS. Foi feita uma alteração no Código por conta de alterações no nome do arquivo o abaixo é o mais atual então algumas coisas no artigo podem estar diferentes mas a ideia central é a mesma.

O grande detalhe dessa consultá é que utilizei uma função em PowerQuery conhecida por poucos a Value.Metadata.

Essa função permite trazer informações específicas sobre os nossos dados, ela só tem um argumento que é um valor qualquer. 

Se utilizamos como argumento uma tabela, por exemplo, na Value.Metadata ele vai me trazer informações sobre QueryFolding que você já viu aqui nesse VÍDEO.



Além disso vai me trazer informações de qual é a fonte de dados, bem como meu "Path" ou Caminho dessa fonte. No caso como era uma fonte SQL o Path seria servidor e banco.

Ok, mas porque eu utilizei Value.Metadata na consulta do Ministério da Saúde de Covid19?

Bem no site https://covid.saude.gov.br existe um botão onde você pode baixar o dataset utilizado nessa página com os dados de covid19 no Brasil, inspecionando essa página quando clicamos no botão o site faz uma consulta https://covid.saude.gov.br/assets/files/BRnCov19_30032020.csv que é arquivo csv que dá origem aos dados.

Nesse arquivo podemos perceber que o nome segue uma lógica com o prefixo BRnCov19_ seguido da data de ontem sem as barras, 30032020.

Tendo esse link em mãos poderíamos já utilizar alguma logica usando DateTime.LocalNow() para concatenar com o resto do link e trazer o arquivo da data certo?

Não necessariamente. 

O problema é que como o arquivo é diário, ele pode ser atualizado ao longo de um dia ou seja amanha 01/04/2020 se meu dataset estiver configurado para atualizar as 08:00AM não necessariamente já existam os dados de 31/03/2020 pode ser que o dataset no site ainda seja o 30/03/2020.

Nesse caso criei uma lógica que cria uma lista e além do dia atual, me traz o dia anterior e o dia posterior com algo simples como {DateTime.LocalNow(), Date.AddDays(DateTime.LocalNow(), -1), Date.AddDays(DateTime.LocalNow(), 1)}





Após isso realizei uma série de tratamentos inserí prefixo e sufixo, excluí as / e chamei uma função personalizada criada usando o link simples inicial, claro com a RelativePath dentro de uma Web.Contents pra garantir que o meu dado possa ser atualizado na web.

Então em tese seriam feito Web.Contents para 3 links diferentes:

Dia Atual 

Web.Contents("https://covid.saude.gov.br", [RelativePath ="assets/files/BRnCov19_31032020.csv"])

Dia Anterior

Web.Contents("https://covid.saude.gov.br", [RelativePath ="assets/files/BRnCov19_30032020.csv"])

Dia Posterior

Web.Contents("https://covid.saude.gov.br", [RelativePath ="assets/files/BRnCov19_01042020.csv"])


Nisso veio o problema, para as chamadas onde o link não existe o Power BI retorna o erro " Expression.Error: O acesso ao recurso é proibido "


Geralmente trataria um erro com uso de " try otherwise " mas nesse caso não é um erro de calculo mas é um erro de CONEXÃO, o que invalida o meu código, a não ser que eu saiba utilizar nesse caso o Value.Metadata

Utilizando o Web.Contents acima como argumento da Value.Metadata temos como retorno um registro com 6 itens, sendo o que nos interessa é o Response.Status 


No caso do exemplo acima o Response.Status nos retornou null ou seja sem nenhuma informação, o Respose.Status nos trás o status de resposta da consulta HTTP e deveríamos esperar um status 200 que é um status "OK sua solicitação foi bem sucedida", que é o que ocorre se fizermos a mesma solicitação para o arquivo BRnCov19_30032020.csv 


Sendo assim então eu consigo agora criar uma lógica validando se o meu Response.Status for igual a 200 então eu trago o valor da consulta caso contrário trago null, e foi o que fizemos na etapa InvocarFuncao:

= Table.AddColumn(#"Colunas Removidas", "Tabela", each if Value.Metadata(Web.Contents("https://covid.saude.gov.br", [RelativePath =[Link]]))[Response.Status]=200 then Funcao([Link]) else null)

E sendo assim mais um dia foi salvo graças ao Power Query e boas horas de estudo.

Grande abraço e até a próxima.





 


Comentários

  1. Queria fazer minhas proprias analise sobre o covid19 mas estava com sem tempo (preguiça) de garimpar dados...dai vem o mestre e me entrega de mão beijada.... Brincadeira a Parte ....vc mata a pau...

    ResponderExcluir
    Respostas
    1. rs...a ideia foi essa, dar subsídio fácil pra galera que gosta da parte de visualização.

      Excluir
  2. Rafael, essa lógica do Value. Metadata pode ser usada com a função Folder.value, acho que é essa, para escolher o caminho da pasta e retornar o caminho correto onde tenha os dados? A try otherwise até faz para o desktop, mas não funciona na atualização do relatório.

    ResponderExcluir
    Respostas
    1. Qualquer COISA pode ser usada como argumento da Value.Metadata é testar e validar se vai trazer algum resultado interessante abraço.

      Excluir
  3. Excelente. Eu estava fazendo download.
    Agora vou tentar adaptar meu M. Valeu pela dica!

    Se puder dar um pulo no meu painel, seria muito bom!

    http://covid.ax4b.com/

    ResponderExcluir
  4. Muito bom Rafael. Obrigado por facilitar as coisas ...
    Abraço !

    ResponderExcluir
  5. Boa tarde Rafael!
    Hoje tenho um dash a respeito em que utilizo um script VB para capturar o arquivo do mesmo site no final do dia.
    Queria muito poder utilizar seu código para tornar esse processo mais prático, porém, quando tentei, todas as linhas de conteúdo me retornaram como null. Alguma ideia do motivo?
    Outra pergunta, mais como curiosidade, como você obteve o caminho "https://covid.saude.gov.br/assets/files"? Quando eu faço o download, reparo que o link para download é sempre diferente, por isso optei por utilizar um método mais arcaico para obter a base.
    Abraço!

    ResponderExcluir
    Respostas
    1. Olá...eles mudaram os caminhos....o código efetivamente não ta funcionando pra esse site deixei ainda por conta da explicação do Value.Metadata que não tem conteúdo em Português sobre essa função do Power Query.

      Excluir

Postar um comentário

Postagens mais visitadas deste blog

[Links Públicos do Power BI] Você ainda os utiliza? Bem... cuidado...

O título pode parecer um pouco "sensacionalista" mas não era a intenção, ou talvez era sei lá... mas o fato é que Links públicos ainda são MUITO utilizados não só para o seu uso devido que é o compartilhamento de informações que são de fato públicas, para criação de portfólio e etc, essas são excelentes formas de utilizar esse cara.

Mas o problema vem quando utilizamos links públicos para compartilhamento de informações ou sigilosas da empresa o que pode levar à sua demissão ou informações sensíveis de terceiros que por padrão NEM DEVERIAM ESTAR NO SEU RELATÓRIO, por conta da nossa querida LGPD que uma hora ou outra entrará em vigor.

E se você quer uma consultoria em Power BI e a Melhor do Brasil em POWER BI EMBEDDED "chama nois" em [email protected]

Então temos o velho argumento, se eu não compartilhar com ninguém ou só compartilhar com pessoas da minha empresa e pedir para não compartilhar com ninguém (você é bem ingênuo né?) não tem como vazar.

Será????
Sim pode …

Power BI - Atualização Incremental de Qualquer Tipo de Fonte de Dados!!!!

Sim eu não enlouqueci, na técnica que vamos apresentar que foi criada pelo Dustin Ryan aqui nesse artigo https://sqldusty.com/2020/05/20/power-bi-incremental-refresh-with-web-api-data-source/ e também demonstrada pelo Gilbert da Fourmoo (adoro o símbolo da empresa kakakkaka) aqui nesse outro excelente artigo https://www.fourmoo.com/2020/06/10/how-you-can-incrementally-refresh-any-power-bi-data-source-this-example-is-a-csv-file/ , permite que você faça atualização incremental para qualquer FUCKIN tipo de fonte de dados e isso é sensacional. MASSSSSSS... eu fui um pouco além e decidi mudar uma coisinha que pode fazer uma ENORME diferença, nos artigos citados acima é utilizada uma fonte do SQL Server (que claro poderia ser um Oracle, ou qualquer fonte que utilize query folding) já que QueryFolding é uma premissa necessária para a utilização da Atualização Incremental, como eu já falei pra vocês nesse vídeo aqui no canal Planilheiros Brasil e aconselho que veja esse vídeo antes de seguir l…

“Traduzindo” formulas do Excel para DAX.

Como utilizar algumas formulas bem conhecidas no EXCEL em DAX

Olá moçada tudo bem?
Todos sabemos que muitos dos usuários de Excel tem dificuldade de migrar ou utilizar o Power BI, muito pela dificuldade de entender a forma de calcular do DAX e os contextos de linha e de filtro, bem como por já estar acostumado com as formulas no Excel, chegando a procurar um SOMASE (SUMIF) quando quer escrever uma nova medida em DAX (eu fiz isso).
Queria então conversar hoje com esse público e te mostrar como traduzir o que você pensa em EXCEL para DAX.
Iremos brincar então com as seguintes formulas em Excel (versão português).
Somase, Somases, Procv, Cont.se, Cont.ses, Pgto, Concat, Texto, Esquerda, Direita e Seerro.
Utilizaremos para nosso exemplo o modelo de dados abaixo (Power BI e Excel)




Nossos objetivos serão:
- Encontrar o total de Compras para veículos novos (ano de venda igual a 2018). - Encontrar o total de Compras para veículos novos e com valor de venda igual a R$ 1Mi. - Encontrar qual o veículo ve…