Pular para o conteúdo principal

[Power BI e PowerAutomate] Versionamento e Publicação Automática dos seus arquivos PBIX

[Power BI] Lista do SharePoint não é Banco de Dados, OK?



Olá viciados em SharePoint e outras coisas mais que são impronunciáveis a essa hora, tudo bem?

Bem se você já conhece esse blog sabe que sou apaixonado por tecnologias Microsoft e com o SharePoint não poderia ser diferente, MAS... aí vem o grande MAS... não usem listas do SharePoint como Banco de Dados, porque as consultas a esse tipo de fonte são extremamente lentas e ineficientes seja no nosso Projeto no Power BI ou para qualquer outra coisa que você queira fazer que precise utilizar esses dados.

Então vamos lá, para nossa demonstração pra não ficar só no meu PAPO!

Para nossa demonstração eu criei três Fluxos de Dados (DataFlows) no Power BI Web utilizando 3 fontes de dados que possuem os mesmo dados, uma tabela de duas colunas e mais de 200 mil linhas, no Excel, SharePoint e Azure SQL Server.



Criei uma única entidade em cada Fluxo de Dados para que pudéssemos avaliar o tempo de atualização de cada uma das Fontes.

Conectei meu Power BI Desktop a esses Data Flows para que vocês possam ver que se tratam da mesma quantidade de linhas.




 


Acima lado a lado cada uma das tabelas demonstradas no exemplo.

Vamos então mandar atualizar TODOS os DataFlows, lembrando que somente uma das fontes utiliza Gateway de dados que é a Excel que está na minha máquina, tanto Azure SQL Server quanto SharePoint não utilizam Gateway.


Finalizada a atualização, vamos então verificar o tempo que cada uma dessas fontes levou até finalizar o processo na nuvem.

Eu já havia anteriormente atualizado uma única vez cada uma das Fontes para que possamos ter um comparativo se por alguma motivo houver alguma oscilação nos serviços da MS.

Para o Azure SQL Server os tempos de atualização foram de 32 segundos nas duas tentativas. Excelente não?


Nosso Amigo Excel também performou muito bem, graças a internet boa e ao processamento rápido da minha máquina. Então nesse exemplo empatou até com me SQL Server, o que nem sempre vai ocorrer.

Já o SharePoint, deu foi SONO meu irmão!!! Mais de 11 minutos nas duas tentativas.


O Azure SQL Server usado nesse exemplo foi o mais barato que existe na nuvem da Microsoft, que custa pouco mais de 22 Reais por mês, então a velocidade não se deu ao processamento violento da nuvem. Eu fiz um teste aumentando a quantidade de DTUs do meu Azure SQL Server e não mudou em nada o tempo de refresh do Power BI.

Acredito não haver mais dúvidas que listas no SharePoint não são as melhores opções além disso consultando dados no SQL Server (seja azure ou on-premise) podemos fazer consultas direct query, ou seja sem necessidade de dar um refresh no Dataset.

E por hoje é só coleguinhas.

Grande abraço e até a próxima.

Comentários

  1. Ai simm. Nobre amigo!! E caso o usuário só tenha a lista, ou eu choro, ou tento fazer um update para algum banco!

    ResponderExcluir
    Respostas
    1. Se o SharePoint for obrigatório vc pode fazer um flow pra levar isso também para um banco ou até utilizar o SSIS.

      Excluir
    2. Não sei se é o melhor caminho, tenho um cliente que a unica opção era a lista então montei um excel com VBA (pois são várias listas) e com o Excel eu importo os dados de uma vez só e armazeno em um Access que pluga direto no Power BI.
      O Excel com VBA fica com uma macro rodando e de tempos em tempos ele faz a extração e armazena no Access e o Power BI atualiza em menos de 1 minuto todos os dados diretamente do Access.

      Excluir
  2. Este comentário foi removido pelo autor.

    ResponderExcluir
  3. Muito bom Rafael, agora é avaliarmos o que podemos fazer com os recursos disponível.

    ResponderExcluir
  4. Ótimo post Rafael!
    Eu recebo um excel automaticamente no sharepoint e de lá levo pro BI.
    É possivel automatizar para levar esse excel para azure em formato de banco de dados?
    Pode me indicar por onde procurar conteúdo disso?

    Abraços

    ResponderExcluir
    Respostas
    1. Oi Lucas vamos em breve ter alguns artigos sobre ferramentas de ETL profissionais, como SSIS e ADF e aí temos a possibilidade de levar esse excel sem problema algum para um banco seja na azure ou até no seu próprio ambiente on-premise.

      Excluir
  5. Oi Rafa tudo bem
    E se eu me conectar a uma pasta do Sharepoint o desempenho é o mesmo de se conectar em uma lista?

    ResponderExcluir

Postar um comentário

Postagens mais visitadas deste blog

[Power BI] Atualização MARÇO 2020 !!!!

Atualização Power BI Março de 2020!
Olá meus queridos, saiu agorinha a pouco a atualização do nosso Power BI Desktop de Março de 2020.

A atualização você pode fazer aqui:

https://www.microsoft.com/pt-BR/download/details.aspx?id=58494

Alguns itens você pode acompanhar aqui nesse rápido artigo pra sair brincando hoje mesmo com a sua atualização.

1) Botão de "pesquisar" nos filtros laterais
Muitas vezes você tem uma série de filtros em uma página ou relatório e é dificil encontrar aquele filtro específico, bem agora você com o botão de pesquisa pode procura-lo muito mais fácil utilizando o nome dele. Por enquanto ainda não é possível utiliza os "sinônimos" que você pode criar para cara coluna, tabela, ou medida na área de modelo, mas quem sabe em breve né?

2) Ordenar Tabela por mais de uma Coluna 
Esse é um dos grandes pedidos da comunidade, e veio através do ideas.powerbi.com , agora você pode, como no excel, ordenar uma tabela por mais de uma coluna bastando utiliza…

[Power Query] Código M para Dataset sobre Covid19 no Brasil e a Função Value.Metada

Muita gente tem feito alguns relatórios legais sobre covid19, como não sou tão fã de fazer relatórios bonitos pra ficar postando, prefiro trabalhar behind the scenes e trazer na verdade um Dataset do ministério da saúde sobre Covid19 nos estados.
PS. Foi feita uma alteração no Código por conta de alterações no nome do arquivo o abaixo é o mais atual então algumas coisas no artigo podem estar diferentes mas a ideia central é a mesma.
O grande detalhe dessa consultá é que utilizei uma função em PowerQuery conhecida por poucos a Value.Metadata.
Essa função permite trazer informações específicas sobre os nossos dados, ela só tem um argumento que é um valor qualquer. 
Se utilizamos como argumento uma tabela, por exemplo, na Value.Metadata ele vai me trazer informações sobre QueryFolding que você já viu aqui nesse VÍDEO.


Além disso vai me trazer informações de qual é a fonte de dados, bem como meu "Path" ou Caminho dessa fonte. No caso como era uma fonte SQL o Path seria servidor e ban…

Power BI Service - O Publicar na Web não está disponível para mim, e agora?

Olá seus pão duro que adoram publicar link público, tudo bem com vocês?

Hoje vamos dar uma mãozinha para você que por algum motivo arrancou todos os fios de cabelo da cabeça porque não viu mais a opção de Publicar na Web disponível no seu Power BI.

Antes também gostaria de te fazer dois convites:

O segundo, como sempre te convido a conhecer meu canal no YouTube, se inscrever e compartilhar os conteúdos que faço sempre com muito carinho para todos vocês (coisa melosa),

https://youtube.com/rafaelmendonca

Dados os recados vamos para nosso problema...

1) Seu dia amanheceu assim...
Numa bela manha você decide publicar seu relatório e compartilhar para toda a rede e se depara com essa situação:


Cara quem roubou meu botão de "Publicar na Web"?

Mas não se desespere isso pode ser uma configuração que o administrador do tenant (do seu site no serviço do PBI) ou até mesmo você desavisadamente alterou.

2) Verificando a Opção Desabilitada...
A partir daqui você precisa ter acesso de admi…