Power BI - Do it in public

1st post - Get all the lists! - Composant OData pour SSIS

Je débute dans le monde du blogging avec ce premier post (so be nice!) et j'ai décidé de partager cette petite aventure nocturne sur (tadadaaaam):

La consolidation de données présentes dans des listes SharePoint via le nouveau composant SSIS ODATA (et de façon dynamique... BIM)

Contexte: Depuis mes tests avec Power Query, j'adore travailler et récupérer des datas de listes SP qui sont loin... très loin dans les nuages! Et comme mon enthousiasme se communique facilement, on me demande de l'industrialiser... sur un type de liste répliquées dans une multitude de sous-sites... (t.t)

Première étape, récupération des bon outils. Pour cela, le nouveau composant OData pour SSIS!(ok ça date de quelques semaines... mais ça reste récent!) et on le trouve ici: OData SSIS Ensuite, on installe son copain: SharePoint Server 2013 Client Components SDK

Et on passe à la deuxième étape: la configuration! Pour cela, on va créer la nouvelle connexion:

Alors alors, deux remarques: faire attention au format de l'URL et ensuite bien changer l'option Microsoft Online Service Authentication à "TRUE". On test, on valide et BIM ! On récupère notre liste avec le composant OData

Ici on retrouve toutes les listes du site en question dans la partie "Collection" et on récupère les colonnes voulues! A partir de là, il ne reste plus qu'à rendre le tout dynamique en utilisant une table de paramétrage qui va contenir toutes les URL.

On donnera ensuite les adresses des sites en input d'une boucle "foreach" et on va variabiliser l'URL du connection manager dans ses propriétés

Après tout ça, il nous reste à souligner quelques petites choses:

1) Faire attention à la construction des listes dans les sous-sites. Cela va sans dire que si les listes ne sont pas iso... le monde s'écroule et une ère glaciaire risque de s'abattre.

2) Vérification des perfs! Je tatonne SSIS mais je pense que paralléliser l'import est possible. (à mettre dans la TO DO)

3) SharePoint est généreux et vous propose une montagne de champs par défaut dans le connecteur, une petite selection ne fait pas de mal

Conclusion: J'ai mis plus de temps à écrire l'article... Il va donc falloir améliorer tout ça! (et la mise en page aussi)

GOod night, GoOd fight!