#DataView | Explore Tumblr posts and blogs

docprof02 · 3 years ago

Text

Obsidian : Data analyst ?

Il y a bientôt 2 ans, j'ai publier un article sur Obsidian. Vu le nombre de messages, j'ai le sentiment que ce logiciel de prise de notes est de plus en plus utilisé. Ce premier article abordait comment ce logiciel peut vous aider à trouver la bonne information le plus rapidement possible. Je vous propose un autre exemple d'analyse de données avec Obsidian.

Je tiens à préciser que pour les exemples décrits, j'ai généré aléatoirement des données sur le site MocKaroo. Il se peut, de façon fortuite, que des données soient réelles mais cela ne peut engager ma responsabilité.

Résumé de la problématique : Supposons que vous ayez récupéré sur le DarkNet un fichier CSV contenant des numéros de téléphones avec des logins/mot de passe :

Vous voudriez savoir, l'identité des personnes qui ont ce numéro. Pour cela vous avez en votre possession une base de données sous forme d'un autre fichier CSV :

De même vous avez également un fichier CSV qui contient les URLs des sites où sont identifiés des numéros de téléphones :

Comme vous le comprenez, l'idée est à travers les numéros de téléphones (dont le format est différent dans chaque fichier) de pouvoir :

Si vous êtes le responsable d'un site (par exemple wix.com), savoir quelles sont les données qui ont été "dérobées".

Sous forme d'un tableau, connaître les identités des personnes et les sites auxquels ont peut accéder via les login/mot de passe.

Enfin de pouvoir exporter le tableau obtenu dans un et un seul fichier CSV.

D'habitude j'utiliserai un petit script qui ferait office d'ETL ou de DATA pipeline pour obtenir les résultats demandés (il faudra qu'un jour je publie un article là-dessus) mais dans le cadre de cet article nous allons utiliser obsidian.

Voilà ce que nous allons faire :

Importer chaque fichier CSV dans une arborescence différente en transformant chaque ligne par une note.

Lors de la création de cette note, des métadonnées seront insérées comportant les valeurs de chaque colonne d'une ligne du tableau CSV.

Reconstituer des notes avec les résultats souhaités.

Il faut donc dans un premier temps transformer toutes nos lignes de nos différents fichiers CSV en notes Markdown pour qu'elles soient interprétées par obsidian. On pourrait utiliser Pandoc comme on l'a vu dans mon premier article. Mais on va plutôt utiliser un module complémentaire : "JSON/CSV Importer" :

Pour rappel, si vous n'arrivez pas à récupérer le plugin via l'interface d'obsidian (car derrière un firewall), vous pouvez récupérer le plugin sous Github et l'installer manuellement. Pour cela, le dezipper et le mettre dans le répertoire de VotreVault/.obsidian/plugins (créez éventuellement le répertoire plugins). A noter qu'on trouve aussi le répertoire des thèmes contenant les feuilles de style css de chaque thème.

Après avoir récupéré ce plugin et après l'avoir activé, nous allons préparer l'import de nos fichiers.

Pour l'import des CVS (qui sont des tableaux), nous allons utiliser un template afin de définir la mise en forme de la note en utilisant les métadonnées des notes. Pour rappel, afin de créer des métadonnées, il vous suffit d'ajouter trois tirets tout en haut de la note puis de saisir dans une ligne vide la syntaxe "clé: valeur". Répéter l'opération pour ajouter autant de valeurs de métadonnées que vous le souhaitez. Enfin, terminez cette section avec trois tirets, encore une fois.

On va donc utiliser un template dans lequel la partie métadonnées va contenir les noms des colonnes (clé) et la valeur d'une ligne du tableau. Lors de l'import un mécanisme d'association du template défini et des données du fichier CSV permet de générer les notes dans le format voulu. L'avantage du plugin est de personnaliser via un langage de templates (handlebars) les notes générées par l'import du fichier CSV.

Nous allons, à travers les exemples aboter quelques syntaxes de ce langage de template. Vous pouvez en découvrir plus sur ce site que j'utilise :

Maintenant place à l'exercice. Dans un premier temps nous allons créer sous Obsdian l’arborescence suivante :

Sous Import nous avons créé 3 dossiers qui vont recevoir les notes générés par les 3 fichiers csv. Un répertoire Template qui va contenir nos templates d'import et un mystérieux répertoire Win... Positionnez vous dans le répertoire Template. Nous allons créer une première note modèle avec des métadonnées pour les imports. Par exemple, pour le fichier cvs contenant les sites nous allons créer les métadonnées suivante :

--- TPH: {{replace Telephon "-" ""}} Entreprise: {{uppercase Entreprise}} Domaine: {{URL}} ---

On retrouve le nom de nos colonnes (Telephon, Entreprise et URL). Le mot replace va permettre de supprimer le caractère "-" en le remplaçant par rien. uppercase permet de tout mettre en majuscule. Maintenant qu'on a créé les métadonnées, il ne reste plus qu'à définir l'affichage de la note. Personnellement je vais utiliser des "callouts" dans un block mais libre à vous de soigner la présentation. Par contre il faute obligatoirement définir un lien vers le numéro de téléphone. J'ai ajouté aussi un lien externe vers le site web.

>[!Note] Téléphone : [[{{replace Telephon "-" ""}}]] URL : [{{Entreprise}}]({{URL}})

On va procéder à l'import, cliquez sur la petite loupe dans la barre de gauche. Un popup s'ouvre :

Sélectionnez votre fichier csv, puis votre fichier template que nous avons créé. Il faut ensuite définir le champ qui va servir de nom de la note. Celui-ci doit être unique, on va donc utiliser le champ "Telephon" auquel on va ajouter un prefix. Enfin on spécifie la destination dans notre arborescence. Cliquez sur Import. Et le résultat est immédiat :

On retrouve toutes les notes créées dans le répertoire Site. En se positionnant sur une note je vois bien mes métadonnées (Attention, vérifiez bien que vous être en mode source et passer en édition => Ctrl E), la vue graphique est encore plus claire. Faites la même chose avec les 2 autres fichiers CSV. Voici les templates que j'utilise :

Il ne reste plus qu'à faire les imports comme vu précédemment. Vous devez obtenir le résultat suivant :

Remarquez le lien identique vers le numéro de téléphone. C'est notre "index" qui va pouvoir nous permettre d'effectuer nos recherches.

En passant en vue graphique on voit clairement les liens s'établir (j'ai volontairement limité le nombre de données pour pouvoir travailler sur des échantillons).

Maintenant on va tout de suite, répondre à notre première question. Quelles sont les données provenant du site WIX ? Rien de plus simple il suffit d'utiliser le champ de recherche :

Puis de copier le résultat dans une note qu'on va créer (par exemple WIXID) sous Import/Win et afficher la vue graphique de cette note (Ctrl+G). Par ce système visuel, on peut facilement naviguer de note en note pour retrouver les renseignements "intéressants".

Pour la deuxième question, nous allons avoir besoin d'un autre module complémentaire. Il s'agit de "Dataview". Grace à cette autre extension, et aux métadonnées mises dans nos notes, nous allons pouvoir créer des requêtes comme en SQL. Je ne vais pas détailler dans cet article toutes les commandes possibles de Dataview. Cet outil est très puissant, je vous invite plutôt à lire la documentation disponible ici. Mais nous allons à travers notre exercice comprendre le fonctionnement de ce module.

Une fois installé, nous allons recréer une nouvelle note sous Import/Win. Cette nouvelle note qu'on va appeler "RESULTAT" va nous servir à construire notre requête DQL (Dataview Query Langage). Commencez par saisir 3 backticks (le symbole sous le chiffre 7) qui permet de définir le début d'un bloc de code. Automatiquement obsidian ajoute 3 autres backticks pour indiquer la fin du bloc. Il faut alors coller le mot "dataview" à côté des premiers backticks comme ci-dessous :

```dataview ```

Dans cette zone de code on va saisir notre requête. Comme on veut un tableau, on va saisir le mot clef "TABLE" et indiquer par la suite les champs de cette table.

```dataview TABLE Nom, Prenom, Login, Password, Domaine FROM "Import" ```

Le FROM permet de définir la zone de recherche, ici le répertoire Import et les sous répertoires.

Le résultat est un peu décevant : On a un premier champ qui reprend le nom de chaque nom. Pour le supprimer il faut taper les mots "WITHOUT ID" après TABLE :

```dataview TABLE WITHOUT ID Nom, Prenom, Login, Password, Domaine FROM "Import" ```

Cette fois-ci on a bien les résultats mais les uns après les autres. On va essayer de les trier par ordre de numéros de téléphones :

```dataview TABLE WITHOUT ID TPH,Nom, Prenom, Login, Password, Domaine FROM "Import" SORT TPH ASC ```

On a ajouté, le champ TPH qui correspond au téléphone et on a effectué un tri "SORT" sur ce numéro de téléphone de façon croissant (ASC). C'est déjà mieux mais on peut mieux faire en regroupant les résultats par téléphone (au lieu d'avoir 3 lignes). On va donc taper :

```dataview TABLE WITHOUT ID TPH,Nom, Prenom, Login, Password, Domaine FROM "Import" SORT TPH ASC GROUP BY TPH ```

Catastrophe ! on n'a plus aucun résultat... Sauf les numéro de téléphones. Il faut savoir quand on regroupe des notes (ici via le champ de metadonnées TPH), on créé un nouvel objet. Il s'agit d'une liste imbriquée de toutes les valeurs possibles d'un champ de métadonnées pour le critère de regroupement. Dans notre exercice, si on considère une valeur pour TPH, celui-ci est présent au maximum dans 3 notes (exemple avec le n° 0605294048) :

Le système va donc construire un tableau de 3 lignes avec les colonnes : TPH, Nom, Prenom, Login, Password et Domaine. Ainsi dans la colonne Nom on va avoir sur une ligne la métadonnée du fichier Personne-060005294048, donc le nom de la personne mais dans les autres lignes une valeur "null". Idem pour les autres champs :

L'objet "Nom" aura donc 3 valeurs possibles si on regroupe par numéro de téléphone. il faut donc demander d'afficher toutes les lignes (rows en anglais) de l'objet Nom ainsi que des autres objets.

```dataview TABLE WITHOUT ID TPH,rows.Nom, rows.Prenom, rows.Login, rows.Password, rows.Domaine FROM "Import" SORT TPH ASC GROUP BY TPH ```

Si vous ne voyez plus toutes les colonnes, c'est que vous êtes en mode édition. Passez en mode lecture (Ctrl+E) pour voir toutes les colonnes puis revenez en mode édition (Ctrl+E). Cette affichage vous permet de bien voir les lignes du tableau. Mais le nom des colonnes n'est plus très explicite on va utiliser le mot "AS" pour renommer correctement les libellés des colonnes.

```dataview TABLE WITHOUT ID TPH,rows.Nom AS Nom, rows.Prenom AS Prenom, rows.Login AS User, rows.Password AS MdP, rows.Domaine AS URL FROM "Import" SORT TPH ASC GROUP BY TPH ```

On y est presque...

Par contre on voudrait, qu'au lieu d'avoir 3 lignes, on ne trouve qu'une ligne et que les valeurs null matérialisées par le symbole "-" disparaissent. Pour ce dernier cas, il suffit d'aller dans les préférences du modules Dataview et de supprimer la valeur par défaut.

Pour regrouper les 3 lignes, il suffit d'utiliser la commande "JOIN" en spécifiant aucun séparateur "" :

```dataview TABLE WITHOUT ID TPH,join(rows.Nom,"") AS Nom,join(rows.Prenom,"") AS Prenom,join(rows.Login,"") AS User,join(rows.Password,"") AS MdP,join(rows.Domaine,"") AS URL FROM "Import" SORT TPH ASC GROUP BY TPH ```

YES ! on y est... Pas tout à fait, car là on a toutes les valeurs hors on veut filtrer de façon à n'avoir que les renseignements complets :

On va utiliser une clause WHERE. Comme on sait que pour avoir tous les renseignements, il faut qu'un numéro de téléphone soit présent dans 3 notes, c'est à dire que le "tableau" contienne 3 lignes par metadonnée. On va donc spécfier qu'il faut 3 lignes pour un champ :

Cette fois c'est bon...

Nous avons vu à travers cet exercice qu'une petite partie des possibilités du plugin Dataview et du langage DQL. Si vous ne vous sentez pas capable de créer des requêtes, il existe un petit utilitaire open source : https://s-blu.github.io/basic-dataview-query-builder/ Cet outil vous permettra à travers des questions (en anglais) de créer la bonne requête.

Bon maintenant, et pour répondre à notre 3ème challenge, il ne reste plus qu'à exporter le résultat... A l'aide d'un module complémentaire ! Nous allons utiliser Table to CSV Exporter. Une fois le plugin activé, il suffit de vous rendre sur la page RESULTAT que nous avons créée préalablement puis de faire CTRL+P afin d'ouvrir le panneau de commande puis de commencer à saisir : export...

Sélectionnez "Table to CSV Exporter..." et validez. Un petit popup vous signale qu'un fichier .csv a été créé dans le répertoire de votre Vault. Sous votre gestionnaire de fichier, récupérez le document que vous pouvez ensuite ouvrir :

On retrouve bien les données de notre note RESULTAT.

Comme annoncé, cela fait 2 ans que j'utilise Obsidian, mais pas réellement comme un logiciel de prise de notes mais plus comme un programme d'analyse de données. J'utilise plus facilement MarkText pour prendre des notes en markdown où je prends soin d'ajouter des métadonnées. Il est ensuite plus facile de structurer toutes ces notes dans obsidian. N'hésitez pas à laisser un commentaire pour décrire vos utilisations.

Mon Avis : Je dis souvent qu'Obsidian est devenu le Wordpress de la gestion de notes. En 2 ans le nombre de plugins ou modules complémentaires n'a fait que grandir. A l'heure où j'écris cet article plus de 600 sont disponibles. Tout comme wordpress, il devient difficile et chronophage de rechercher le meilleur module pour notre besoin (Je ne parle même pas des thèmes...). J'ai ainsi vu des jeux utilisant Obsidian comme moteur, ou encore un système de programmation comme Jupyter NoteBook. Ces nombreuses options, plugins et thèmes font que chacun a une utilisation personnelle de l'outil, c'est peut-être le succès de cette solution.

#obsidian #dataview #markdown #data analytics #data analysis

0 notes