Gestion des données
Et si nous pouvions facilement et massivement recueillir des informations mesurables sur le monde ? C’est la promesse de chaque solution connectée. Mais pour pouvoir extraire une valeur métier et formuler des réactions concrètes à partir de toutes les informations collectées, il est essentiel de porter une attention particulière à la conception du modèle de données. Passons en revue les principales questions auxquelles il faut répondre.
Les différents types de données
Certaines télémétries appartiennent souvent à la catégorie des métriques bien connues dans le monde de l’IoT. Les capteurs classiques présents sur de nombreux objets permettent de mesurer l’environnement direct d’un dispositif connecté : conditions météo (température, pression atmosphérique, humidité, vitesse du vent), position dans l’espace (accéléromètre, gyroscope, coordonnées GNSS) ou valeurs internes (niveau de batterie, consommation électrique, espace de stockage).
Lorsqu’un dispositif est équipé d’actionneurs (boutons, leviers ou écran), il peut transmettre des traces de l’interaction humaine. Au-delà des données numériques, certains dispositifs — comme les caméras de surveillance — peuvent diffuser des flux volumineux.
Pour les appareils configurables, une méthode courante consiste à lier leurs paramètres à un jumeau numérique (digital twin). Afin de refléter les propriétés souhaitées définies par un administrateur, le dispositif doit renvoyer ce qu’il a appliqué sous forme de reported properties. Ce type de trafic est moins verbeux.
De plus, lors des sessions de débogage, un opérateur à distance souhaite récupérer des entrées de journaux (log entries) ou des données techniques non destinées aux utilisateurs finaux. Le dispositif ciblé doit alors répondre correctement à ces commandes à la volée.
À partir de ces premières observations, la taille et la fréquence d’émission des données vont déterminer un ensemble de contraintes à confronter à la technologie de connectivité choisie. Certains schémas de collecte ne seront pas réalisables sur un réseau limité avec une bande passante restreinte. Le format de la charge utile et la compression associée peuvent atténuer partiellement ces limitations : par exemple, au lieu de répéter plusieurs fois un même horodatage d’émission, il est souvent possible de l’énumérer une seule fois.
La sécurité du canal de communication ne doit pas être négligée. De nombreuses garanties sont étroitement liées au schéma de chiffrement choisi : confidentialité des échanges, authenticité des émetteurs et des récepteurs, etc.
La gestion du temps est centrale
La fraîcheur des données peut être cruciale pour certaines catégories de dispositifs, tandis qu’elle est totalement négligeable pour d’autres. Dès lors, cela vaut-il la peine d’envoyer des données déjà obsolètes avant les plus récentes si une historisation exhaustive n’est pas nécessaire ? Ce type de question a un impact direct sur la stratégie de mise en cache des dispositifs.
Un appareil peut également fonctionner selon plusieurs modes et basculer entre eux au cours de sa vie : en mode veille (silencieux) lorsqu’il est encore en usine, en mode de surveillance passive lors d’une utilisation normale, ou en mode actif avec un volume élevé de collecte et d’émission de données, par exemple en cas d’urgence.
Lorsqu’on prend du recul à l’échelle de toute la flotte, la notion de priorité prend une nouvelle dimension. Si un sous-ensemble de dispositifs requiert une attention particulière pendant une période donnée, la plateforme doit être capable d’ingérer en priorité leurs télémétries et limiter l’engorgement du flux d’ingestion classique pendant le traitement.
Lorsqu’un dispositif est équipé d’actionneurs (boutons, leviers ou écran), il peut transmettre des traces de l’interaction humaine. Au-delà des données numériques, certains dispositifs — comme les caméras de surveillance — peuvent diffuser des flux volumineux.
Pour les appareils configurables, une méthode courante consiste à lier leurs paramètres à un jumeau numérique (digital twin). Afin de refléter les propriétés souhaitées définies par un administrateur, le dispositif doit renvoyer ce qu’il a appliqué sous forme de reported properties. Ce type de trafic est moins verbeux.
De plus, lors des sessions de débogage, un opérateur à distance souhaite récupérer des entrées de journaux (log entries) ou des données techniques non destinées aux utilisateurs finaux. Le dispositif ciblé doit alors répondre correctement à ces commandes à la volée.
À partir de ces premières observations, la taille et la fréquence d’émission des données vont déterminer un ensemble de contraintes à confronter à la technologie de connectivité choisie. Certains schémas de collecte ne seront pas réalisables sur un réseau limité avec une bande passante restreinte. Le format de la charge utile et la compression associée peuvent atténuer partiellement ces limitations : par exemple, au lieu de répéter plusieurs fois un même horodatage d’émission, il est souvent possible de l’énumérer une seule fois.
La sécurité du canal de communication ne doit pas être négligée. De nombreuses garanties sont étroitement liées au schéma de chiffrement choisi : confidentialité des échanges, authenticité des émetteurs et des récepteurs, etc.
La gestion du temps est centrale
La fraîcheur des données peut être cruciale pour certaines catégories de dispositifs, tandis qu’elle est totalement négligeable pour d’autres. Dès lors, cela vaut-il la peine d’envoyer des données déjà obsolètes avant les plus récentes si une historisation exhaustive n’est pas nécessaire ? Ce type de question a un impact direct sur la stratégie de mise en cache des dispositifs.
Un appareil peut également fonctionner selon plusieurs modes et basculer entre eux au cours de sa vie : en mode veille (silencieux) lorsqu’il est encore en usine, en mode de surveillance passive lors d’une utilisation normale, ou en mode actif avec un volume élevé de collecte et d’émission de données, par exemple en cas d’urgence.
Lorsqu’on prend du recul à l’échelle de toute la flotte, la notion de priorité prend une nouvelle dimension. Si un sous-ensemble de dispositifs requiert une attention particulière pendant une période donnée, la plateforme doit être capable d’ingérer en priorité leurs télémétries et limiter l’engorgement du flux d’ingestion classique pendant le traitement.
Les principaux défis de la gestion des données
Pipelines d’ingestion
Diverses stratégies peuvent être mises en place pour relier les microservices tout au long du processus. Faut-il privilégier un modèle Extract, Transform, Load (ETL), où la validation et la calibration des données ont lieu dès le départ, ou opter pour un modèle Extract, Load, Transform (ELT), avec accumulation rapide des données brutes dans des data lakes ?
Dans un premier temps, les données peuvent nécessiter un décodage selon le protocole et le format utilisés au niveau réseau. Ensuite, une étape de nettoyage des valeurs non conformes ou corrompues peut être couplée à une phase de normalisation, afin d’assurer la compatibilité ascendante et descendante entre plusieurs générations de dispositifs.
Dans un premier temps, les données peuvent nécessiter un décodage selon le protocole et le format utilisés au niveau réseau. Ensuite, une étape de nettoyage des valeurs non conformes ou corrompues peut être couplée à une phase de normalisation, afin d’assurer la compatibilité ascendante et descendante entre plusieurs générations de dispositifs.
Durée de vie des données
Combien de temps les données doivent-elles rester dans le système avant d’être déplacées ou supprimées ?
Cette question a des répercussions sur les tactiques d’agrégation et de compactage. La notion de time-to-live et la vitesse à laquelle les différentes typologies d’information doivent être accessibles influencent le choix entre stockage froid et stockage chaud. Le stockage froid convient parfaitement pour archiver des données déjà traitées, moins utiles pour les opérations quotidiennes. À l’inverse, une base de données rapide ou une couche de cache est indispensable pour fournir des réponses basées sur des données récentes. Cela a un impact direct sur les coûts.
À noter que, dans certains secteurs, la législation peut trancher sur ces choix.
Cette question a des répercussions sur les tactiques d’agrégation et de compactage. La notion de time-to-live et la vitesse à laquelle les différentes typologies d’information doivent être accessibles influencent le choix entre stockage froid et stockage chaud. Le stockage froid convient parfaitement pour archiver des données déjà traitées, moins utiles pour les opérations quotidiennes. À l’inverse, une base de données rapide ou une couche de cache est indispensable pour fournir des réponses basées sur des données récentes. Cela a un impact direct sur les coûts.
À noter que, dans certains secteurs, la législation peut trancher sur ces choix.
Générer de la valeur commerciale grâce à la gestion des données
Pour la surveillance passive, les tableaux de bord donnant accès aux tableaux, histogrammes et graphiques doivent être à la fois efficaces et pertinents. Si la visualisation choisie soulève plus de questions qu’elle n’en résout, car elle n’est pas adaptée au type de données observées, alors l’objectif n’est pas atteint.
Applications front-end
Pour fournir le bon niveau d’intelligence, les besoins de ces applications front-end doivent être pris en charge par des services back-end qui régulent l’accès aux données (via des API REST, des points de terminaison GraphQL, etc.). Ces serveurs doivent eux-mêmes récupérer les valeurs depuis les couches de stockage.
Type de base de données
Ainsi, pour optimiser l’efficacité des requêtes, il est essentiel de mettre en place le type de base de données approprié, généralement orientée colonnes ou de type séries temporelles. Le partitionnement et le sharding doivent permettre à la fois de fournir des métriques utiles au niveau global (fleet) et de cibler rapidement des appareils spécifiques.
Alertes système
Dans le cas d’une surveillance active, il est crucial de recevoir un retour quasi-instantané afin de pouvoir réagir aux alertes du système. Là encore, la notion de priorité est essentielle. Le support de diffusion final (emails, notifications) dépend de la criticité de l’alerte et du niveau de responsabilité des administrateurs au sein de l’organisation.
SUCCESS STORY
Gérer les données des vannes IoT de Velan
Velan avait besoin d’un accompagnement pour développer des vannes IoT connectées destinées à l’industrie de l’énergie nucléaire. Ces vannes doivent fournir aux clients une télémétrie fiable et actualisée. Pour rendre cela possible, les données provenant des capteurs internes des vannes devaient être migrées en temps réel vers un tableau de bord web personnalisé, de manière sécurisée et accessible.
Witekio vous accompagne dans la gestion des données de vos appareils
Witekio simplifie la gestion des données des appareils connectés, permettant aux entreprises de capturer, analyser et exploiter efficacement les données issues de leurs dispositifs. De la collecte de télémétrie à l’ingestion sécurisée des données, Witekio garantit la transmission d’informations exploitables en concevant des modèles de données robustes, adaptés à vos besoins. Notre expertise couvre le choix des protocoles, l’optimisation du stockage des données et la réactivité en temps réel, pour une intégration fluide entre la télémétrie et l’intelligence métier. Avec Witekio, transformez vos données brutes en informations stratégiques pour une prise de décision éclairée et une réactivité accrue.
Notre expertise IoT
Votre partenaire de confiance en logiciel embarqué, application et connectivité
4 pays
Certifies ISO 27001
