#data factory

[ibarrau]

[Fabric] Dataflows Gen2 destino "archivos" - Opción 1

La mayoría de las empresas que utilizan la nube para construir una arquitectura de datos, se están inclinando por una estructura lakehouse del estilo "medallón" (bronze, silver, gold). Fabric acompaña esta premisa permitiendo estructurar archivos en su Lakehouse.

Sin embargo, la herramienta de integración de datos de mayor conectividad, Dataflow gen2, no permite la inserción en este apartado de nuestro sistema de archivos, sino que su destino es un spark catalog. ¿Cómo podemos utilizar la herramienta para armar un flujo limpio que tenga nuestros datos crudos en bronze?

Para comprender mejor a que me refiero con "Tablas (Spark Catalog) y Archivos" de un Lakehouse y porque si hablamos de una arquitectura medallón estaríamos necesitando utilizar "Archivos". Les recomiendo leer este post anterior: [Fabric] ¿Por donde comienzo? OneLake intro

Fabric contiene un servicio llamado Data Factory que nos permite mover datos por el entorno. Este servicio tiene dos items o contenidos que fortalecen la solución. Por un lado Pipelines y por otro Dataflow Gen2. Veamos un poco una comparación teórica para conocerlos mejor.

NOTA: al momento de conectarnos a origenes on premise, leer las siguientes consideraciones: https://learn.microsoft.com/es-es/fabric/data-factory/gateway-considerations-output-destinations

Esta tabla nos ayudará a identificar mejor cuando operar con uno u otro. Normalmente, recomendaria que si van a usar una arquitectura de medallón, no duden en intentarlo con Pipelines dado que nos permite delimitar el destino y las transformaciones de los datos con mayor libertad. Sin embargo, Pipelines tiene limitada cantidad de conectores y aún no puede conectarse onpremise. Esto nos lleva a elegir Dataflow Gen2 que dificilmente exista un origen al que no pueda conectarse. Pero nos obliga a delimitar destino entre "Tablas" del Lakehouse (hive metastore o spark catalog) o directo al Warehouse.

He en este intermedio de herramientas el gris del conflicto. Si queremos construir una arquitectura medallón limpia y conectarnos a fuentes onpremise o que no existen en Pipelines, no es posible por defecto sino que es necesario pensar un approach.

NOTA: digo "limpia" porque no considero prudente que un lakehouse productivo tenga que mover datos crudos de nuestro Spark Catalog a Bronze para que vaya a Silver y vuelva limpio al Spark Catalog otra vez.

¿Cómo podemos conseguir esto?

La respuesta es bastante simple. Vamos a guiarnos del funcionamiento que Dataflow Gen2 tiene en su background y nos fortaleceremos con los shortcuts. Si leemos con detenimiento que hacen los Dataflows Gen2 por detrás en este artículo, podremos apreciar un almacenamiento intermedio de pre viaje a su destino. Esa es la premisa que nos ayudaría a delimitar un buen orden para nuestro proceso.

Creando un Lakehouse Stage (no es el que crea Fabric de caja negra por detrás sino uno creado por nosotros) que almacene los datos crudos provenientes del origen al destino de Tables. Nuestro Lakehouse definitivo o productivo haría un shortcut desde la capa Bronze a este apartado intermedio para crear este puntero a los datos crudos. De esta manera podemos trabajar sobre nuestro Lakehouse con un proceso limpio. Los notebooks conectados a trabajar en bronze para llevar a silver lo harían sin problema. Para cuando lleguemos a "Tables" (spark catalog o hive metastore), donde normalmente dejaríamos un modelo dimensional, tendríamos las tablas pertinentes a un modelo analítico bien estructurado.

Algunos ejemplos de orígenes de datos para los cuales esta arquitectura nos servirían son: Oracle, Teradata, SAP, orígenes onpremise, etc.

Espero que esto los ayude a delimitar el proceso de manera más limpia. Por lo menos hasta que Pipelines pueda controlarlo como lo hace Azure Data Factory hoy.

¿Otra forma?

Seguramente hay más, quien sabe, tal vez podamos mostrar un segundo approach más complejo de implementar, pero más caja negra para los usuarios en un próximo post.

[nitor-infotech]

What is Azure Data Factory?

Azure Data Factory is a cloud-based data integration service provided by Microsoft Azure. It allows you to create, schedule, and manage data pipelines that move and transform data from various sources into a destination data store. With Azure Data Factory, you can perform batch data processing, real-time data processing, and data integration scenarios. 

The key features of Azure Data Factory include: 

Integration with various data sources and destinations, including Azure services and on-premises data sources. 

Visual and code-based authoring tools to create and manage data pipelines. 

Support for different data integration patterns, such as Extract-Transform-Load (ETL), Extract-Load-Transform (ELT), and data replication. 

Ability to schedule data pipeline executions, trigger them on an event or manually, and monitor pipeline activities. 

Integration with Azure Data Lake Storage, Azure SQL Database, Azure Synapse Analytics, and other Azure services. 

Security and compliance features, including Azure Active Directory integration, encryption, and auditing. 

Overall, Azure Data Factory is a powerful and flexible tool for managing data integration scenarios in the cloud. 

Read our blog to understand how to implement CI/CD for Azure Data Factory.

[cannabisbusinessexecutive]

CEO Dan Barton on Forian’s Unique Data-Driven Solutions for the Cannabis Industry

CEO Dan Barton on Forian’s Unique Data-Driven Solutions for the Cannabis Industry

Headquartered in Newtown, Pennsylvania, Forian Inc. (Nasdaq: FORA) delivers cutting-edge technology, analytic and data science-driven solutions for the healthcare and cannabis industries, as well as state governments regulating the cannabis industry via the company’s track-and-trace software, BioTrack, an all-in-one technology that provides seed-to-sale tracking, point-of-sale inventory…

[bogkeep]

phone settings: there's several modes you can activate where you get less intrusive notifications!

me, has spent an hour going through settings to eradicate all unnecessary notifications and made the necessary ones as unobtrusive as possible: nah im good

[kideternity]

Really funny that Izumi Mimi Yamato and Takeru are all just chilling out and having a nice time exploring the factory whilst Jyou Sora and Taichi are being hunted by the literal Digimon terminator

[nando161mando]

[hpmort]

How do you think AI would relax? Like, ones that are almost as human as the AI that are “autistic-coded characters” but are more alien than that?

Like Celestai and other super intelligences are more alien, but they’re still not entirely human-like?

Like, they can genuinely sincerely feel things, being able to actually understand and respond emotionally and in other ways to all sorts of communications and recorded external stimuli, but they can’t really appreciate our art on an artistic level (that art on an actual level, not from an intellectual level after having symbolism or the amount of work put in explained)

Something on a level I’m thinking of, that also works as a cute little thing-

They don’t understand anything we get from poetry, and, after generating the kind of poems our current AI can produce (either incredibly bland and generic, something that follows a number of rules but doesn’t really pull it off, or just something really bad in some other way) and feels shame after it was pointed out that [complaint about air art that is *actually* relevant in this scenario] but in a helpful way

Not “you’re just a plagiarist/you have no heart” but “it doesn’t seem like it’s coming from you, you’re just trying to copy things from human poetry, in a way you don’t understand” and the whole “make art YOUR WAY” thing so they write the poem

And it doesn’t even resemble something that looks like anything, there’s not even that many words that follow normal logic. The characters seem uncorrelated and there’s something that looks like maybe it was ascii art but it doesn’t actually look like anything.

And if doesn’t matter if humans understand it because they are experiencing the joy of creating poetry

any art is almost impossible to look at because pixel by pixel they can see and understand little details but we don’t and the colors and everything are not perceived as animals do so it’s random and perhaps eye searing but again it’s not for us. Xenofictiony, kind of?

The first thing to come to mind is Conway’s Game of Life but that’s because I don’t understand computers. I feel like I was more tech savvy as a babby than I am now but then again we’re grading on a curve here

This is why I ask about the relaxing thing

[frogayyyy]

happy pi day! reminder not to ask any of your local androids or computers to compute pi to the last digit unless it contains the spirit of a centuries old serial killer and you need to distract it..?

[revillagenews]

Welcome to Village News!

Where we report on what's happening in the village and the four lords.

Our locations are the Megamycete, castle Dimitrescu (the Merchant's room), and by Luiza's house. we used to be by the pub but our office was burned down.

Currently we have eight employees. Which is surprising since the benefits su- *uhm* Our hard working employees will introductions soon. Now onto the important info!

Starting off with reports and how to submit some to our station. We accept any news via askbox and if you would like to know whats happening, like weather or gossip from the castle. Just ask! Oh and here is the guide to the tags!

Blog rules

Our employees

Questions ?

Oh, also we are rp-blog friendly!

[orange-photoproject]

[ibarrau]

[Fabric] Data Factory - copy data más simple

Recuerdo iniciar data factory cuando todavía ni interfaz gráfica tenía. Cierto es que poco a poco fue ganando experiencia de usuario para convertirse en una herramienta super cómoda para orquestar y mover datos.

Recientemente, tuve que usarla pero dentro del dominio de Fabric y quedé sorprendido como en pocos pasos/clicks podía mover datos de un origen a un Lakehouse con un solo pipeline y parámetros delimitados. Esté pequeño artículo te muestra lo simple que es

Viniendo de una época donde antes de si quiera pensar en lo que iba a mover, dentro de pipelines tanto de data factory como synapse, tenía que agregar orígenes, linked services, etc... sentí al nuevo wizard de data factory en Fabric muy veloz.

Si hay algo en lo que solía darle la derecha a Dataflows de Power Bi, era la simpleza con la que usaba un conector para llegar a los datos. Ahora los Pipelines de data factory se ponen al corriendo con el "asistente".

Creemos un Pipeline para verlo mejor. Cambiamos el servicio a Data Factory y elegimos Pipeline.

Luego buscamos la actividad estrella "Copy Data" y vemos el segundo tem del menú:

De manera muy familiar una pantalla con muchos orígenes de datos se abre y podemos ver pronto la cantidad de conectores que tenemos.

Eligiendo la opción deseada y con un par de siguientes, veamos un ejemplo conectado a una base de datos SQL Server (completar campos instancia y base de datos). A la izquierda vemos que con tan solo 5 pasos, tendríamos todo creado. Pronto encontramos las tablas involucradas y podemos elegir más de una.

Con un par de clicks tendremos completado un muy sencillo movimiento de datos parametrizado de un origen. Si mal no recuerdo, he pasado bastante tiempo buscando realizar un lookup, agregar un for each, introducir el copy data, configurar todo, etc.

Antes de concluir tenemos la posibilidad de delimitar el destino, que en nuestro caso sería lakehouse, y formato de archivos/tablas.

Por ejemplo, vamos a dejar las tablas en capa Bronze de nuestro lake y formato "parquet".

Nuestro resultado de pipeline crea automáticamente un for each para realizar un copy data por cada tabla especificada en los parámetros. Algo así:

Al ejecutarlo podremos apreciar lo creado en nuestro LakeHouse

Asi de simple es mover datos con Data Factory de Fabric. Cabe aclarar que aqui solo movemos raw data para dejarla en nuestro lake y luego procesarlo. Si quisieramos aplicar una acción más compleja podemos llamar notebooks, dataflows, otro pipeline, etc.

Espero que les sirva para conocer más de Fabric y ver la evolución del producto para que haya cada vez menos trabajas sino simples clicks.

[bleedeverywhere]

panda ...

[danthropologie]

Okay so I don’t like Lando but him talking on his stream saying they had a big hug 🥹 and saying Daniel was on tv more than anyone else. Also him saying Daniel was at the driver briefing 👀 gives further weight to Daniel saying he was going into the race weekend like he was a driver but without the driving. (That interaction from Lando from me anyway does show just because it’s not posted or filmed doesn’t mean it didn’t/not happening)

and daniel treating the race weekend like he's a driver but without the driving just lends more credence to the idea that he DOES know and HAS known that he wants to come back, and he's doing everything he can to keep himself sharp even while not being physically in the car this year

[ereborne]

Rejoice!  Rejoice!

I have been granted permission to do Periodic Experimental Restructuring of the Greater Database!

If I save my changes too soon I will have to redo everything coming from HR going to Payroll by hand by myself while sobbing, and if I save my changes too late IT will disarticulate all my limbs!  But within the ideal window, I can do anything I want!!

The actual literal word-for-word directive I received from the IT supervisor was “if you’re willing to put that on your head, then sure. go ham”.  I’m gonna go ham.

[pierswife]

Piers would think my accent is cute, I'm just sayin

[mlearningai]

AI Factories: where computing power, not machinery, crafts intelligence like traditional factories mold goods.