SektörlerVeri İşleme
Veri İşleme
Verileri sistemler arasında taşımak, normalize etmek ve sorgulanabilir tutmak tekrarlayan, kurala dayalı bir iştir. İster tek seferlik bir geriye dönük doldurma ister zamanlanmış bir iş olsun bu böyledir. Bir akışın veritabanı ve tarayıcı düğümleri tam olarak bunu otomatikleştirmek için tasarlandı.
Nerede işe yarıyor
- Bir akış, bir kaynaktan okuyabilir ya da veri çekebilir, onu dönüştürebilir ve tek bir çalıştırmada bir veritabanına yazabilir. Böylece bir kişinin veriyi sistemler arasında elle kopyalaması gerekmez.
- Table, Elasticsearch ve RAG veritabanları üç farklı veri biçimini kapsar. Tipli satırlar, tam metin arama ve anlamsal erişim için her birine ayrı bir harici veritabanı kurmanıza gerek kalmaz.
- Bir akışı talep üzerine değil bir zamanlamayla tetikleyebilirsiniz. Böylece tekrarlayan bir veri çekme ya da senkronizasyon işi kimse müdahale etmeden çalışır.
Pratikte nasıl görünüyor
- Bir akış çalıştırması boyunca tek bir Chromium oturumunu canlı tutan bir BROWSER düğümü kullanabilirsiniz. Bir kez oturum açıp ardından birden fazla adımda gezinip veri çekebilir. SSRF'ye karşı güvenli URL işleme yerleşik olarak gelir.
- Çekilen ya da alınan veriyi bir Table veritabanına normalize etmek için bir DATABASE_WRITE düğümü kullanabilirsiniz. Ya da bu veriyi daha sonra erişim için bir Elasticsearch kümesine veya bir RAG veritabanına indeksleyen bir DATABASE düğümü kullanabilirsiniz.
- Yerleşik düğüm türlerinin kapsamadığı, korumalı alanda çalışan özel bir dönüştürme adımı için bir UTILITY düğümü kullanabilirsiniz. Yeniden biçimlendirme, yinelenenleri ayıklama ya da doğrulama gibi işler kilitli ve tek kullanımlık bir konteynerde çalışır.