Kirill Zh · @kirill
204 followers · 957 posts · Server s.zholnay.name

Два подхода к Data Warehouse на 2-3 и 120 IT-ков:
- habr.com/ru/post/593809/
- habr.com/ru/company/mediascope

Мой стек позволяет обрабатывать тот же объем данных (11млрд/мес), что и компании 2, хоть и не так глубоко, но на серваке за $200/мес и $0 за ПО

- Витрина вместо BI: Zeppelin + R/Python
- Lake: file.gz + S3
- ETL: dataiku dss
- Процессинг: NiFi
- DB: clickhouse
- Doc/беcсхемное: ArangoDB
- Агрегация разных баз: Trino?

#dwh #bigdata #datalake #prestodb #trino #clickhouse #disworks

Last updated 3 years ago