#dwh #bigdata #datalake #prestodb #trino #clickhouse #disworks #bigdata
Два подхода к Data Warehouse на 2-3 и 120 IT-ков:
- https://habr.com/ru/post/593809/
- https://habr.com/ru/company/mediascope/blog/593685/
Мой стек позволяет обрабатывать тот же объем данных (11млрд/мес), что и компании 2, хоть и не так глубоко, но на серваке за $200/мес и $0 за ПО
- Витрина вместо BI: Zeppelin + R/Python
- Lake: file.gz + S3
- ETL: dataiku dss
- Процессинг: NiFi
- DB: clickhouse
- Doc/беcсхемное: ArangoDB
- Агрегация разных баз: Trino?
#dwh #bigdata #datalake #prestodb #trino #clickhouse #disworks