-
开源ETL工具kettle系列之建立缓慢增长维
所属栏目：[大数据] 日期：2021-02-04 热度：121
摘要 本文主要介绍使用kettle 来建立一个Type 2的Slowly Changing Dimension 以及其中一些细节问题 Kettle 简介 Kettle 是一个强大的，元数据驱动的ETL工具被设计用来填补商业和IT之前的差距，将你公司的数据变成可增长的利润. 我们先来看看Kettle能做什么：[详细]
-
【R语言数据处理】一步一步来分析数据之不知哪位收集的淘宝推荐
所属栏目：[大数据] 日期：2021-02-03 热度：102
文件名：淘宝最全年货大促特价整理 数据我先传百度云了，分享一下，你们看了就知道是什么样子的了，我改了一下名字，文件名：tbtj.xls 360云盘：https://yunpan.cn/cMTiN2Lyk5MpK 访问密码 d2cc 百度云：http://pan.baidu.com/s/1hsBHuGO 我们先来看下里面是[详细]
-
DB、ETL、DW、OLAP、DM、BI关系结构图
所属栏目：[大数据] 日期：2021-02-03 热度：180
（1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到的就是当时的状态，至于之前的每天的状态，不会出现的你的[详细]
-
R语言-数据处理
所属栏目：[大数据] 日期：2021-02-03 热度：194
Reading Data 读取表格数据的函数read.table()以及read.csv() readLines()用于逐行读取文本文件 source()读取R代码的重要函数 dget()用来读取R代码文件 load()和unserialize()用于把二进制对象读入R Writing Data write.table() writeLines() dump() dput()[详细]
-
简单粗暴的“大数据“解决方案
所属栏目：[大数据] 日期：2021-02-03 热度：84
这里说“大数据”确实有点哗众取宠，但确确实实是解决一些大数据量的情况。比如常用的布隆过滤器(BloomFilter)、常用的文本相似比较算法SimHash等，这里介绍的都是看上去是简单粗暴的方法，但当你深入了解后你就会发现什么叫简约而不简单，掌握这些常用的手[详细]
-
连续属性离散化
所属栏目：[大数据] 日期：2021-02-03 热度：171
1. 离散化技术分类 连续属性的离散化方法也可以被称为分箱法，即将一组连续的值根据一定的规则分别放到其术语的集合中。 离散化技术可以根据如何对数据进行离散化加以分类，可以根据是否使用类信息或根据进行方向(即自顶向下或自底向上)分类。 如果离散化过[详细]
-
【重！磅！干！货
所属栏目：[大数据] 日期：2021-02-03 热度：152
查看之前文章请点击右上角 ， 关注 并且 查看历史消息 ，还可以在文章最后评论留言。谢谢您的支持！ 回复【 文本挖掘 】 或者 【 点击阅读原文 】 获取链接与代码附录 一、 功能概述 ? ? ? ?关键词词频网络图是以股票论坛、 个股新闻、研究报告三个网站作为[详细]
-
51Nod－1116－K进制下的大数
所属栏目：[大数据] 日期：2021-02-03 热度：149
ACM模版 描述 题解 这里我们通过样例可以发现 A1A 的数位和是21，刚好是 K-1 的倍数，所以我们不妨多举几组数据测试一下，发现竟然都符合这个规律(￣┰￣*)，那么AC就不远了。 可是这里需要强调的是，K的最小值，如果K清一色的都是从2开始枚举，那么不用想了[详细]
-
开源ETL工具kettle系列之常见问题
所属栏目：[大数据] 日期：2021-02-03 热度：156
摘要 本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案 问题 Join 我得到A 数据流（不管是基于文件或数据库），A包含field1,field2,field3 字段，然后我还有一个B数据流，B[详细]
-
开源ETL工具kettle系列之在应用程序中集成
所属栏目：[大数据] 日期：2021-02-03 热度：180
摘要 本文主要讨论如何在你自己的Java应用程序中集成Kettle 集成 如果你需要在自己的Java应用程序中集成Kettle,一般来说有两种应用需求，一种是通过纯设计器来设计ETL转换任务，然后保存成某种格式，比如xml或者在数据库中都可以，然后自己调用程序解析这个[详细]
-
开源ETL工具kettle系列之增量更新设计
所属栏目：[大数据] 日期：2021-02-03 热度：148
前言 ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup 步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论的是Kettle的实现方式，但也许对其他工具也[详细]
-
BI进行中，重新设计改造质检数据管理系统（图文）
所属栏目：[大数据] 日期：2021-02-02 热度：171
最近在做一个质检系统BI项目的过程中个，发现原有的系统设计有很大问题，数据特别混乱，主要问题有：指标设计结构不合理，将指标直接与产品关联，而且每个车间的产品都使用独立id加以区分，这样的后果就是有很多重复的产品和大量的指标，当在BI系统中对数据[详细]
-
51nod1030 大数进制转换
所属栏目：[大数据] 日期：2021-02-02 热度：115
题目描述 给出一个36进制的大数A(0-9,A-Z)，将其转为10进制并输出。 每一位用’0-9”,’A-Z’来表示，A的长度 = 100000) a进制数k转b进制问题 第一位(最低位)=k%b 第二位=k/b%b 第三位=k/b^2%b …… (这个应该是比较显然的) 然而A的长度 = 100000，太大了，[详细]
-
一位电商数据分析师的经验总结
所属栏目：[大数据] 日期：2021-02-02 热度：110
报道大数据企业： 大数据产品、大数据方案、 ? 大数据人物 分享大数据干货： 大数据书籍、大数据报告、 大数据视频 本文系大数据人精选自网络。欢迎更多优质原创文章投稿给大数据人：289585305@qq.com 08年毕业，不知不觉的混进了电子商务行业，又不知不觉的[详细]
-
HDU 5834 Magic boy Bi Luo with his excited tree (树形DP）
所属栏目：[大数据] 日期：2021-02-02 热度：146
这题很典型的树形dp可以看出来，但是要处理好所有的细节并不easy……至少对我来说是这样。 先dfs一遍处理出： dp[u][0]， 最后一次不回来最大， dp[u][1]，不回来次大， dp[u][2],回来； （以上都是在子树范围下）（想象一下，dp[u][i]是包含了其所有子树信[详细]
-
企业级大数据知识图谱产品构建与应用
所属栏目：[大数据] 日期：2021-02-02 热度：51
在企业级大数据领域，明略数据在过去几年服务客户的过程中，创造性地引入大数据+知识图谱的思路，开发了一款名为SCOPA的大数据知识图谱产品，并且在公安、金融等多个领域取得了良好的实践效果。本分享将系统地介绍SCOPA产品的设计理念、总体功能以及核心技术[详细]
-
里约之后，中国体育走向何方？|奥运权威大数据报告发布
所属栏目：[大数据] 日期：2021-02-02 热度：136
里约之后，变革开启。 从饱受质疑“最不靠谱的奥运”，到“一个新世界”被全球点赞，里约奥运给中国观众和中国体育带来太多的不同。 在中国，我们看到金牌文化降温，奥运人文崛起，运动员告别脸谱化，以及中国观众对非热门赛事和奥运娱乐性内容投入更多注意[详细]
-
【技术帝】扒一扒中国女排夺冠幕后数据分析师袁灵犀和数据分析软
所属栏目：[大数据] 日期：2021-02-02 热度：88
天善智能导读： 在今天的中国女排夺冠的团队中，大家意外发现一个以前很少注意到的职位- 数据分析师——袁灵犀 。 大家在好奇袁灵犀是谁？他作为数据分析师在中国排球队到底使用了什么样的数据分析软件？记录了什么样的数据，分析了什么？分析的结果是什么？[详细]
-
【Ligth-oj】-1370 - Bi-shoe and Phi-shoe（欧拉函数+素数打表
所属栏目：[大数据] 日期：2021-02-02 热度：167
1370 - Bi-shoe and Phi-shoe ??? PDF (English) Statistics Forum Time Limit:? 2 second(s) Memory Limit:? 32 MB Bamboo Pole-vault is a massively popular sport in Xzhiland. And Master Phi-shoe is a very popular coach for his success. He needs[详细]
-
数据处理之——dplyr
所属栏目：[大数据] 日期：2021-02-02 热度：194
dplyr 简介 关于 R 中的数据处理，上期我们介绍了 plyr ，这期我们接着介绍数据处理相关包 dplyr 。 dplyr 其实可以看做是 plyr 的升级版， dplyr 中的 d 指 dataframe ，它专注于做基于数据框的处理。如果你熟悉了 dplyr 的这一套处理函数，它将会大大提升[详细]
-
在sap bi的idt中添加oracle的jdbc驱动程序
所属栏目：[大数据] 日期：2021-02-02 热度：161
在使用sap BusinessObject BI的工具information design tool连接oracle数据库时，由于idt默认不带oracle的jdbc驱动程序，需要手工配置其驱动程序，具体步骤如下： 下载oracle的jdbc驱动程序。下载路径为：http://www.oracle.com/technetwork/database/enterp[详细]
-
关于《寻知图》后期功能演进之数据分析方向
所属栏目：[大数据] 日期：2021-02-01 热度：123
忘记是哪一周了。先找王姐聊了聊。她说可以根据学生成绩暂时划分为几段，按照不同的阶段给出对应的提示。 跟侯睿聊天的时候，他说根据 练习 视频 这两个指标打分，建立关联度，做矩阵相乘。这样就可以做出个性化的学习报告。以上远未达到 ?大数据 级别的运算[详细]
-
LightOJ 1370 Bi-shoe and Phi-shoe 欧拉函数
所属栏目：[大数据] 日期：2021-02-01 热度：50
相邻两个素数的欧拉函数值是区间内的最大值。 Bamboo Pole-vault is a massively popular sport in Xzhiland. And Master Phi-shoe is a very popular coach for his success. He needs some bamboos for his students,so he asked his assistant Bi-Shoe to[详细]
-
里约之后，中国体育走向何方?|奥运权威大数据报告发布
所属栏目：[大数据] 日期：2021-02-01 热度：141
作者：企鹅智酷 里约之后，变革开启。 从饱受质疑“最不靠谱的奥运”，到“一个新世界”被全球点赞，里约奥运给中国观众和中国体育带来太多的不同。 中国观众对奥运和体育的兴趣发生了哪些变化? 如何评估一届奥运会的价值? 体育与娱乐的结合会激发怎样的想象[详细]
-
VIJOS 1040大数乘法
所属栏目：[大数据] 日期：2021-02-01 热度：142
#include"string.h"#include"stdio.h"#include"iostream"using namespace std;typedef long long ll;int main(){ char a[20000+50],b[20000+5000]; ll res[30000]; while(scanf("%s%s",a,b)!=EOF) { int i,j,k,start; int lena=strlen(a); int lenb=strlen(b[详细]
