MaxCompute重装上阵,我们在谈论什么

2019-10-25 15:51栏目:互联网
TAG:

原标题:遭实名举报也要做放心借,今日头条IPO前的天花板之痛

原标题:MaxCompute重装上阵 第五弹 - SELECT TRANSFOR

原标题:当我们谈论区块链安全时,我们在谈论什么?

近日,今日头条又遇到麻烦。自媒体凌建平向国家相关部门实名举报,举报今日头条金融类业务没买票就上车,缺乏法定的牌照,而且今日头条还金融类服务还涉嫌获取用户通讯录等隐私。

摘要: MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

宇宙就是一座黑暗森林,每个文明都是带枪的猎人,像幽灵般潜行于林间,轻轻拨开挡路的树枝,竭力不让脚步发出一点儿声音,连呼吸都必须小心翼翼,他必须小心,因为林中到处都有与他一样潜行的猎人,如果他发现了别的生命,能做的只有一件事,开枪消灭之。——《三体》

据媒体报道,凌建平先是先北京市金融管理局局长信箱写去了邮件举报,然后又公开发表文章,试图引起银保监会的注意。

MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

图片 1

图片 2

MaxCompute基于ODPS2.0新一代的SQL引擎,显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxCompute(ODPS2.0)重装上阵系列文章

当我们谈论“区块链安全”的时候,我们到底在谈论什么?

不过,举报归举报,今日头条并未对被举报的放心借业务做下架处理,而是继续放在APP中我行我素。只要你登录今日头条打开我的钱包,放心借业务就赫然在线。

第一弹 - 善用MaxCompute编译器的错误和警告

去中心化、不可篡改,这些堂而皇之的名词从每一个人的嘴中蹦出来,仿佛区块链的安全性是不证自明的真理;自诩学识渊博者还会搬出“茴”字的四种写法,从SHA到ECC,听者无不叹服。区块链仿佛从诞生的一刻起就被视为固若金汤的良药。然而现实是残酷的,无论是比特币还是以太坊,黑客的身影无处不在,数字货币被盗的新闻屡见报端。

通常来说,金融类业务对互联网公司是比较敏感的业务,在如今大量互联网金融公司跑路或者暴雷,国家加强监管之际,这个敏感性就特别突出。

第二弹 - 新的基本数据类型与内建函数

区块链系统的安全性并不单取决于区块链算法本身,从代码实现到合约逻辑,再到配套设施,当区块链技术从白皮书中走出来,落地生根成为现实中的技术时,要面临的问题就多得多。而根据木桶理论,一只木桶能盛多少水,并不取决于最长的那块木板,而是取决于最短的那块木板。

而今日头条宁可被举报也要做比较敏感的贷款业务,而且从其涉及的业务内容看,还与无场景现金贷业务类似,颇有些不怕风险的意思。那么今日头条为何要强上金融类业务呢?在这背后隐藏着什么呢?

第三弹 - 复杂类型

密码!密码!

一、今日头条为何涉足现金贷

第四弹 - CTE,VALUES,SEMIJOIN

在区块链的世界里,每一个人的身份都不过是一段数字,密码学上称之为密钥,一旦有人获取了你的密钥,他就可以冒充你的身份从事任何事情,包括花光你的每一分钱。

关于今日头条的放心借业务,在被举报后,各方媒体跟进,讨论已经很多。

上次向您介绍了CTE,VALUES,SEMIJOIN,本篇向您介绍MaxCompute对其他脚本语言的支持

密钥的安全性如何呢?以ECDSA算法为例,每一个密钥由256位01组成,要是随机猜测的话,猜对的概率只有1/115792089237316266660066408626602828282606886466848266086008062602462446642046,大概是1/1077。

媒体报道称,记者致电北京市金融局获悉,“涉及到金融业务的环节,原则上,是应该得去审批备案相关互联网金融牌照。“

  • SELECT TRANSFORM。

  • 场景1

  • 我的系统要迁移到MaxCompute平台上,系统中原来有很多功能是使用脚本来完成的,包括python,shell,ruby等脚本。 要迁移到MaxCompute上,我需要把这些脚本全部都改造成UDF/UDAF/UDTF。改造过程不仅需要耗费时间人力,还需要做一遍又一遍的测试,从而保证改造成的udf和原来的脚本在逻辑上是等价的。我希望能有更简单的迁移方式。
  • 场景2
  • SQL比较擅长的是集合操作,而我需要做的事情要对一条数据做更多的精细的计算,现有的内置函数不能方便的实现我想要的功能,而UDF的框架不够灵活,并且Java/Python我都不太熟悉。相比之下我更擅长写脚本。我就希望能够写一个脚本,数据全都输入到我的脚本里来,我自己来做各种计算,然后把结果输出。而MaxCompute平台就负责帮我把数据做好切分,让我的脚本能够分布式执行,负责数据的输入表和输出表的管理,负责JOIN,UNION等关系操作就好了。

根据估算,地球大约由1050个原子组成,而整个宇宙不过由1080个原子组成而已,猜中密钥的概率和猜测宇宙中的一个原子的概率相差无几。

从业务本身看,今日头条做的放心借实质上是一种日结的现金贷业务,今日头条在其中的角色目前还没有权威消息确认(有媒体采访合作金融机构,未获得明确答复。)

上述功能可以使用SELECT TRANSFORM来实现

不过在区块链中,仅仅有密钥是不够的,为了能够实现账户之间相互转账,还需要根据密钥生成公钥和钱包地址,上面所说的ECDSA就是从密钥生成公钥的算法。公钥,顾名思义,在向外转账时会被公开,那从公钥推理出私钥又有多难呢?

因为今日头条涉足金融类业务并没有相关的牌照许可,这里就有一个矛盾。

SELECT TRANSFORM 介绍

如果算法的实现不出纰漏的话,即便是最有效的攻击方法,其难度依然是指数级的。

这个金融业务如果今日头条涉及自营,那么它是无证经营。

此文中采用MaxCompute Studio作展示,首先,安装MaxCompute Studio,导入测试MaxCompute项目,创建工程,建立一个新的MaxCompute脚本文件, 如下

但是,这并不意味着我们可以高枕无忧了。2014年底爆发了一批网络钱包失窃案件,究其原因,就是在随机数生成器的实现没有真正“随机”。如今,量子计算机的崛起带来了新的挑战,如果数千比特位量子计算机一旦问世,包括ECC在内的诸多算法都可能沦为虚设。

如果它只是居间服务,真正与消费者签约的其他有金融许可证的机构,那么它自称的今日头条旗下贷款平台就涉嫌虚假宣传。

图片 3

51%

而且从业务形式看,放心借类似于无场景现金贷,这与国家”暂停发放无特定场景依托、无指定用途的网络小额贷款,逐步压缩存量业务,限期完成整改。”的精神违背。

提交作业可以看到执行计划(全部展开后的视图):

丘吉尔说,民主并不是什么好东西,但它是我们迄今为止所能找到的最好的。

放心借宣传的是日利率,这也与《关于规范整顿“现金贷”业务的通知》各类机构向借款人收取的综合资金成本应统一折算为年化形式违背。

图片 4

区块链的世界里也是如此,谁掌握了51%的话语权,谁就可以肆意更改自己的交易记录,发动“双花”攻击。不同的共识机制对于话语权的定义有所不同,在PoW中为算力,而在PoS中则是持有Token的数量。

做这么敏感,又有争议的业务,被实名举报依然不下架,今日头条为何这么倔强呢?

Select transform允许sql用户指定在服务器上执行一句shell命令,将上游数据各字段用tab分隔,每条记录一行,逐行输入shell命令的stdin,并从stdout读取数据作为输出,送到下游。Shell命令的本质是调用Unix的一些utility,因此可以启动其他的脚本解释器。包括python,java,php,awk,ruby等。

51%攻击绝不是天方夜谭。以比特币为例,随着金钱的腥味吸引了无数科技厂家入场,挖矿变成了职业玩家的战场,排名前三的矿场垄断了全网接近半的算力。在Crypto51的网站上,我们可以找到对各种数字货币发起51%攻击所需要的成本,对价值3.5亿美元的Bytecoin发动一个小时算力攻击,成本仅需要257美元,这些数字并没有想象中的遥不可及。

答案很简单,利益。

该命令兼容Hive的Transform功能,可以参考Hive的文档。一些需要注意的点如下:

图片 5

今日头条目前的的用户数量已经很多,它的几个产品加起来有过亿的用户。但是今日头条的主要收入来源还是广告。

  1. Using 子句指定的是要执行的命令,而非资源列表,这一点和大多数的MaxCompute SQL语法不一样,这么做是为了和hive的语法保持兼容。

  2. 输入从stdin传入,输出从stdout传出;

  3. 可以配置分隔符,默认使用 t 分隔列,用换行分隔行;

  4. 可以自定义reader/writer,但用内置的reader/writer会快很多

  5. 使用自定义的资源(脚本文件,数据文件等),可以使用 set odps.sql.session.resources=foo.sh,bar.txt; 来指定。可以指定多个resource文件,用逗号隔开(因此不允许resource名字中包含逗号和分号)。此外我们还提供了resources子句,可以在using 子句后面指定 resources 'foo.sh', 'bar.txt' 来指定资源,两种方式是等价的(参考“用odps跑测试”的例子);

来源:

版权声明:本文由新金沙平台唯一官网发布于互联网,转载请注明出处:MaxCompute重装上阵,我们在谈论什么