资讯
2018 年的 5 个人工智能趋势
在 2018 年人工智能会有什么进展? 下面是我们观察到的: 期待机器学习在方法理解和教育方面会取得实质性的进展; 在硬件方面的进步和更低的花费, 将会带来更好的数据收集和更快的深度学习; 我们会看到更多的自动化应用案例; 人工智能社区将继续解决对于人工智能在隐私伦理道德和责任方面的担忧
TensorFlow 1.6.0 版本发布
TensorFlow 1.6.0-rc0 发布了, TensorFlow 是谷歌的第二代机器学习系统, 按照谷歌所说, 在某些基准测试中, TensorFlow 的表现比第一代的 DistBelief 快了 2 倍
Python 3.7 有何新亮点 ?
Python 3.7 增添了众多新的类, 可用于数据处理针对脚本编译和垃圾收集的优化以及更快的异步 I/OPython 这种语言旨在使复杂任务变得简单, 最新版本 Python 3.7 已正式进入测试版发布阶段 Python 3.7 的最终版定于 2018 年 6 月发布, 但此后不会为 Python 3.7 版本添加任何新功能
技术
YARN 中的 CPU 资源隔离 - CGroups
CGroups(Control Groups)是 Linux 内核的一个资源隔离功能, 限制 / 隔离 / 统计进程的资源使用, 包括 CPU / 内存 / 磁盘 IO / 网络等资源 YARN 中也集成了 CGroups 的功能, 使得 NodeManger 可以对 container 的 CPU 的资源使用进行控制, 比如可以对单个 container 的 CPU 使用进行控制, 也可以对 NodeManger 管理的总 CPU 进行控制
美团点评基于 Storm 的实时数据处理实践
本文将从目前主流实时数据处理引擎的特点和我们面临的问题出发, 简单的介绍一下美团是如何搭建实时数据处理系统计算引擎的完整性数据的平滑处理以及计算策略等
使用 Dataflow 模型和 Apache Beam 进行流数据处理的基础
无限数据流中的数据迟到是数据处理系统必须考虑的问题水印 (watermark) 是一种用于解决迟到数据问题的概念当数据处理系统接受到了一个水印时间戳时, 它就会假设它不会再接收到比该时间戳更旧的消息 Google Dataflow 模型以及对应的 Apache Beam 实现都鼓励用户为了能够更好地理解数据处理的方法, 需要问自己四个问题: 你在计算什么? 事件时间 (Event time) 在哪里? 什么时候进行处理? 如何进行改进?
Dynamometer: Scale Testing HDFS on Minimal Hardware with Maximum Fidelity
Dynamometer 是 LinkedIn 推出的一款开源 HDFS 性能评测工具 Dynamometer 最初是为了解决 HDFS 集群扩展的性能瓶颈, 旨在精确预测 HDFS 性能 Dynamometer 能够创建 HDFS 集群, 模拟 NameNode 和 DataNode 节点(内部称为 "Dyno-HDFS", "Dyno-NN", and "Dyno-DN"), 通过审计日志回放生产环境下真实的负载本文主要介绍了 Dynamometer 诞生的背景原理, 以及在 LinkedIn 内部如何运用于 HDFS 新特性测试和 NameNode 调优
来源: https://yq.aliyun.com/articles/459299