天文数据挖掘大赛.pptx


立即下载 老人与海。
2024-03-25
TensorFlow 优化 实验 读取 PAI 文件 操作 数据 构造 IO
5.4 MB

天文数据挖掘大赛
在PAI上使用TensorFlow
万千钧
PAI 与 MaxCompute
MaxCompute
PAI
PAI IO
1
PAI IO 优化
2
PAI 上实验
3
PAI文件操作
TensorFlow读写OSS文件
https://tensorflow.google.cn/versions/r1.4/api_docs/python/tf/gfile
TensorFlow Gfile 相关API
https://tianchi.aliyun.com/forum/new_articleDetail.html?from=user&raceId=&postsId=2149
详细使用案例
TensorFlow 社区中文文档
https://github.com/xitu/tensorflow-docs
PAI文件操作
准备工作
少量读取
大批量读取数据
PAI IO
1
PAI IO 优化
2
PAI 上实验
3
2
1
IO线程优化
IO线程优化
IO线程优化
尽量将所有的操作都在TensorFlow中完成, Python仅仅用来构造图
PAI IO
1
PAI IO 优化
2
PAI 上实验
2
3
1
本次实验代码
创建TFRecords: generateTFR.py
读取数据: read.py
构造神经网络: inference.py
构造损失函数: losses.py
程序入口: main.py
打包并上传到OSS脚本: upload_to_oss.py
https://github.com/wqj97/PAI_Tensorflow_IO_example


TensorFlow/优化/实验/读取/PAI/文件/操作/数据/构造/IO/ TensorFlow/优化/实验/读取/PAI/文件/操作/数据/构造/IO/
-1 条回复
登录 后才能参与评论
-->