yaoyuan7571 最近的时间轴更新 yaoyuan7571 最近的时间轴更新 |
yaoyuan7571V2EX 第 178953 号会员，加入于 2016-06-24 21:42:36 +08:00 |
yaoyuan7571 最近回复了
2016 年 7 月 22 日 回复了 soli 创建的主题 › 程序员 › 求个能 beats 90% 以上的 Move Zeroes 算法 |
void moveZeroes(vector<int>& nums) {
int zero_count=0;
for (int i=0; i<nums.size(); i++) {
if (nums[i] == 0) {
zero_count++;
} else {
int j=i-zero_count;
nums[j] = nums[i];
}
}
int last = nums.size()-1;
for (int i=0;i<zero_count;i++) {
nums[last]=0;
last--;
}
}
int zero_count=0;
for (int i=0; i<nums.size(); i++) {
if (nums[i] == 0) {
zero_count++;
} else {
int j=i-zero_count;
nums[j] = nums[i];
}
}
int last = nums.size()-1;
for (int i=0;i<zero_count;i++) {
nums[last]=0;
last--;
}
}
2016 年 7 月 6 日 回复了 HeartJ 创建的主题 › Hadoop › Hadoop streaming C++ MapReduce 求助 |
可以试着看下 reduce 程序中是否有代码或数据错误导致程序崩溃，减少 reducer 数目，然后在代码中输出一些调试日志，然后在 jobtracker 界面查看日志，确定程序崩溃位置，推荐使用 java 开发
2016 年 6 月 27 日 回复了 qfdk 创建的主题 › Spark › Apache Spark 之间的共享项目配置文件问题 |
@qfdk sbt run 命令调用的是 project 中的 main class, 而 spark 任务需要使用 spark-submit 脚本提交任务，应该用不到 sbt run 这个命令吧，打包的话可以使用 sbt+assembly 插件(也可以使用 maven 管理项目)生成一个包含所有依赖的全包（去除 spark-core 这种框架已提供的), 外部使用单独的 shell 脚本执行生成的 jar 包
2016 年 6 月 27 日 回复了 qfdk 创建的主题 › Spark › Apache Spark 之间的共享项目配置文件问题 |
@qfdk 贴出来的信息量太少，看不出哪里问题，你可以再仔细看下异常堆栈，应该是其他方面的问题
2016 年 6 月 25 日 回复了 qfdk 创建的主题 › Spark › Apache Spark 之间的共享项目配置文件问题 |
对于 yarn-cluster,可以试下--files /home/expertise/BigData2016/conf/project.properties#project.properties,读取的时候改为
def conf(file: String): Properties = {
val properties = new Properties()
try {
properties.load(new FileInputStream(file))
} catch {
case e : FileNotFoundException =>
properties.load(new FileInputStream((new File(file)).getName())
case e : Throwable => throw e
}
properties
}
因为没有环境不太方便验证，如果不行可以在试一试添加
--conf spark.driver.extraClassPath=./ --conf spark.executor.extraClassPath
def conf(file: String): Properties = {
val properties = new Properties()
try {
properties.load(new FileInputStream(file))
} catch {
case e : FileNotFoundException =>
properties.load(new FileInputStream((new File(file)).getName())
case e : Throwable => throw e
}
properties
}
因为没有环境不太方便验证，如果不行可以在试一试添加
--conf spark.driver.extraClassPath=./ --conf spark.executor.extraClassPath
Select Language