Spark大数据分与实践笔记(Scala语言基础-1)

发布于:2023-01-11 ⋅ 阅读:(600) ⋅ 点赞:(0)

目录

1.1 Scala概述

1.1.1 Scala的下载安装

1.1.2 在IDEA开发工具中下载安装Scala插件

1.1.3 开发第一个Scala程序


Spark是专为大规模数据处理而设计的快速通用的计算引擎,它是由Scala语言开发实现的。

1.1 Scala概述

Spark是专为大规模数据处理而设计的快速通用的计算引擎,它是由Scala语言开发实现的,关于大数据技术,本身就是计算数据,而Scala既有面向对象组织项目工程的能力,又具备计算数据的功能,同时Spark和Scala的紧密集成,本书将采用Scala语言开发Spark程序,所以学好Scala将有助于我们更好的掌握Spark框架。

Scala是Scalable Language的简称,它是一门多范式的编程语言,其设计初衷是实现可伸缩的语言、并集成面向对象编程函数式编程的各种特性。具体如下:

  • Scala是面向对象的

Scala是一种纯粹的面向对象语言,每一个值都是一个对象。对象的数据类型以及行为由类的特征来描述。

  • Scala是函数式编程的

Scala也是一种函数式语言,其函数可以作为值来使用。

  • Scala是静态类型的

Scala具备类型系统,通过编译时检查,保证代码的安全性和一致性。

  • Scala是可扩展的

Scala提供了许多独特的语言机制,它以库的方式能够轻易无缝添加新的语言结构 。

  • Scala是可交互操作的

Scala旨在与流行的Java进行良好的交互操作。Scala用Scala编译器把源文件编译成Java的class文件。我们可以从中调用Java类库,也同样可以从Java应用程序中调用Scala的代码。

1.1.1 Scala的下载安装

Scala语言可以运行在Windows、Linux、Mac OS等系统上。由于Scala是运行在JVM平台上的,所以安装Scala之前必须配置好JDK环境(JDK版本要求不低于1.5版本)。本书使用的JDK版本是jdk1.8。

1.  在Windows下安装Scala

访问Scala官网The Scala Programming Language,单击【Download】进入下载页面,该页面可以下载最新的Scala版本。我们考虑到Scala的稳定性和Spark的兼容性,这里选择下载Scala2.11.8(下载地址为:Scala 2.11.8 | The Scala Programming Language )具体如图所示:

下载windows支持的Scala安装包

下载成功后,解压Scala的安装包scala-2.11.8.zip,并配置在Windows系统下的环境变量,效果如图所示:

Scala系统变量的配置

Scala系统变量引入到环境中

进入Windows命令行,输入“scala”命令,测试Scala环境是否安装成功。

测试Scala环境的安装

2.  在Linux下安装Scala

  • 下载Scala安装包,并将安装包上传到Linux系统/export/software
  • 执行tar -zxvf scala-2.11.8.tgz -C /export/servers/命令解压安装
  • 在Linux系统下添加Scala环境变量

3.  在Mac下安装Scala

  • 下载Scala安装包并解压安装包至主目录下(如果找不到主目录,则回到桌面,按⇧⌘H进入电脑主目录)。
  • 执行“open ~/.bash_profile”,添加Scala的环境变量。
  • 输入“scala -version”命令,查看Scala的安装情况,若终端出现Scala的版本号,则说明Scala安装成功。

1.1.2 在IDEA开发工具中下载安装Scala插件

目前Scala的主流开发工具主要有两种:分别是Eclipse工具和IDEA工具,我们可以在这两个开发工具中安装对应的Scala插件进行Scala开发。

由于IDEA工具可以自动识别代码错误和进行简单的修复、以及IDEA工具内置了很多优秀的插件,所以现在大多数的Scala开发程序员都会选择IDEA作为开发Scala的工具。

下载IDEA安装包,打开安装包进行单击【Next】按钮进行安装,直到出现”Welcome to IntelliJ IDEA“界面则安装结束。

本书将以Windows操作系统为例,分步骤讲解如何在IDEA工具上下载安装Scala插件,具体步骤如下。

  • 访问“https://plugins.jetbrains.com/plugin/1347-scala”下载Scala插件。
  • 单击IDEA主界面右下角的【Configure】→【Plugins】→【Install plugin from disk】→【OK】→【OK】,单击【Restart】按钮,重启IDEA工具,安装结束。

1.1.3 开发第一个Scala程序

前面完成Scala环境和IDEA的安装,接下来,就通过打印“Hello World”的例子来演示如何使用IDEA工具开发Scala程序,具体步骤如下 。

  1. 创建工程。在IDEA工具主界面中单击【create New Project】创建工程,效果如图所示:

配置Scala工程

  1. Scala工程配置完成,如图:

Scala工程创建完成

  1. 创建包。选中src文件夹,右键选择【New】à【Package】按钮,效果如图所示。

创建完包名

  1. 创建Scala类。选中包名,右键选择【New】à【Scala Class】,并选择【Object】类型创建Scala类,类名为“HelloWorld”效果如图所示:

创建Scala类

Scala类创建完成

  1. 在HelloWord.scala文件中编写代码,具体代码如文件1-1所示。
    文件HelloWord.scala
package cn.itcast.scala
object HelloWorld {
  def main(args: Array[String]): Unit = {
    print("Hello World!")
  }
}

 

上述代码的内容分别是Scala类的主方法(即程序入口)和程序输出的结果。运行代码,控制台输出结果如图所示:

运行效果

本文含有隐藏内容,请 开通VIP 后查看

网站公告

今日签到

点亮在社区的每一天
去签到