# Основы компиляции языков Kotlin и Java

## Цели создания виртуальной машины Java (JVM)

Виртуальная машина Java (JVM) была разработана компанией Sun Microsystems, а ключевую роль в ее создании сыграл Джеймс Гослинг. Позднее Sun Microsystems была приобретена компанией Oracle.  Слоганом компании является `Write once, run anywhere (WORA)`.

JVM, если кратко - это интерпретатор байт-кода **Java**. Главной особенностью JVM является возможность компиляции и запуска програм на, практически, любой платформе, не меняя при это код **Java** (сильно упращая жизнь разработчикам ПО). 
<p align="center">
  <img src="../_static/images/kotlin/compilation/01_wora.png" width="650" title="hover text" alt="Alt text">
  <figcaption> Write Once Run Anywhere (WORA). <a href="https://habr.com/ru/companies/domclick/articles/500646/">Источник изображения.</a></figcaption>
</p>

<p align="center">
  <img src="../_static/images/kotlin/compilation/01_woca.png" width="650" title="hover text" alt="Alt text">
  <figcaption> Write Once Compile Anywhere (WOCA). <a href="https://habr.com/ru/companies/domclick/articles/500646/">Источник изображения.</a></figcaption>
</p>

JVM может быть установлена на любую операционную систему (Windows, macOS, Unix-like, и т.д.). Таким образом, позволяя написать код один раз, но работать он будет на нескольких операционных системах. 

## Архитектура взаимодействия Kotlin с JDK (Java Development Kit)

Виртуальная машина Java является некой прослойкой между программным кодом и операционной системой:
<p align="center">
  <img src="../_static/images/kotlin/compilation/01_jvm_in_os.jpg" width="650" title="hover text" alt="Alt text">
  <figcaption> JVM and OS. <a href="https://www.nic.ru/help/jvm-chto-eto-kak-ustroena-virtual6naya-mashina-java_11250.html">Источник изображения.</a></figcaption>
</p>

Компилятор языков программирования Java и Kotlin преобразует **пользовательскую программу** в, так называемый, **байт-код**. Данный байт-код уже понимает виртуальная машина Java (**JVM**)
Ниже рассмотрим более подробно этапы компиляции и запуска приложения, написанного на языке Kotlin (Kotlin + JVM).

<p align="center">
  <img src="../_static/images/kotlin/compilation/Kotlin_JVM_Architecture.png" width="900" title="hover text" alt="Alt text">
  <figcaption> Архитектура взаимодействия Kotlin + JVM.</figcaption>
</p>

Кратко по каждому блоку:
1. Инструменты разработки `Java (JDT)` - это набор расширений рабочей среды, с помощью которого можно редактировать, компилировать и запускать программы на Java.
    1. `javac` - компилятор языка Java. Преобразует `*.java` в байт-код `*.class`;
    2. `javap` - дизассемблер языка Java. Применяет обратную опереацию `javac`, преобразует `*.class` в понятный человеку формат;
    3. `VisualVM` - удобная утилита для визуализации, мониторинга, профилирования приложений Java;
    4. `Other` - набор доп. инструментов (Basic Tools, Security Tools, Monitoring and Troubleshooting Tools, Deployment Tools, etc.);

2. `Kotlin Multiplatform` - включает в себя компилятор для разны сред разработки (JVM, JS, Native);
    1. `kotlinc` - компилятор языка Kotlin. Преобразует `*.kt` в `байт-код`, понятный `JVM`. 
    2. etc.

3. `JRE (Java Runtime Environment)` - среда выполнения Java. Необходима для запуска программ. Состоит из:
    1. Виртуальной машины Java (`JVM`) - сердце работы программ;
    2. Стандартная библиотека классов Java (`java.io`, `java.lang`, `java.math`, `java.net`, etc.).

## Java Virtual Machine

Виртуальная машина Java состоит из трех основных компонет:

1. **Загрузчик классов** (`Class Loader`);
2. **Область памяти JVM** (`JVM Runtime Memory`);
3. **Исполнительный механизм** (`Execution Engine`)

<!-- ![1758248764001](image/02_basics_compile_jvm/1758248764001.png) -->
![1758251160188](image/02_basics_compile_jvm/1758251160188.png)

### Class Loader
[Основной источник информации](https://habr.com/ru/articles/748758/)

Но что на самом деле означает это JVM загружает? Спецификация [Java SE приводит](https://docs.oracle.com/javase/specs/jls/se20/html/jls-12.html#jls-12.2) следующий комментарий:

> Loading refers to the process of finding the binary form of a class or interface with a particular name, perhaps by computing it on the fly, but more typically by retrieving a binary representation previously computed from source code by a Java compiler, and constructing, from that binary form, a Class object to represent the class or interface.

Формулируя более простым языком, когда мы говорим о "загрузке класса", мы имеем в виду:

> Процесс **поиска** соответствующего файла `.class` на диске, **чтения** его содержимого и **передачи** его в среду выполнения JVM, которая представляет собой определенную часть памяти машины, предназначенную для выполнения вашего приложения.

В действительности, система загрузчиков классов не просто находит классы — она обеспечивает `целостность` и `безопасность` `Java`-приложения, соблюдая правила бинарной структуры и пространства имен среды выполнения Java.

Загрузчик классов состоит из:
1. **Загрузка** (`Loading`);
2. **Линковка** (`Linking`);
3. **Инициализация** (`Initialization`).

#### Загрузка
Процесс начинается с того, что загрузчик класса (далее, ClassLoader) получает задание найти определенный класс, что может быть инициировано самой JVM, или вызвано командой в вашем коде. Задача же здесь заключается в том, чтобы взять полное имя класса (например, `java.lang.String`) и получить соответствующий файл класса (например, `String.class`) из его местоположения на диске —> в память JVM.

**Boostrap ClassLoader**

Старейший представитель семейства, `Bootstrap ClassLoader`, отвечает за загрузку основных библиотек `Java`, расположенных в `java.base` модуле (`java.lang`, `java.util` и т.д.), необходимых для старта JVM.

Обратя внимания на диаграмму можно заметить, что другие загрузчики классов написаны на `Java` (объекты `java.lang.ClassLoader`), что означает — их также необходимо загрузить в `JVM`! Эту задачу также выполняет `Bootstrap ClassLoader`.

**Platform ClassLoader**

Документация Java SE 20 [говорит](https://docs.oracle.com/en/java/javase/20/docs/api/java.base/java/lang/ClassLoader.html#builtinLoaders) о нем следующее:

>The platform class loader is responsible for loading the platform classes. Platform classes include Java SE platform APIs, their implementation classes, and JDK-specific run-time classes that are defined by the platform class loader or its ancestors. The platform class loader can be used as the parent of a ClassLoader instance.

Но что отличает классы платформы от основных классов, загружаемых Bootstrap загрузчиком? Посмотрим, что он на самом деле загружает:
```bash
jshell> ClassLoader.getPlatformClassLoader().getDefinedPackages();
$1 ==> Package[0] { } // empty
```

Получается, что в пустой Java-программе — **абсолютно ничего**! Теперь попробуем явно использовать класс из какого-нибудь стандартного пакета:

```bash
jshell> java.sql.Connection.class.getClassLoader()
$2 ==> jdk.internal.loader.ClassLoaders$PlatformClassLoader@27fa135a

jshell> ClassLoader.getPlatformClassLoader().getDefinedPackages()
$3 ==> Package[1] { package java.sql }
```
Получается, проще говоря, `Bootstrap` загружает основные классы **необходимые для запуска JVM**, а `Platform` — публичные типы системных модулей, которые **могут понадобиться**.


**Application\System ClassLoader**

`Application ClassLoader`, также известный как системный загрузчик классов, пожалуй, самый `user-friendly` из всех. Именно этот загрузчик подгружает **ваши собственные реализации** и **библиотеки зависимостей**, которые вы передали `JVM` (явно или неявно) при старте приложения в качестве `-classpath (-cp)` параметра.

```kotlin
open class Human(){
    fun move(){
      // code
    }
}
```
#### Линковка

-  **Верификация** (`Verification`);
проверка правильности файла `.class`, т. е. проверяет, правильно ли отформатирован и сгенерирован этот файл компилятором. Если проверка не удалась, мы получим исключение времени выполнения `java.lang.VerifyError`. Это действие выполняется компонентом `ByteCodeVerifier`. После завершения этого действия файл класса готов к компиляции.
-  **Подготовка** (`Preparation`);
`JVM` **выделяет память** для статических переменных класса и инициализирует память значениями по умолчанию. 
-  **Разрешение** (`Resolution`). 
Это процесс замены символических ссылок типа прямыми ссылками. Это делается путем поиска в области метода, чтобы найти указанный объект.

#### Инициализация

В данном случае происходит **инициализация** полученного объекта.

Все эти этапы выполняются последовательно со следующими требованиями:
- Класс должен быть полностью загружен прежде, чем **слинкован**.
- Класс должен быть полностью **проверен** и **подготовлен** прежде, чем **проинициализирован**.
- Ошибки разрешения ссылок происходят во время выполнения программы, даже если были обнаружены на этапе линковки.

<!-- ![1758251505135](image/02_basics_compile_jvm/1758251505135.png) -->

<!-- #### Загрузка
Процесс начинается с того, что загрузчик класса (далее, ClassLoader) получает задание найти определенный класс, что может быть инициировано самой JVM, или вызвано командой в вашем коде. Задача же здесь заключается в том, чтобы взять полное имя класса (например, `java.lang.String`) и получить соответствующий файл класса (например, `String.class`) из его местоположения на диске —> в память JVM.

![1758249388792](image/02_basics_compile_jvm/1758249388792.png)
Из [Источника](https://habr.com/ru/articles/748758/).

**Boostrap ClassLoader**
![1758249523380](image/02_basics_compile_jvm/1758249523380.png)

Старейший представитель семейства, `Bootstrap ClassLoader`, отвечает за загрузку основных библиотек `Java`, расположенных в `java.base` модуле (`java.lang`, `java.util` и т.д.), необходимых для старта JVM.

Обратя внимания на диаграмму можно заметить, что другие загрузчики классов написаны на `Java` (объекты `java.lang.ClassLoader`), что означает — их также необходимо загрузить в `JVM`! Эту задачу также выполняет `Bootstrap ClassLoader`.

```bash
jshell> System.out.println(java.lang.ClassLoader.class.getClassLoader());
>> null
```
**Bootstrap ClassLoader** также является **единственным** загрузчиком, [явно описанным](https://docs.oracle.com/javase/specs/jvms/se20/html/jvms-5.html#jvms-5.3.1) в спецификации `Oracle`. Остальные зовутся "`User-defined`", и оставляются на рассмотрение конкретных вендоров вирутальных машин.

**Platform ClassLoader**

![1758250378332](image/02_basics_compile_jvm/1758250378332.png)

Документация Java SE 20 [говорит](https://docs.oracle.com/en/java/javase/20/docs/api/java.base/java/lang/ClassLoader.html#builtinLoaders) о нем следующее:

>The platform class loader is responsible for loading the platform classes. Platform classes include Java SE platform APIs, their implementation classes, and JDK-specific run-time classes that are defined by the platform class loader or its ancestors. The platform class loader can be used as the parent of a ClassLoader instance.

Но что отличает классы платформы от основных классов, загружаемых Bootstrap загрузчиком? Посмотрим, что он на самом деле загружает:
```bash
jshell> ClassLoader.getPlatformClassLoader().getDefinedPackages();
$1 ==> Package[0] { } // empty
```

Получается, что в пустой Java-программе — **абсолютно ничего**! Теперь попробуем явно использовать класс из какого-нибудь стандартного пакета:

```bash
jshell> java.sql.Connection.class.getClassLoader()
$2 ==> jdk.internal.loader.ClassLoaders$PlatformClassLoader@27fa135a

jshell> ClassLoader.getPlatformClassLoader().getDefinedPackages()
$3 ==> Package[1] { package java.sql }
```
Получается, проще говоря, `Bootstrap` загружает основные классы **необходимые для запуска JVM**, а `Platform` — публичные типы системных модулей, которые **могут понадобиться**.

**Application\System ClassLoader**
![1758250367576](image/02_basics_compile_jvm/1758250367576.png)

`Application ClassLoader`, также известный как системный загрузчик классов, пожалуй, самый `user-friendly` из всех. Именно этот загрузчик подгружает **ваши собственные реализации** и **библиотеки зависимостей**, которые вы передали `JVM` (явно или неявно) при старте приложения в качестве `-classpath (-cp)` параметра.

```kotlin
open class Human(){
    fun move(){
      // code
    }
}
```

#### Линковка

1. **Верификация** (`Verification`);
2. **Подготовка** (`Preparation`);
3. **Разрешение** (`Resolution`). 

![1758251764628](image/02_basics_compile_jvm/1758251764628.png)

1. **Verification**: проверка правильности файла `.class`, т. е. проверяет, правильно ли отформатирован и сгенерирован этот файл компилятором. Если проверка не удалась, мы получим исключение времени выполнения `java.lang.VerifyError`. Это действие выполняется компонентом `ByteCodeVerifier`. После завершения этого действия файл класса готов к компиляции.

2. **Preparation**: `JVM` **выделяет память** для статических переменных класса и инициализирует память значениями по умолчанию. 

3. **Resolution**: Это процесс замены символических ссылок типа прямыми ссылками. Это делается путем поиска в области метода, чтобы найти указанный объект.

#### Инициализация

![1758251787007](image/02_basics_compile_jvm/1758251787007.png)

В данном случае происходит **инициализация** полученного объекта.

Все эти этапы выполняются последовательно со следующими требованиями:
- Класс должен быть полностью загружен прежде, чем **слинкован**.
- Класс должен быть полностью **проверен** и **подготовлен** прежде, чем **проинициализирован**.
- Ошибки разрешения ссылок происходят во время выполнения программы, даже если были обнаружены на этапе линковки. -->


### JVM Runtime Memory

![1758253064735](image/02_basics_compile_jvm/1758253064735.png)

1. **Method Area**  - В области Method area хранится скомпилированный код для каждой функции. Когда поток начинает выполнять функцию, в общем случае он получает инструкции из этой области.

2. **Thread 1...N** - Потоки строго выполняют предписанные им инструкции (`method area`), для этого у них есть `PC Register` и `JVM Stack`.

3. **PC Register** - `Program Counter Register` — счетчик команд нашего потока. Хранит в себе адрес выполняемой инструкции.

4. **JVM Stack** - Стек фреймов. Под каждую функцию выделяется фрейм, в рамках которого текущий поток работает с переменными и операндами.

5. **Local Variables** - Это массив локальных переменных (`local variable table`), который, как следует из названия, хранит значения, тип и область видимости локальных переменных. 

6. **Operand Stack** - Operand stack хранит **аргументы для инструкций** JVM. Например, целочисленные значения для операции сложения, ссылки на объекты heap и т. п.

7. **Heap** - В рамках работы с фреймом мы оперируем **ссылками на объекты**, сами же **объекты хранятся** в `heap`. Важное отличие в том, что `фрейм принадлежит только одному потоку`, и локальные переменные «живут», пока жив фрейм (выполняется функция). А `heap` доступен и другим потокам, и живет до включения сборщика мусора.


### Байт-код

Запустим `Intellij Idea`, создадим простой проект для демонстрации компиляции из `*.kt` в `*.class`.

В созданном проекте откроем файл `/src/application.kt` (создается по умолчанию, если не менять настройки). Добавим немного кода:

```kotlin
fun main(){ // Точка входа в программу

    var number_01: Int = 10
    var number_02: Int = 30

    number_01 *= 2
    number_02 += 20

    println("Hello world!")
}
```
С помощью встроенных инструментов Intellij IDEA (`Tools` -> `Kotlin` -> `Show Kotlin Bytecode`) получаем дизассемблированный байткод.

```kotlin
public final class ApplicationKt {
  // compiled from: application.kt
  @Lkotlin/Metadata;(mv={2, 2, 0}, k=2, xi=48, d1={"\u0000\u0008\n\u0000\n\u0002\u0010\u0002\n\u0000\u001a\u0006\u0010\u0000\u001a\u00020\u0001\u00a8\u0006\u0002"}, d2={"main", "", "HelloKotlin"})

  // access flags 0x19
  public final static main()V
   L0
    LINENUMBER 3 L0
    BIPUSH 10
    ISTORE 0
   L1
    LINENUMBER 4 L1
    BIPUSH 30
    ISTORE 1
   L2
    LINENUMBER 6 L2
    ILOAD 0
    ICONST_2
    IMUL
    ISTORE 0
   L3
    LINENUMBER 7 L3
    IINC 1 20
   L4
    LINENUMBER 9 L4
    LDC "Hello world!"
    GETSTATIC java/lang/System.out : Ljava/io/PrintStream;
    SWAP
    INVOKEVIRTUAL java/io/PrintStream.println (Ljava/lang/Object;)V
   L5
    LINENUMBER 11 L5
    RETURN
   L6
    LOCALVARIABLE number_01 I L1 L6 0
    LOCALVARIABLE number_02 I L2 L6 1
    MAXSTACK = 2
    MAXLOCALS = 2
}
```

На данный момент не очень понятны команды `BIPUSH`, `ISTORE`, `ILOAD` и т.д.
Для этого необходимо немного погрузиться в кухню **Java Virtual Machine**.

### Виртуальная машина Java (JVM)

<!-- ### Архитектура
### Архитектура
### Архитектура -->

<!-- JVM состоит из трех основных компонентов:

- загрузчик классов (Classloader);
- область данных runtime (времени выполнения);
- исполнительный механизм (Execution Engine).

**Загрузчик классов**: Classloader отвечает за загрузку Java-классов с диска в память JVM, разрешение зависимостей между классами и инициализацию классов во время выполнения программы. Загрузчик классов следует иерархии делегирования, начиная с Bootstrap Classloader, затем Extension Classloader и Application Classloader.

**Области данных времени выполнения**: Во время выполнения программы JVM выделяет области памяти, называемые Runtime Data Areas. Эти области памяти включают в себя Heap, Stack, Method Area, Constant Pool и PC Registers, в которых хранятся данные, необходимые для различных аспектов жизненного цикла приложения.

**Execution Engine**: Execution Engine - это основной компонент, отвечающий за выполнение байткода Java. Механизм выполнения интерпретирует байткод и преобразует его в нативный машинный код во время выполнения. Он включает в себя такие компоненты, как интерпретатор, компилятор Just-In-Time (JIT) и сборщик мусора.

#### JVM Runtime Memory
Эффективное управление памятью - важнейший аспект архитектуры JVM, способствующий эффективному выполнению Java-приложений. JVM выделяет различные области памяти, называемые Runtime Data Areas, для различных типов хранения данных и манипулирования ими во время выполнения программы. 

<p align="center">
  <img src="../_static/images/kotlin/compilation/01_jvm_runtime_memory.png" width="650" title="hover text" alt="Alt text">
  <figcaption> Архитектура JVM Runtime Memory. <a href="https://habr.com/ru/companies/domclick/articles/500646/">Источник изображения.</a></figcaption>
</p>

К основным областям памяти в JVM относятся:

**Куча**: Куча - это самая большая область памяти в JVM, которая разделяется между всеми потоками приложения. В ней хранятся инстанцированные объекты и массивы, созданные в процессе выполнения программы. Куча делится на области 'Young Generation' и 'Old Generation'. В области "молодого поколения" хранятся вновь созданные объекты, а в области "старого поколения" - объекты, пережившие несколько циклов сборки мусора.

**Стек**: JVM создает отдельный стек для каждого потока. В стеке хранится информация о вызовах методов, локальные переменные и промежуточные результаты вычислений во время выполнения программы. Каждая запись в стеке называется фреймом стека, и JVM управляет фреймами стека независимо для каждого вызова метода.

**Область методов**: Область методов разделяется между всеми потоками приложения и хранит данные класса, такие как имена методов, имена переменных и значения констант. Область методов также содержит пул констант, в котором хранятся постоянные значения и символьные ссылки, используемые байткодом.

**Регистры PC**: Регистр PC (Program Counter) - это область памяти, содержащая адрес текущей выполняемой JVM инструкции для каждого потока. Регистр PC помогает JVM отслеживать, какая инструкция будет выполняться следующей.


#### Загрузчик классов
Загрузка классов — это поиск и загрузка типов (классов и интерфейсов) динамически во время выполнения программы. Данные о типах находятся в бинарных class-файлах.
Подсистема загрузчика классов отвечает не только за поиск и импорт бинарных данных класса. Она также выполняет проверку правильности импортируемых классов, выделяет и инициализирует память для переменных класса, помогает в разрешении символьных ссылок. Эти действия выполняются в следующем порядке:

<p align="center">
  <img src="../_static/images/kotlin/compilation/01_class_loader_subsystem.png" width="650" title="hover text" alt="Alt text">
  <figcaption> Загрузчик классов. <a href="https://appmaster.io/ru/blog/arkhitektura-virtual-noi-mashiny-java">Источник изображения.</a></figcaption>
</p>

- **Загрузка (loading)** — это процесс получения файлов классов с диска и их загрузки в память JVM. Загрузчик классов находит нужные файлы классов по полному имени класса, которое включает имя пакета и имя класса.
- **Связывание, линковка (linking)** — Процесс связывания устанавливает связи между классами и проверяет их на наличие несоответствий или ошибок. Состоит из:
  - **Верификация (verification)** — проверка корректности импортируемого типа.
  - **Подготовка (preparation)** — выделение памяти для статических переменных класса и инициализация памяти значениями по умолчанию.
  - **Разрешение (resolution)** — преобразование символьных ссылок типов в прямые ссылки.
- **Инициализация (initialization)** — вызов Java-кода, который инициализирует переменные класса их правильными начальными значениями.

#### Управление памятью JVM



### Файл .class и байт-код

До изучания основ синтаксиса языка Kotlin, следует освоить основы его компиляции и зачем нужна JVM.

Процесс компиляции кода происходит следующим образом:
<p align="center">
  <img src="../_static/images/kotlin/compilation/01_compile.png" width="650" title="hover text" alt="Alt text">
  <figcaption> Процесс компиляции в языке Kotlin. <a href="https://habr.com/ru/companies/inforion/articles/330060/">Источник изображения.</a></figcaption>
</p>

На вход компилятора `kotlinc` поступают исходные файлы. Важно отметить, что java-файлы также поступают на вход компилятора. Это необходимо для возможности ссылаться на Java из Kotlin и наоборот. Далее, полученные файлы `*.class` передаются на компилятор `javac` вместе с исходными java-файлами. В итоге, компилируются все java-файлы, после чего собираются в файлы `.jar`.
 -->