Когда вы начинаете заниматься наукой о данных, запуск необходимого программного обеспечения и создание среды для работы программ на новом компьютере может оказаться трудоемкой задачей.
Я написал сценарий, который может автоматически установить набор базового программного обеспечения, широко используемого в науке о данных, поэтому я представлю его в этом документе.
Программное обеспечение, которое необходимо установить, перечислено ниже.
Поскольку отдельные программы хорошо известны, вы можете найти инструкции по установке для каждой из них в различных книгах и на веб-сайтах. Однако поиск процедур установки каждого программного обеспечения по отдельности может занять много времени. Этот скрипт может установить их все сразу, экономя ваше время и усилия.
* Для использования скрипта, ОС должна быть Ubuntu 18.04 (64bit) и должен быть установлен графический процессор NVIDIA.
- Требование
- Тестовая среда
- Список программного обеспечения, устанавливаемого сценарием
- Модули Python, установленные скриптом
- Как использовать
- 1. Скачайте мой скрипт
- 1.5 Настройка скрипта (необязательно)
- — Выберите приложения для установки
- — Укажите версию
- — Укажите каталог для загрузки
- 2. Скачайте пакет CUDA и исходные коды CuDNN
- 3. Запустите скрипт «multiple_installer.sh».
- 4. (Необязательно) Удалите загруженные файлы
- Справочная документация или сайты
Требование
Этот скрипт работает в ОС Ubuntu 18.04 и требует наличия NVIDIA GPU.
Тестовая среда
Я протестировал следующие системы.
$ cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=18.04
DISTRIB_CODENAME=bionic
DISTRIB_DESCRIPTION="Ubuntu 18.04.6 LTS"
Номера моделей графических процессоров NVIDIA указаны ниже.
$ lspci | grep -i nvidia
03:00.0 VGA compatible controller: NVIDIA Corporation GK110GL [Quadro K5200] (rev a1)
Список программного обеспечения, устанавливаемого сценарием
Вы можете установить следующие приложения и библиотеки*1 для запуска приложений.
| Имя |
|---|
| Драйвер NVIDIA GPU *2 |
| git |
| Clang |
| CMake |
| Perl |
| GNU Fortran |
| CUDA+CuDNN *3 |
| Python3 *4 (+pip)(+модули *5) |
| OpenJDK |
| Docker(+NVIDIA Docker) |
| MySQL+SQLite |
| Node+npm |
| R |
| Graphviz |
| OpenCV |
| FFmpeg |
| cURL |
| cifs |
| clamAV |
| doxygen |
| mozc *6 |
| OpenSSH(сервер)+ufw *7 |
*1 Пожалуйста, проверьте строки 54-62 в скрипте для получения подробной информации.
*2 Версия драйвера по умолчанию установлена как 470. Если вам нужно, пожалуйста, измените версию в соответствии со следующим описанием.
*3 Перед запуском скрипта необходимо загрузить пакет CUDA и исходные тексты CuDNN. Пожалуйста, обратитесь к следующему описанию.
*4 python3 в Ubuntu 18.04 будет обновлен до версии 3.7.
*5 Модули перечислены ниже.
*6 Только для японского языка. Пожалуйста, игнорируйте или установите его как неинсталляционное приложение в соответствии с разделом «Как настроить».
*7 После установки будет автоматически запущен SSH-сервер. Если он не нужен, установите его как неинсталлируемое приложение в соответствии с инструкцией по настройке.
Модули Python, установленные скриптом
| Имя |
|---|
| numpy |
| pandas |
| matplotlib |
| scikit-learn |
| hmmlearn |
| umap-learn |
| tensorflow |
| факел |
| openpyxl |
| python-docx |
| python-pptx |
| reportlab |
| graphviz |
| selenium |
| beautifulsoup4 |
Как использовать
1. Скачайте мой скрипт
Выполните следующую команду для загрузки «multiple_installer.sh» из моего репозитория GitHub.
$ wget https://raw.githubusercontent.com/YujiSue/GeneralScripts/main/multiple_installer.sh
1.5 Настройка скрипта (необязательно)
Пожалуйста, отредактируйте «multiple_installer.sh», если вам это необходимо.
— Выберите приложения для установки
Если вы нашли приложения, которые не требуются для вашей задачи, пожалуйста, отредактируйте предложение inst_XXX＝true в строках 13-33 скрипта. Если вы измените значение с true на false, соответствующее приложение не будет установлено.
— Укажите версию
Пожалуйста, измените версию драйвера GPU в строке 35 в зависимости от модели вашего GPU.
Вы также можете изменить версии CMake и OpenCV для установки, отредактировав строки 36 и 37 в скрипте соответственно.
Значения по умолчанию — v3.22.5 для CMake и v4.5.5 для OpenCV.
— Укажите каталог для загрузки
Вы можете изменить каталог для хранения файлов, загружаемых во время установки некоторых приложений, отредактировав строку 44. По умолчанию используется каталог «$HOME/Downloads». Если вы хотите изменить его, перепишите путь к каталогу после TEMPORARY=.
2. Скачайте пакет CUDA и исходные коды CuDNN
Версии CUDA и CuDNN могут быть установлены в зависимости от модели GPU. Подробности см. здесь.
По этой причине (1) следует заранее указать версию CUDA и CuDNN, (2) загрузить пакет CUDA и (3) загрузить исходные коды CuDNN.
(1) Вы можете указать версии CUDA и CuDNN, отредактировав строки 38-39 в скрипте «multiple_installer.sh».
По умолчанию установлены версии CUDA v11.5 и CuDNN v8.3.1.22.
(2) Пакет CUDA для Ubuntu можно загрузить с сайта NVIDIA. Выберите свою ОС (Ubuntu18.04 64bit) и скачайте ~.deb.
Если вы используете настройки по умолчанию, вы можете загрузить файл следующей командой.
$ wget https://developer.download.nvidia.com/compute/cuda/11.5.1/local_installers/cuda-repo-ubuntu1804-11-5-local_11.5.1-495.29.05-1_amd64.deb
(3) Исходные коды CuDNN можно загрузить с сайта разработчика NVIDIA. Поскольку для загрузки требуется учетная запись разработчика NVIDIA, если у вас нет учетной записи, создайте ее для загрузки. После входа в систему загрузите исходные коды CuDNN для вашей версии CUDA.
Если вы используете настройки по умолчанию, загрузите следующий файл.
cudnn-linux-x86_64-8.3.1.22_cuda11.5-archive.tar.xz
(4) Загруженные файлы должны храниться в директории, указанной в строке 44 скрипта. По умолчанию каталог задан как «$HOME/Downloads».
Если вы изменили каталог в разделе настройки, не забудьте изменить место сохранения.
3. Запустите скрипт «multiple_installer.sh».
Вы можете запустить скрипт с помощью команды bash.
Чтобы выполнить команду «sudo», необходимо один раз ввести пароль.
$ bash multiple_installer.sh
4. (Необязательно) Удалите загруженные файлы
$ rm multiple_installer.sh
Справочная документация или сайты
- Установка драйвера NVIDIA GPUhttps://note.com/setoyama60jp/n/n600df9f34230 (японский)
- Установка CUDAhttps://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html
- Установка CuDNNhttps://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html
- Установка Clanghttps://apt.llvm.org/
- Установка CMakehttps://github.com/Kitware/CMake
- Установка Dockerhttps://docs.docker.com/engine/install/ubuntu/
- Установка NVIDIA Dockerhttps://docs.nvidia.com/ai-enterprise/deployment-guide/dg-docker.html#installing-docker
- Установка NodeJS+npmhttps://www.npmjs.com/package/n
- Установка Rhttps://cran.r-project.org/bin/linux/ubuntu/
- Установка OpenCVhttps://github.com/jayrambhia/Install-OpenCV
- Установка и запуск SSH-сервераhttps://linuxize.com/post/how-to-enable-ssh-on-ubuntu-18-04/