Распределенные файловые системы

Распределенные файловые системы известны и как сетевые файловые системы.

· 9P — Распределённая файловая система для ОС Plan 9 и Inferno. Одна из версий v9fs. Нет ACL.

· AFS (Andrew File System) — масштабируемая и независимая от расположения, имеет сильный кэш клиент и использует Kerberos для авторизации. Различные внедрения используют оригинальные части от IBM (ранее Transarc), Arla и OpenAFS.

· Arla — Свободно распространяемые сервер и клиент с поддержкой AFS

· Apple Filing Protocol (AFP) от Apple Computer. AFP может использовать протокол Kerberos для авторизации.

· CIFS — Сетевая файловая система, основанная на SMB с поддержкой UNIX прав и блокировок, при этом использующая DNS имена машин, а не NetBIOS, в отличие от SMB.

· DCE Distributed File System (DCE/DFS) от IBM (ранее Transarc) похожа на AFS и полностью соответствует стандарту POSIX и стандартам систем высокой доступности. Доступна для ОС AIX и Solaris под запатентованной лицензией.

· NetWare Core Protocol (NCP) от Novell используется в сетях, основанных на NetWare.

· Network File System (NFS) изначально от Sun Microsystems, теперь является стандартом в UNIX-подобных сетях. NFS может использовать протокол Kerberos для авторизации и кэш клиента.

· OpenAFS — Открытая реализация распределенной файловой системы AFS.

· Self-certifying File System (SFS), Глобальная сетевая файловая система, разработанная для безопасного доступа к файлам через различные административные домены.

· Server Message Block (SMB) Изначально IBM (большинство общих версий серьезно модифицировано Microsoft) — является стандартом в Windows-ориентированных сетях. SMB также известна как Common Internet File System (CIFS) — Общая Файловая система в Интернет. SMB может использовать протокол Kerberos для авторизации.

Распределенные параллельные файловые системы с защитой от сбоев

Распределенные файловые систем, являющиеся параллельными и с защитой от сбоев, разделяют и реплицируют данные на многие сервера для высокой производительности и обеспечения целостности данных. Даже когда сервер дает сбой, данные не теряются. Данные файловые системы используются в высокоскоростных вычислениях и кластерах высокой доступности.

Все здесь перечисленные файловые системы фокусируются на высокой доступности, масштабируемости и высокой производительности, если не указано иначе.

· dCache От компаний Fermilab и DESY, бесплатная файловая система (однако не относится к свободному программному обеспечению из-за лицензионных ограничений.

· ExaFS — Распределенная файловая система от Exanet. Идет как часть ExaStore, основанном на Linux NAS решении запущенном на оборудовании Intel, обслуживает NFS v2/v3, SMB/CIFS и AFP для Microsoft Windows, Mac Os, Linux и других UNIX клиентов. Доступна под патентованной лицензией.

· Gfarm файловая система использует OpenLDAP или PostgreSQL для метаданных и FUSE или LUFS для монтирования. Доступна в Linux, FreeBSD, NetBSD и Solaris под лицензией X11.

· GlusterFS Настраиваемая, высоко производительная кластерная файловая система, как часть GNU Clustering Platform. Доступна для любой POSIX совместимой операционной системы, под лицензией GPL.

· GPFS — General Parallel File System, виртуальная файловая система для параллельной обработки данных разработанная IBM. Поддерживает репликацию между подсоединенными блочными устройствами хранения. Доступна в AIX, Linux и Windows. Синхронная или асинхронная репликация (настраиваемо).

· Google File System — Кластерная система оптимизированная для работы с большими блоками данных по 64 Мб, а также обладающая повышенной защитой от сбоев. Вся информация копируется и хранится в трех местах одновременно, при этом система способна очень быстро находить реплицированные копии, если какая-то машина вышла из строя. Задачи автоматического восстановления после сбоя решаются с помощью программ, созданных по модели MapReduce. Является коммерческой тайной компании Google. Доступна только через Google App Engine.

· IBRIX Fusion — Программный пакет Fusion Software Suite, реализующий кластерную файловую систему Segmented File System. Создана компанией IBRIX. Доступна в Linux под патентованной лицензией.

· Lustre — Предназначена для использования в больших Linux кластерах (от 1000 машин) Используется на многих самых производительных кластерах в мире. Лицензия GNU GPL.

· MogileFS — Распределенная файловая система созданная в рамках проекта LiveJournal и реализованная на уровне многоплатформенного приложения на Perl. POSIX не совместима, использующая плоское пространство имен, уровень приложений, использует MySQL для метаданных и протокол HTTP для транспорта. Разработана компанией Danga Interactive. Доступна в Linux (но может быть портирована) под лицензией GPL.

· Isilon OneFS — Кластерная файловая система OneFS позволяет хранить более 150 Тбайт данных. Является коммерческой тайной компании Isilon.

· OneFS distributed file system — Компания Isilon. Основанная на ОС BSD на выделенном Intel оборудовании, обслуживает NFS v3 и SMV/CIFS для Windows, Mac OS, Linux и других UNIX клиентов, доступна под патентованной лицензией.

· Panasas ActiveScale File System (PanFS) — Компания Panasas — использует объектные устройства хранения. Доступна в Linux под патентованной лицензией.

· PeerFS — Radiant Data Corporation — Фокусируется на высокой доступности и высокой производительности, использует репликацию типа точка-точка с множественными источниками и целями. Доступна в Linux под патентованной лицензией.

· Tahoe(англ.) - данные дублируются, шифруются, поддерживается контроль доступа 1 (рус.) написана на Python под GPLv2

· TerraGrid Cluster File System — Terrascale Technologies Inc — Реализует связанность кэша под запросу и использует стандарт iSCSI и модифицированную версию файловой системы XFS. Доступна в Linux под патентованной лицензией.

В разработке:

· zFS, от компании IBM (не путать с ZFS от Sun Microsystems) фокусируется на кооперативном КЭШе и распределенных транзакциях, использует объектные устройства хранения. Находится в разработке и на данный момент недоступна.

· Hadoop Distributed File System — Бесплатный клон GoogleFS — в разработке

· Kosmos Distributed File System — Файловая система разработанная Kosmix, теперь является свободным ПО.

· HAMMER/ANVIL от Matt Dillon

· OASIS от ETRI. Весьма схожа с Lustre или Panasas. Доступна в Linux через специальную программу переноса программ, предоставленную ETRI.

· Parallax — Файловая система —

· XtreemFS Бесплатная открытая параллельная, объектно-ориентированная файловая система. Разработана как часть XtreemOS ОС, полностью интегрирована с управлением Virtual organization (VO).

Файловые системы точка-точка

· CFS — Файловая система только для чтения основанная на распределенной таблицы хэшей Chord DHT.

· Cleversafe Используется Cauchy Reed-Solomon Information Dispersal Algorithms — Дисперсионные информационные алгоритмы — (IDAs) для разделения данных в неопредилимых срезах и распространения их, через безопасные соединения через Internet на множественные места хранения.

· Infinit — Это широко масштабируемая файловая система точка-точка, разработанная в C++, дает пользователям надежное и безопасное хранение их файлов пространственно-независимым и реплицируемым путем. Позволяет делится файлами контролируемым набором пользователей, друзей и т. д.

· Ivy — Файловая система чтения/записи основанная на логах, отсюда невозможность масштабирования с большим количеством пользователей.

· Pastis — французская файловая система точка-точка разработанная на Java.

Файловые системы специального назначения

· AppleShare — Сетевая файловая система в ранних версиях Mac OS

· archfs — Архивирующая файловая система

· cdfs — Система поддержки чтения и записи CD

· cfs — Кэширующая файловая система

· Coda — Файловая система с поддержкой автономной работы, происходит из OpenAFS.

· compFUSEd (оверлей прозрачного сжатия — чтение/запись, основан на FUSE)

· Cramfs — Compressed ROM file system, свободная сжатая файловая система для GNU/Linux для встраиваемых систем основанных на ПЗУ.

· Cromfs — Работающая в пользовательском пространстве (FUSE) файловая система только для чтения использующая эффективность LZMA алгоритма сжатия.

· Datalight Reliance — Транзакционная файловая система для 32 битных встроенных систем от Datalight.

· Davfs2 — Расширение файловой системы WebDAV

· DFS — Распределённая (сетевая) файловая система для ОС семейства Microsoft Windows

· DRBD — Позволяет создать общее для кластера зеркальное дисковое пространство, грубо говоря, RAID1 между накопителями на разных машинах в сети. Когда на одной машине производится запись на диск, DRBD сразу синхронизирует эти данные на дисках других машин.

· FDI — Файловая система разработанная Intel для Flash носителей. Используется, в частности, в сотовых телефонах марки Motorola.

· Freenet — Децентрализованная, сетевая файловая система анонимного обмена зашифрованными файлами, в некотором смысле аналогичная проектам Gnutella и Napster.

· ftpfs — Файловая система, используемая при доступе по протоколу ftp

· fuse — Файловая система пользователя, аналогична lufs но имеет лучшую архитектуру.

· FuseCompress — Основана на FUSE, предоставляет прозрачное сжатие данных.

· GmailFS — (Google Mail File System) — Файловая система Google для своей почтовой системы GMail.

· HDFS — Распределенная файловая система, являющаяся частью проекта Apache Hadoop.

· InterMezzo — Является преемником Coda, поддерживает синхронизацию с сервером и кэширование файлов.

· Kimberlite — Система позволяющая подключить две машины под ОС GNU/Linux к одному SCSI-накопителю.

· lnfs — Система поддержки длинных имён

· LUFS — Система для доступа по протоколам ftpfs, ftp ssh

· MapFS — Распределённая файловая система компании Levanta. Позволяет монтировать группе машин удаленную файловую систему доступную в режиме только для чтения, но дающую возможность модификации файлов, при этом изменения произведенные на каждой машине сохраняются локально. Лицензия GNU GPL.

· MelioFS — Распределённая файловая система компании Sanbolic. Позволяет множеству машин одновременно работать на чтение и на запись не только с одним томом, а даже с одним файлом. Поддерживается множество родных возможностей по работе с файловыми системами MS Windows.

· mini fo (The mini fanout overlay file system) — Перенаправляет модифицированные операции в записываемое пространство названное директориях хранения, оставляет оригинальные данные в основной директории незатронутыми. При считывании, файловая система смешивает модифицированные данными и оригинальные, так чтобы только наиболее новая версия была показана.

· MVFS — MultiVersion File System — Мультиверсионная файловая система, пропиеритарная, используется Rational ClearCase.

· NBD — Модуль для Linux реализующий поддержку виртуальных дисковых разделов, физически расположенных на другой машине в сети. Прекрасно подходит для реализации RAID-массива распределенного по сети.

· NCUFS — The NetWare UNIX Client File System (NUCFS), сетевая файловая система от SCO, используется для подключения UNIX-клиентов к файловым ресурсам серверов Novell NetWare.

· nntpfs — Система поддерживающая протокол netnews

· NOOFS — Сетевая файловая система, использующая в качестве хранилища данных SQL-базу, в частности PostgreSQL.

· ParFiSys — Экспериментальная файловая система для параллельной обработки данных

· plumber (Plan 9) — Система обмена сообщениями между работающими процессами, иначе реализация механизма «многопоточности»

· PVFS — Распределенная файловая система, заменяющая NFS для кластера. Состоит из централизованного сервера метаданных и множества демонов ввода/вывода, непосредственно занимающихся отдачей и сохранением информации. Данные хранятся на специально отведенных нодах кластера, возможности резервирования пока отсутствуют.

· ramfs — Система используемая для создания RAM-диска в процессе загрузки ОС семейства BSD и на ядре Linux

· romfs — (ROM filesystem) — Чрезвычайно простая файловая система, без многих функций, предназначена для записи важных файлов в EEPROM. Доступна в Linux, и возможно в других UNIX-похожих системах.

· SquashFS — Система компрессирующая данные с атрибутом «только для чтения»

· tmpfs — Файловая система поддерживающая работу с виртуальной памятью.

· UMSDOS — Файловая система подобная FAT, но расширенная для хранения прав доступа и метаданных, используется в ОС на ядре Linux.

· UnionFS — Каскадно-объединенная файловая система, которая может смешивать содержимое различных директорий (ветви), оставляя содержимое физически разделенным.

· WDK.VFS — SiteAdmin CMS — Виртуальная файловая система, представлена Evgenios Skitsanos.

· wikifs (Plan 9) — Файловая система используемая Википедией

· Barracuda WebDAV plugin. Безопасный сетевой файловый сервер для встроенных устройств.

· SODA: a Lease-based Consistent Distributed File System — (ранние 1990ые годы)

· SysmanFS (Основана на FUSE), виртуальная файловая система для управления кластерами.

· pramfs — Защищенная и постоянная файловая система для RAM устройств.

· ERTFS ProPlus64 — Идет с интегрированной операцией защиты от сбоев, по умолчанию работает в журналируемом режиме.

· Callback File System виртуальная файловая система для Windows

· Owner-Free Filesystem — распределённая файловая система, в которой никакой файл не хранится целиком на единственном компьютере.

Псевдо и виртуальные файловые системы

· devfs — Устаревшая система файловых устройств в ОС семейств BSD, GNU/Linux

· procfs — Система для обслуживания процессов, устаревший механизм ОС семейств BSD, GNU/Linux

· specfs — Специальная файловая система для файловых устройств

· sysfs — Получение информации о системных устройствах и драйверах в ОС GNU/Linux

Шифрованные файловые системы

· eCryptfs — Криптографическая файловая система в ядре Linux начиная с версии 2.6.19

· EncFS, GPL Encrypted file system — Шифрованная Файловая Система — в пользовательском пространстве.

· EFS Encrypted file system — Шифрованная Файловая Система — для Microsoft Windows систем. Является расширением файловой системы NTFS, использует сертификаты шифрования.

· FSFS — Fast Secure File System — Быстрая Безопасная Файловая Система — Домашняя страница проекта (EN)

· FreeOTFE — Бесплатное свободное программное обеспечение для шифрования в Windows, Windows Mobile, и Linux. Домашняя страница проекта (EN)

· PhoneBookFS

· Rubberhose filesystem

· Solid File System — (SolFS) — Кроссплатформенная однофайловая виртуальная файловая система с шифрованием и сжатием.

· Secure Shell File System (SSHFS) — позволяет локально монтировать директорию с удаленного сервера, используя только учетные данные secure shell.

· TrueCrypt — Бесплатное свободное программное обеспечение для шифрования в Windows, Mac OS X и Linux. Домашняя страница проекта (EN)

· ZFS — Поддержка шифрования в файловой системе ZFS Домашняя страница проекта

Файловые системы с защитой от сбоев

Файловые системы с встроенной избыточностью. Обычные файловые системы для встроенных систем использующие транзакции или журналы не должны попасть в этот список.

· RAIF Redundant Array of Independent Filesystems — Избыточный Массив Независимых Файловых систем — файловая система похожая на структуру RAID.

· ZFS Содержит свое внедрение RAID-5 и RAID-6 — RAID-Z и RAID-Z2 соответственно.

http://lsilogic.ru