Самодельный фотохостинг

После закрытия яфоток искал более-менее долговечный бесплатный фотохостинг. Истории про всякоразные бесплатные сервисы рассказывать не буду, и так у всех на слуху. Фликр уверенно сокращает объем бесплатного сервиса (халява, похоже, скоро закончится). Файлохостинги - неудобны для публикации, т.к. предназначены только для хранения.
Но я ж в телекоме работаю 8)
Итог - домашний сервер.

Дальше читать можно, если у вас есть примерное представление о работе IP, установке/настройке/обслуживании линукса и веб-софта под него.
Желательно владеть английским или гуглопереводчиком.

Что требуется:

Провайдер с более-менее вменяемым каналом и возможностью аренды постоянного IP. Желательна возможность получить у провайдера доменное имя к этому IP - чтобы потом обращаться к сайту по этому имени, а не по IP.

Не совсем тупой интернет-роутер с возможностью "проброса портов" и умение этот проброс настроить. Какой-нибудь TP-Link Archer C** подойдет.

Железо:

Микрокомпьютер с "железными" ethernet и SATA. Вайфай на нем не нужен.
Рекомендуется платка от Banana PI (модели M2 Berry / M2 Ultra как раз подойдут). Цена - 3-5 тыр в зависимости от комплектации. Кроме собственно платы, нужен корпус с вентиляторами, радиаторы на процессор и память, блок питания 5В 2А (можно трехамперный, лишним не будет). Экран не нужен.
Есть и другие варианты - например, старый андроидный ТВ-бокс с разъемом под винчестер, ниже по ссылке есть перечень подходящих.

Ноутбучный SATA-винчестер. Мне хватило 120-гигового SSD.

Софт:

Операционка - линукс (убунту или дебиан). На сайте разработчиков плат обычно раздают образы для загрузки и инструкции, как его запихать в плату. Я взял за основу образ отсюда (английский!). Само собой, систему обновлял, дырки латал.
UPD (июль 2021 г.): Сейчас использую Armbian. Брать здесь, основной сайт - здесь.

Веб-сервер - что-нибудь попроще и без проблем с безопасностью. Nginx или Lighttpd - в самый раз. Apache можно, но он очень жадный до ресурсов, коими железка не богата.

Самоделки:

Собственно движок сайта. Со всякими готовыми поделиями на php+mysql решил не связываться, ибо дыр в безопасности там море, последствия взлома могут быть печальными, а выискивать и латать - влом. Использую самопальный генератор статических страниц, шаблоны к нему и стили наваял сам. Самый простой готовый вариант - генератор галерей в xnview. Как обновлять сайт - чуть позже.

Тонкости:

Интернет-подключение используется обычное домашнее. Если сайт не мегапопулярен, то 50+ мегабит вполне хватает. Тонкость в том, что для сайта нужна не входящая скорость, а исходящая (speedtest вам в помощь).

Железку-сервер подключать к роутеру проводом, а не через вайфай. В детали вдаваться не буду, просто поверьте.

Держать контент и логи (а еще лучше - и всю систему) надо именно на винчестере или SSD, а не на загрузочной SD-карте (как сделать - есть примерное описание по ссылке выше). Причина - малый ресурс карточек при перезаписи, есть шанс убить карту за полгода-год.

Надо (вот прямо надо) ознакомиться с законодательством и доступной судебной практикой на предмет работы с персональными данными. Что это такое, как оно касается веб-серверов, подписок и т.п.

Как сделать:

1. Собрать железку, установить туда образ операционки (по инструкции с сайта).

2. Подключить проводом к интернет-роутеру, включить.

3. Посмотреть на интернет-роутере, какой локальный IP (вроде 192.168.**.**) выдан железке.

4. Законнектиться туда терминалом (SSH) с домашнего компьютера, для этого можно использовать программу putty.

5. Застолбить локальный IP для железки. Можно в настройках интернет-роутера привязать mac железки к IP, можно настроить IP на сетевом интерфейсе железки.

6. Настроить и проапгрейдить систему, поменять пароли, залить ключи для SSH, включить SFTP и т.д. Собсно, то, о чем предупреждал в самом начале.

7. Установить и настроить веб-софт (готовый из пакетов).

8. Сгенерить содержимое сайта на компьютере, проверить, залить на сервер по SFTP. В качестве клиента использую far manager 3 с плагином netbox.

9. Проверить работу сервера, обращаясь к нему c домашнего компьютера по локальному IP-адресу.

10. (это можно сделать и раньше) Заказать у провайдера постоянный IP-адрес и доменное имя к нему. Постоянный IP будет использоваться интернет-маршрутизатором.

11. Настроить на интернет-маршрутизаторе проброс портов на локальный IP сервера. Если сервер использует только http - пробрасывать tcp/80. Если используется https - еще и tcp/443.

12. Проверить доступ к серверу "снаружи" (мобильный 3G/4G интернет подойдет).

Что дальше:

Я использую только "статический" контент, меняю его на домашнем компьютере, потом заливаю на сервер. "Снаружи" заливка контента не предусмотрена по соображениям безопасности.
В принципе, можно использовать и готовые решения с динамикой и заливкой через сеть (как на публичных фотохостингах), но это требует постоянного внимания - отслеживание ВСЕХ уязвимостей ВСЕГО используемого софта, своевременное обновление и т.п. - все то, за что платят админам в хостинговых компаниях. Нунафиг.
Периодически надо заглядывать в логи сервера (системные и веб-) - мало ли что.
Вовремя апдейтить систему и софт.
Сервер держать постоянно включенным (и интернет-роутер тоже). Электричества он потребляет в пределах 5 ватт - т.е. 1 киловатт-час намотает где-то за 8-10 суток.
Плюс нанадцать рублей в месяц за постоянный IP провайдеру, а за интернет я и так плачу.
Самое время понять, почему совсем бесплатный хостинг - фикция.

Как все это выглядит - см. ссылку в моем профиле.

чтобы без проблем с домашнего компьютера смотреть "внешние" страниы с картинками с домашнего сервера (ну вот как здесь на форуме публикуем) - доменное имя сервера с его локальным IP надо занести в резолвер домашнего компьютера (для винды - в файл c:\windows\system32\drivers\etc\hosts)

Если бы то что вы пишите было целесообразно, то никто бы не платил за хостинг. Включите аналитическое мышление.

Хотя я тоже было задумал такое. Ещё 11 лет назад начал считать эффективность домашнего сервера, но закончил вычисления сразу после расчётов стоимости электроэнергии. А с тех пор она раза в три подорожала, тогда как хостинг или подешевел или остался на прежнем уровне цен.

А есть ещё затраты на железо, на обслуживание и т.д. и т.п. И это при том, что мой провайдер раздаёт статические IP бесплатно. (Кстати, для использования доменного имени, необязательно иметь статический IP. В сети можно найти инфу, как это обойти.)

Если у вас иногда бывают задержки с открытием хоть каких-то страниц, то это же самое будут испытывать ваши посетители. Только очень крупные дата центры могут обеспечить стабильный доступ сразу по всем направлениям. Даже если залить сайт на сервер небольшого местного провайдера, то доступ будет не ахти.
Хотя хомячок, ориентированный на аудиторию своего города конечно работать должен стабильно. Но хостинг такого хомячка с тремя посетителями в час вообще почти ничего не будет стоить. Наверняка можно за 1$ купить.

Рекомендую сделать расчёты и хорошо подумать, прежде чем изобретать велосипед.

Но вот иметь домашний виртуальный сервер для настройки сайта конечно удобно. Но с этим справится тот же бесплатный портативный Denwer, который даже можно и не настраивать, если сайт небольшой. Потом просто заливаете всё что сваяли на удалённый. Опять же можно базы данных проверять и ковырять, без боязни, что-то нарушите на удалённом.

Вы совершенно правы, если все это рассматривать как бизнес-идею.
Но.
Сервер, как вы метко выразились, "хомячковый с тремя посетителями" - описанное решение только для этого и годится.
Фотография для меня - хобби, деньги зарабатываю другими способами.

Поэтому об "эффективности" здесь говорить как минимум странно. Разве что наладить изготовление и продажу таких серверов хомячкам

Цитата:

от: Kolobokk

Рекомендую сделать расчёты

Извольте.

Капзатраты:
Цену новой железки я уже называл (от 2500 руб).
В моем случае это купленный лет десять назад и морально полностью устаревший андроидный ТВ-бокс.
SSD (1200 руб)
2ГБ SD-карта (200 руб).

Операционные затраты:
Тариф - примерно 4 р/КВт, потребление - 3 (три) КВт в месяц.
Еще 20 р/мес - за постоянный IP и доменное имя. Про системы, позволяющие обходиться без него (вроде DynDNS), знаю, но они или тоже платные, или ненадежные.
Итог за месяц - 32 рубля.

Работа под нагрузкой:
6 одновременных запросов с отдачей трехмегабайтного файла железка выдерживает без снижения скорости отдачи. Тест проводился на 100-МБит проводной сетке, в пределах одного сегмента, скачивалось одновременно до 6 файлов размером 1-5 мегабайт. Сеть при этом была загружена почти на 100% (т.е. скорость отдачи ограничивалась пропускной способностью сети). Не забываем, что 6 одновременных - ну пусть в течение секунды - запросов для "хомячкового" сервера - уже очень круто. Ну и вспоминаем, что это - очень старая железка, предложенные платы BPI на порядок мощнее (при близком энергопотреблении).

Насчет хостинга за $1 в месяц - не нашел. Если чуть дороже - есть платные фотохостинги, их все знают, и те, кому они нужны - эффективно ими пользуются :D

И да, я прекрасно себе представляю, как устроен хостинг в крупных телеком-компаниях, из чего делается, как обслуживается и во что обходится. Должностные обязанности - они обязывают, знаете ли...

Цитата:

от: Kolobokk

и хорошо подумать, прежде чем изобретать велосипед.

Поздно! Уже изобрел! :D

Хочется если порграть с домашним сервером- ради бога.
Можно как вариант взять старый нетбук (от 3-4 тыс руб). или настоящий сервер (у меня двухпроцессорник древний на Xeon на шкафу стоит-дури много, но не тихий он и энергопотребление поболее). Самому играться не очень хочется- у меня две стойки с этими серверами на работе (два интернет канала, два ввода электричества с разных подстанций и дизель генератор).

Смысл вижу в этом если на домашний сервер нагружен функционал (умный дом, видеонаблюдение и т д)

А галере- на айхор (хостинг такой) самый дешёвый тариф
ЭКОНОМ
60 /мес.
5 GB SSD
512 MB RAM
∞ трафик. При оплате за год вперёд- будет цена чуть больше 50 руб/мес.

А самый бюджетный вариант фотогалереи- это соц сети.

Сколько сразу не видящих смысла...

Цитата:

от:Ivan Labuda
Интернет-подключение используется обычное домашнее. Если сайт не мегапопулярен, то 50+ мегабит вполне хватает. Тонкость в том, что для сайта нужна не входящая скорость, а исходящая (speedtest вам в помощь).

Подробнее

Кештровать через cloudflare и будет счастье с https в придачу.

Цитата:

от:Ivan Labuda
Итог - домашний сервер.
...
Железо:
...
Софт:
...
Самоделки: Использую самопальный генератор статических страниц, шаблоны к нему и стили наваял сам. Самый простой готовый вариант - генератор галерей в xnview. Как обновлять сайт - чуть позже.

Подробнее

Вопрос сколько фотографий хочется хранить и кому показывать

вот у меня есть домашний сервер Synology (файло/бекапно/музыкальная помойка) и как-то не возникало желания показывать с него фотки во вне ... так-же есть внешний хостинг на котором два моих сайта... с которых показываю картинки + облака, куда можно залить кучу всего для отдачи, а потом стереть и опять залить.

есть у меня подозрение что на современном роутере, с подцепленным по USB диске, можно поднять сайт раздающий картинки... если хочется совсем минималистично.

я когда-то делал статичный сайт, и немного подзадолбался каждый раз пересобирать страницу когда хочу добавить картнку, сделать портфолио из 20 картинок чтобы крутилось да, а сайт в который будут добавляться новые картинки скорее нет... покрайней мере такой мой опыт. может за прошедшее время что-то изменилось...

Цитата:

от: Attar

Вопрос сколько фотографий хочется хранить и кому показывать

Такая самоделка вполне годится для "хомячкового сайта" с небольшим трафиком и при наличии каких-никаких навыков админа и вебмастера. Ну и ЧСВ почесать :D

Я этим занялся после закрытия яфоток, покупки фликра смагмагом и безобразий с фотосп. Вместо плача "беда-беда, где теперь халяву найти..."

Задачи посерьезнее решаются платным специализированным хостингом от серьезных компаний, тут без вариантов - по многим причинам.

Готовый домашний сервер вроде упомянутого вами выставлять в интернет опасно - вскроют на раз. Устраивать подобное на роутере - тоже опасно, да и довольно сложно (но можно) добиться нужной производительности.

Насчет головняка с обновлениями статики - вопрос решаемый, если это не нужно делать ежечасно. На домашнем компе никто не запрещает вести базу, запускать скрипты и т.п. (главное, все это в инет не выставлять). А синхронизировать контент по локалке - пару кнопок нажать.

/

Цитата:

от:Ivan Labuda
Такая самоделка вполне годится для "хомячкового сайта" с небольшим трафиком и при наличии каких-никаких навыков админа и вебмастера. Ну и ЧСВ почесать :D
...
Готовый домашний сервер вроде упомянутого вами выставлять в интернет опасно - вскроют на раз. Устраивать подобное на роутере - тоже опасно, да и довольно сложно (но можно) добиться нужной производительности.

Подробнее

мой хомячковый блог после настройки .htaccess с блокировкой материкового Китая, стремнинных пауков и юзерагентов типа IE6 и ... имеет несколько тысяч просмотров страниц в день(роботами, пауками, RSS ну и людьми), на не SSD, хостинге это иногда доставляло...

я не думаю что это возможно запустить из дома, даже кешируя через что-то типa cloudflare

--
но как выше сказали сейчас картинки хостят в соцсетях... и вот мне нужен свой блог для того чтобы не быть связанным с ними, с их политикой по отношению к полите, сиськам, ругани и прочему.

можно про вскрытие на раз сервера от Synology выставленного в интернет? я не оспариваю, просто интересно... я не айтишник


Цитата:

от:Ivan Labuda
Насчет головняка с обновлениями статики - вопрос решаемый, если это не нужно делать ежечасно. На домашнем компе никто не запрещает вести базу, запускать скрипты и т.п. (главное, все это в инет не выставлять). А синхронизировать контент по локалке - пару кнопок нажать.

Подробнее

опять все зависит от личных потребностей, если публиковать не скопом акартинки по штучно, и ещё редактировать опубликованное, то доставляет... еслди конечно не сделать все это совсем автоматическим

Про производительность: текущий вариант крутится на совсем уж дохлой железке (одноядерный проц 1ГГц, 1 гиг памяти). На отдаче начинает заметно тормозить где-то при 10-12 одновременных запросах, хотя за 4 месяца работы такого не случалось. Думаю, железки поновее прожуют минимум на порядок больше.

Про блог: есть некоторые неочевидные сложности.
Во-первых, безопасность персональных данных (уже упоминал, что надо ознакомиться и сделать для себя выводы).
Во-вторых, поправки из "закона Яровой" и те законы, в которые эти поправки вносятся.
Поэтому я предпочел не связываться с формами обратной связи, комментариями и пр. Соцсети и специализированные сайты для этого удобнее, там все есть (ну или должно быть :D ).
Ессно, это касается только проживающих в России - в других странах свои порядки.

Про уязвимости: https://www.cvedetails.com/vulnerability-list/vendor_id-11138/Synology.html (английский!)
Суть в том, что подобные решения используются в худо-бедно контролируемой среде - домашней или офисной локальной сети - и, в общем, не готовы к противостоянию целенаправленному взлому. Ну типа как домашняя тумбочка не справится с ролью сейфа.

Про "поштучное" редактирование:
поправил/добавил/удалил картинку.
перегенерил галерею, в которой она находится.
засинхронизировал (передаются только измененные файлы).
Опять же, текущее решение не рассчитано на постоянные (частые) изменения.

Цитата:

от:Ivan Labuda
Про производительность: текущий вариант крутится на совсем уж дохлой железке (одноядерный проц 1ГГц, 1 гиг памяти). На отдаче начинает заметно тормозить где-то при 10-12 одновременных запросах, хотя за 4 месяца работы такого не случалось. Думаю, железки поновее прожуют минимум на порядок больше.

Подробнее

Если вставлять картинки например в форумы фотору, в какие-то моменты количество запросов может преревалить за то с каким моет справится мелкий серверок...



Цитата:

от:Ivan Labuda
Про блог: есть некоторые неочевидные сложности.
Во-первых, безопасность персональных данных (уже упоминал, что надо ознакомиться и сделать для себя выводы).
Во-вторых, поправки из "закона Яровой" и те законы, в которые эти поправки вносятся.
Поэтому я предпочел не связываться с формами обратной связи, комментариями и пр. Соцсети и специализированные сайты для этого удобнее, там все есть (ну или должно быть :D ).

Подробнее

комментарии можно отключить, пока бешеные законы не прочитаешь :)

проблема с соц сетями в том что поиск не работает, ну и контент фактически (что-бы не писали в лицензионном соглашении) принадлежит не пойми кому. Я терял посты, терял интересные ветки обсуждений...

Цитата:

от:Ivan Labuda
Про уязвимости: https://www.cvedetails.com/vulnerability-list/vendor_id-11138/Synology.html (английский!)
Суть в том, что подобные решения используются в худо-бедно контролируемой среде - домашней или офисной локальной сети - и, в общем, не готовы к противостоянию целенаправленному взлому. Ну типа как домашняя тумбочка не справится с ролью сейфа.

Подробнее

с тумбочкой и сейфом хорошая метафора
с интересом прочитал о уязвимостях... я кстати не нашел там по ссылке чего-то особо злого применительно к созданию статическое сайта во вне, хотя да наверное можно взломать, большинство дыр в Synology Photo Station - игрушке, осмысленность которой для меня сомнительна.

Цитата:

от: Attar

Если вставлять картинки например в форумы фотору, в какие-то моменты количество запросов может преревалить за то с каким моет справится мелкий серверок

Ну да, если вываливать целые простыни - за день по полсотни ссылок в десятке веток... :D
Цитата:

от: Attar

с интересом прочитал о уязвимостях... я кстати не нашел там по ссылке чего-то особо злого применительно к созданию статическое сайта во вне

Удаленный пролом любого сервиса с получением системных привилегий - и привет, весь хост скомпрометирован. А там куча сервисов в сеть торчит...

Цитата:

от: Ivan Labuda
Ну да, если вываливать целые простыни - за день по полсотни ссылок в десятке веток... :D

я имел в виду скорее коммутативно, в день по фотке и через год 300 ссылок в форуме/форумах... а иначе можно обойтись чем-ни будь из того что осталось.

с одной стороны на своем винте можно выкладывать ссылки на хайрезы, с другой стороны, а нафига хайрезы в сеть выкладывать (филосовско-риторический вопрос) ну и трафик они будут создавать.

меня вот условно интересовал домашный хостинг видео, чтобы не быть связанным с ограниченным ресурсом моего хостинга, и копирастическими правилами относительно музыки в соц сетях, но тут я оказываюсь ограниченным в толщине канала 100 меггабит и платить за большее пока не хочу... возможно отдав под кеш видео 1-2 гигабайта своего хостера... ну это все из разряда досужих рассуждений на тему :)

Цитата:

от: Attar

я имел в виду скорее коммутативно

Кумулятивно, наверное :D Вряд ли трафик даже при тысяче-другой ссылок на форумах вроде фото.ру сколько-нибудь заметно загрузит такой серверок. Вот домашний канал, если тяжелый контент отдавать - может и просесть.
Надо бы нагрузочные тесты повторить. Как сделаю - сюда выложу результат.
Цитата:

от: Attar

меня вот условно интересовал домашный хостинг видео, чтобы не быть связанным с ограниченным ресурсом моего хостинга, и копирастическими правилами относительно музыки в соц сетях

Не, это точно - к сурово платным хостерам, да и там тоже от борцов за правообладание никуда не денетесь.

Цитата:

... если все это рассматривать как бизнес-идею.

Тогда это больше похоже на обычный показ фотографий при отсутствии уверенности в их ценности. Лучше делать это самолично через Skype или ещё какой-нибудь сервис. Тогда получите эффект присутствия, да и ваш зритель уже не отвертится.
Это тот же показ слайдов, только на расстоянии. Я был зрителем таких показов. При правильных комментах автора смотреть можно. Главное не показывать всё что наснимали, а предварительно просеять несколько раз, пока из всей коллекции не останется несколько десятков.
То же самое можно оформить в виде слайд-шоу и залить на Youtube.

Но лучше всё же изменить своё отношение к слову "бизнес". Стоимость любого произведения искусства так или иначе обозначает его ценность для окружающих. Ну а в заявления типа: "Я не хочу чтобы мой сайт давал доход больше моей зарплаты, потому что тогда мне пришлось бы уволиться", - я не верю.

Цитата:

от: Kolobokk

Тогда это больше похоже на обычный показ фотографий при отсутствии уверенности в их ценности.

Точно, это оно и есть. Вы догадались! :D
Цитата:

от: Kolobokk

Главное не показывать всё что наснимали, а предварительно просеять несколько раз

:D Снимаю довольно много, в основном - для семейного архива/альбома (сами понимаете, это все мало кому интересно). На сайт выкладываю то, чем хочу похвастаться, то, о чем хочу спросить, ну и то, о чем могу рассказать отдельно.

По поводу количества снятого и выложенного. Простой пример: посмотрите, там есть снимки с фестиваля "Щит Сибири" (прошлогодний и нынешний). За день я там снимал по нескольку сот кадров, для показа отобрал сами увидите сколько. Позапрошлогодний выкладывать вообще не стал.

Цитата:

от: Kolobokk

Но лучше всё же изменить своё отношение к слову "бизнес". Стоимость любого произведения искусства

Хм.
Если я что-нибудь в чем-нибудь понимаю, то бизнес - это не снимать на продажу/за деньги, а делать большие деньги на тех, кто снимает.

Ну и не хочу делать из хобби работу. Во-первых, я недостаточно талантлив, чтобы то, что я снимаю для собственного удовольствия, было коммерчески успешным. Во-вторых, я снимаю именно для собственного удовольствия - бОльшая часть которого куда-то внезапно пропадет, если снимать с прицелом на коммерческий успех.

P.S. Показывать фото на ютубе - извращение! :cannabis: