Форум Гнезда :: Археология или Kernel Джонс в поисках Архивов Сообщества
Показать больше информации
Здравствуйте,Гость | Сегодня Четверг, 3 Октябрь 2024
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

   Начало   Правила Войти Регистрация  

grant
Страниц: [1]   Вниз
  Печать  
Автор: kernel Тема: Археология или Kernel Джонс в поисках Архивов Сообщества   (Прочитано 7275 раз)
0 Пользователей и 1 Гость смотрят эту тему.
Kernel

Дракон
Азеркин





Сообщений: 196


Offline Offline

« : 04 Ноябрь 2014, 14:30:36 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

Всем известно, что у нашего сообщества (как глобально, так и в рунете) долгая и богатая история, ведущая исток, как минимум, от первых компьютерных сетей.

Однако, "все течет, все меняется" - дискуссии угасают, ресурсы, а то и сети умирают в забвении. Казалось бы, современные технологии дают совершенно замечательный задел для тотальной архивации всего происходящего, но это лишь иллюзия. Ограничения авторских прав и смена технологий привели к тому, что многое утеряно безвозвратно. И хотя существуют инициативы по сохранению истории (здесь я снимаю шляпу перед людьми из archive.org), они специализируются на массовых явлениях, к которым мы не относимся.

Посему, призываю ветеранов и новичков сообщества поделиться ссылками и копиями знаковых мест и явлений. Поначалу сохранение результатов можно организовать на базе Гнезда, но позже надо будет решать вопрос о надежном и доступном в долговременной перспективе хранилище. Да, многое из этого все еще доступно, но систематизация, обновление файлов (например, перекодирование в unicode) и размещение в одном месте еще ничему не вредили.

Также, призываю поделиться логами обсуждений в личной переписке и разнообразных чатах (конечно, на условиях обезличивания записей и вырезки приватной информации).

После всего мною написанного может возникнуть логичный вопрос - "Зачем?" Я считаю, что, во первых, это нужно для того, чтобы новоприбывшие (скромный поклон) могли найти ответы на свои вопросы и наступить на меньшее число грабель. Также это будет полезно в будущем для исследования феномена драконности (не я первый и не я последний на этом поприще, но передача и сохранение результатов должны быть, иначе мы обречены топтаться на месте, ни на каплю не приблизившись к пониманию происходящего).

С уважением,
Kernel
Записан

Программист, скептик, дракон.
Shurik

Хранитель




Сообщений: 1 981


Offline Offline

« Ответ #1 : 04 Ноябрь 2014, 17:38:34 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

Цитата: kernel
Также, призываю поделиться логами обсуждений в личной переписке и разнообразных чатах (конечно, на условиях обезличивания записей и вырезки приватной информации).
Личкой?  O_O . Даже обезличенная при определенном усердии просчитывается на раз два .

А в целом согласен.
Ссылки умирают довольно быстро, стоит зайти в старую тему как это сразу явно видно.
Вопрос упирается в деньги и время. Бесплатно файлы надежно хранить дорого. К тому же у копирастов не утихают потуги продавить свои законы.
А время нужно , пройтись по всем ссылкам, какие еще живы, сохранить контент у себя, я так делаю , но это быстро утомляет.
Записан
Kernel

Дракон
Азеркин





Сообщений: 196


Offline Offline

« Ответ #2 : 04 Ноябрь 2014, 19:40:57 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

Личкой?  O_O . Даже обезличенная при определенном усердии просчитывается на раз два .

Спокойно! Никто не предлагает выставлять на всеобщее обозрение свои "скелеты в шкафу", но если там нет ничего "криминального", почему бы и нет? В конце концов, никто вас не заставляет "выворачивать карманы", все на добровольной основе .

Ссылки умирают довольно быстро, стоит зайти в старую тему как это сразу явно видно.
Вопрос упирается в деньги и время. Бесплатно файлы надежно хранить дорого. К тому же у копирастов не утихают потуги продавить свои законы.
А время нужно , пройтись по всем ссылкам, какие еще живы, сохранить контент у себя, я так делаю , но это быстро утомляет.

На первое время и гнездо сойдет, но это несерьезно, да. Различные личные облачные хранилища тоже не подходят - что станет с ними, если с владельцем что-то произойдет? Аналогичная проблема, кстати, присуща и сайтам - сколько доменов "просто забыли продлить"? В идеале, нужна какая-то p2p технология, чтобы не было единой точки отказа. При этом, вариации на тему bittorrent'а тоже не айс - нет гарантии, что все скачавшие не уйдут с раздачи. На преодоление этого недостатка направлена одна из идей развития p2p протоколов - каждый пользователь протокола должен выделить некое минимальное пространство на своей машине, в котором клиент будет сохранять умирающие раздачи, что обеспечит сохранность информации.

"Любители копирайта" - не проблема. Слишком специализированный и малоинтересный для среднего пользователя, а следовательно неприбыльный, у нас контент.

Время... Время - это действительно проблема. Планирую лично заниматься работой, привлекать добровольцев и переиспользовать старые результаты (для чего и создал эту тему). К тому же, можно неплохо ускорить процесс, если использовать автоматизацию. Существуют программы, способные выкачивать сайты целиком. Для никсов - это банальный wget. Можно набросать скрипт, который заставит его пытаться выкачать все, что можно, отловит все неудавшиеся (например из-за 404) загрузки и сложит их в отдельный файл.
Записан

Программист, скептик, дракон.
Tannin

Хозяйка Гнезда
Дракон





Сообщений: 2 823


Offline Offline

WWW
« Ответ #3 : 04 Ноябрь 2014, 19:43:39 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

kernel,
Предложение интересное.
Необходимо уточнить - что именно тебя интересует? История сообщества, теоретические вопросы, что-то еще?
Это ведь совершенно разные направления.
И еще. Ты пришел с предложением "накидайте мне ссылок" (про лички умолчим). Ты сам готов что-то предложить? Сам готов вести работу?
Записан

Благими намерениями вымощена дорога в ад
Kernel

Дракон
Азеркин





Сообщений: 196


Offline Offline

« Ответ #4 : 04 Ноябрь 2014, 20:15:15 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

//Трансляция сообщения из чата
В абсолюте - все:). Но на практике собираюсь отдавать приоритет теоретике, со всех возможных позиций (эзотерика, психология и т.д.). Готов собирать, конвертировать и обрабатывать (компиляция в подборки, в дальнейшем, возможно, оригинальные исследования) материалы.
Записан

Программист, скептик, дракон.
Sapphire

Дракон


Extreme Danger! High Voltage!

Сообщений: 573


Offline Offline

« Ответ #5 : 04 Ноябрь 2014, 21:14:32 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

Цитата: kernel
На преодоление этого недостатка направлена одна из идей развития p2p протоколов - каждый пользователь протокола должен выделить некое минимальное пространство на своей машине, в котором клиент будет сохранять умирающие раздачи, что обеспечит сохранность информации.
И в случае отказа оборудования эта информация будет безвозвратно утеряна. Необходимо резервное копирование.
Я считаю, что лучше хранить полную версию архива, чем её часть. И, конечно же, желание хранить архив зависит от размера архива и от того как он будет представлен (одним файлом или несколькими).
Записан
Kernel

Дракон
Азеркин





Сообщений: 196


Offline Offline

« Ответ #6 : 04 Ноябрь 2014, 21:38:00 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

И в случае отказа оборудования эта информация будет безвозвратно утеряна. Необходимо резервное копирование.
Я считаю, что лучше хранить полную версию архива, чем её часть. И, конечно же, желание хранить архив зависит от размера архива и от того как он будет представлен (одним файлом или несколькими).

В любом случае, я не знаю ни об одной реализации этой идеи, да и делать несколько копий никто не мешает.
Записан

Программист, скептик, дракон.
Lar




Dragon-запускальщик Больших Адронных Коллайдеров:З

Сообщений: 264


Offline Offline

« Ответ #7 : 06 Ноябрь 2014, 02:30:54 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

Читая всё это у меня возникло несколько вопросов. 
Самый любопытный из них, -  а вы случаем не из каких нибудь спецслужб?  trollface
Записан

А ты когда ни будь задумывался, сколько тебя в тебе?
Saurian






Сообщений: 487


Offline Offline

WWW
« Ответ #8 : 07 Ноябрь 2014, 04:59:26 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

А у меня другой любопытный вопрос: зачем всё это?! Ведь, макулатуры-то много, а сути мало.
Записан
Shurik

Хранитель




Сообщений: 1 981


Offline Offline

« Ответ #9 : 07 Ноябрь 2014, 09:18:21 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

Saurian,
Зачем ответ очевидный - чтобы не растрять народное достояние. В век информации некоторые редкие вещи увы теряются. Надежно хранится только попса.
Каталогизация тоже оставляет желать лучшего. Помнишь какунибудь вещь и она есть в интернетах , но не можешь ее найти.
Теперь понятно?
Записан
Kernel

Дракон
Азеркин





Сообщений: 196


Offline Offline

« Ответ #10 : 10 Ноябрь 2014, 00:42:57 »
Проголосовал ПРОТИВ. +1 Проголосовал ЗА.

Читая всё это у меня возникло несколько вопросов. 
Самый любопытный из них, -  а вы случаем не из каких нибудь спецслужб?  trollface

Нет, конечно нет! *Прячет за спину наградной наган, съедает удостоверение и выбрасывает фуражку в окно*

А у меня другой любопытный вопрос: зачем всё это?! Ведь, макулатуры-то много, а сути мало.

Мое мнение по этому вопросу изложил тов. Shurik.

По делу:

Уже несколько дней воюю с google groups, пытаясь выдрать оттуда полный архив afd. Wget не сработал сразу - он качает богатую javascript'ом и ajax'ом основную версию, лишенную всех данных. При помощи связки firefox+noscript, я смог найти url группы, работающий на голом html.

В дальнейшем, я использовал httrack, с указанием user-agent от lynx (чисто текстовый браузер без поддержки js), но смог получить только список тем, индекс, потому, что посты лежат в другом поддомене и ссылки из этого индекса на них ведут на temporarly moved с редиректом, пройти по которому, почему-то, httrack не хочет.

Я также экспериментировал с прямым скринингом постов из браузера, при помощи программ, записывающих движения мыши. Однако, в этом случае возникает проблема каталогизации тем - все страницы индекса стараются сохраниться под одним именем. К тому же, в таком случае ссылки не адаптируются для локального хранилища.

Я попытался скомбинировать скрининг и httrack, и потом поменять ссылки регулярными выражениями, но попытка провалилась - каждый раз при загрузке топика гугл генерирует случайное имя для файла, что не позволяет "просто положить статьи в соответствующие папки и поменять потом ссылки регэкспами".

Завтра я хочу попытаться изменить сценарий так, чтобы он задавал подходящие имена для каждого сохраненного треда, но, в любом случае, скрининг - медленное и ненадежное дело - стоит окну сохранения файла чуть запоздать, как сценарий проваливается. Если кто-то знает более быстрый/надежный способ, дайте знать.

p.s. Ссылки, на которые я вышел тоже выложу завтра, когда доберусь до компа, на котором все это делал.
Записан

Программист, скептик, дракон.
Tannin

Хозяйка Гнезда
Дракон





Сообщений: 2 823


Offline Offline

WWW
« Ответ #11 : 10 Ноябрь 2014, 12:55:50 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

там, кстати, нашлись и fido7.su.*
Записан

Благими намерениями вымощена дорога в ад
Kernel

Дракон
Азеркин





Сообщений: 196


Offline Offline

« Ответ #12 : 10 Ноябрь 2014, 18:34:37 »
Проголосовал ПРОТИВ. +1 Проголосовал ЗА.

там, кстати, нашлись и fido7.su.*

Даже не знаю, хорошо это, или плохо - попытки выдрать оттуда хоть что-то напоминают  .

p.s. Ссылки, на которые я вышел тоже выложу завтра, когда доберусь до компа, на котором все это делал.

Обещанное:

Внимание! Если ваш браузер поддерживает Javascript, вас перекинет на "современный" дизайн страницы, для которого указанные ссылки не подходят. Чтобы просмотреть их в неизменном виде можно:
а) Отключить JS в настройках браузера
б) Установить на Firefox дополнение "NoScript" (для Chrome можно попробовать "ScriptSafe")
в) Попробовать браузер, вообще не поддерживающий JS, например - links, lynx, elinks и т. д.


https://groups.google.com/forum/?_escaped_fragment_=forum/alt.fan.dragons#!forum/alt.fan.dragons - главная страница, содержит 21 запись.

]https://groups.google.com/forum/?_escaped_fragment_=forum/alt.fan.dragons[21-40-false] - пример ссылки на другую страницу индекса, по умолчанию отображается 20 сообщений, но изменив диапозон, можно увеличить их количество до 100.

https://groups.google.com/d/topic/alt.fan.dragons/d2rDmBGj6Wg - пример ссылки на топик из индекса.

https://groups.google.com/forum/?_escaped_fragment_=topic/alt.fan.dragons/d2rDmBGj6Wg#!topic/alt.fan.dragons/d2rDmBGj6Wg - действительная ссылка на тот же топик.
Записан

Программист, скептик, дракон.
Tannin

Хозяйка Гнезда
Дракон





Сообщений: 2 823


Offline Offline

WWW
« Ответ #13 : 11 Ноябрь 2014, 00:15:06 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

Цитировать
DC2.Dw Gm L- W T Phwaplt Sks,wl,bh Cja-\bz,v~ Bfl A- Fr N? M--- O H++
$~ F+~ R* Ac++ J+ S---! U- I---# V-- Q---! Tc++[c++] E+
они по-прежнему пользуются  кодом
Записан

Благими намерениями вымощена дорога в ад
Kernel

Дракон
Азеркин





Сообщений: 196


Offline Offline

« Ответ #14 : 11 Ноябрь 2014, 01:10:57 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

они по-прежнему пользуются  кодом
Они его даже обновили - это 2-я версия, расширенная и дополненная.
Записан

Программист, скептик, дракон.
^IRON^

Дракон
Азеркин
Олдфаг



Всё просто.

Сообщений: 890


Offline Offline

« Ответ #15 : 11 Ноябрь 2014, 17:11:00 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

Цитата: kernel
Нет, конечно нет! *Прячет за спину наградной наган, съедает удостоверение и выбрасывает фуражку в окно*
Вот, кстати, шутки шутками, однако, поймал себя на мысли, что не хочу отдавать свои логи (коих не мало) неизвестно кому.
Записан

Драконы никого не хотят убедить.
Kernel

Дракон
Азеркин





Сообщений: 196


Offline Offline

« Ответ #16 : 12 Ноябрь 2014, 00:02:30 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

Вот, кстати, шутки шутками, однако, поймал себя на мысли, что не хочу отдавать свои логи (коих не мало) неизвестно кому.

Это - нормально и, поскольку я - параноик, для меня понятно. К тому же, собираю я материалы не только для себя, но и для новых поколений, а это подразумевает свободный доступ к ним "неизвестно кого". Не имею ни морального права, ни, банально, физической возможности принудить кого-либо к выкладке, потому и не стану этого делать. Ещё раз повторю - все абсолютно на добровольной основе.
Записан

Программист, скептик, дракон.
^IRON^

Дракон
Азеркин
Олдфаг



Всё просто.

Сообщений: 890


Offline Offline

« Ответ #17 : 12 Ноябрь 2014, 22:28:07 »
Проголосовал ПРОТИВ. 0 Проголосовал ЗА.

kernel, появляйся в РЛ как-нибудь, пообщаемся, а там уже видно будет.
Записан

Драконы никого не хотят убедить.
Страниц: [1]   Вверх
  Печать  
 
Перейти в:  


* Форум Гнезда - Информационный центр
Последние сообщения
Последние сообщения
zloradovich Re: Фильмы, которые хотелось бы
Тема : Фильмы, которые хотелось бы
Фильмотека дракона 16 Сентябрь 2024, 05:26:12
zloradovich Re: Если бы не астероид
Тема : Если бы не астероид
Заходи на огонёк 14 Сентябрь 2024, 13:38:44
zloradovich Re: Кто что читает?
Тема : Кто что читает?
Библиотека дракона 04 Сентябрь 2024, 09:56:10
zloradovich Re: Winged class hero (первая часть)
Тема : Winged class hero (первая часть)
Библиотека дракона 04 Сентябрь 2024, 09:10:10
DR2020 Re: Драконы. Картинки и изображения. [Dragons. Pictures & Images]
Тема : Драконы. Картинки и изображения. [Dragons. Pictures & Images]
Галереи 06 Август 2024, 12:23:00
ShakuDancer Re: Кто откуда?
Тема : Кто откуда?
Флейм ;) 15 Июль 2024, 21:26:27
ShakuDancer Re: Расскажите о себе
Тема : Расскажите о себе
Флейм ;) 15 Июль 2024, 21:25:16
zloradovich Re: Эволюция виртуальных реальностей
Тема : Эволюция виртуальных реальностей
Флейм ;) 29 Июнь 2024, 08:19:01
zloradovich Re: Новости мира кино
Тема : Новости мира кино
Фильмотека дракона 24 Июнь 2024, 17:08:25
DR2020 Re: Дева и дракон
Тема : Дева и дракон
Фильмотека дракона 31 Май 2024, 01:05:46