#ШТОСМ

[e2blogengine]

Что произойдёт завтра с GPS?

Короткий ответ — ничего.

Вы уже слышали эту историю: приёмники хранят номер недели в десятибитном поле, и раз в двадцать лет оно переполняется. Завтра те устройства, которые давно не обновлялись, могут начать party like it’s 1999. Ошибка не повлияет на позиционирование, потому что внутренние вычисления всегда консистентны, проблема может быть только в неправильных метках времени.

GPS на сегодня даёт самое точное время, с ошибкой в пределах трёх наносекунд. Для сравнения, сетевой протокол NTP, который обновляет время в вашем компьютере, имеет точность около миллисекунды. Точность важна в GPS, потому что время используется для определения координат. Десять наносекунд — это примерно три метра ошибки.

Пользовательские навигаторы, которые могут быть обновлены, уже обновлены. Обычное решение — запрограммировать дату отсечки: например, если год внезапно получается меньше 2015, то прибавить двадцать лет. Многие так и латают дыру: очевидно, этот способ только отсрочивает ошибку, что и сломало даты в некоторых навигаторах в 2016-2017 годах.

Реальные проблемы это доставляет только исследователям, которые используют метки времени GPS в научных устройствах, разбросанных по Арктике и горам. Устройствах, замеряющих движение земной коры или синхронизирующих детекторы частиц. В этом году они мотаются по командировкам и срочно обновляют приёмники. Конечно, у многих есть опыт двадцатилетней давности: тогдашние проблемы кто-то решил заменой дорогих штучных устройств на более дешёвые и простые.

Трёх ��ругих спутниковых систем — ГЛОНАСС, BeiDou и Galileo — проблема не касается. Всю информацию я вытащил из этой презентации 2017 года для американского совета по позиционированию и замерам времени, и из позавчерашней статьи в Nature.

Источник: ШТОСМ - Что произойдёт завтра с GPS?. Опубликовано с помощью IFTTT.

[e2blogengine]

Конец SVN

На прошлой неделе SVN-репозиторий кода OpenStreetMap перевели в режим «только чтение». Чуть раньше то же сделали с Trac, системой управления задачами и онлайн-интерфейсом к коду. Оба сервиса давно устарели, разработка давно перешла в Git. Кроме JMapViewer и модулей для JOSM, которые переехали на собственный сервер.

Trac и SVN — это концентрированная история нашего проекта. Там можно посмотреть на первый код Стива Коста от августа 2004 года, когда он начал строить API на языке Java (потом всё переписали, конечно). В репозитории можно найти Osmarender и Tiles@Home, Gosmore, Yours, зачатки Mapnik и Nominatim, Potlatch 1, форк JOSM без инструментов, старый Java-аплет и много маленьких полезных скриптов для импорта и работы с данными. Большинство проектов переехали на GitHub. Ничто, кроме модулей JOSM, не обновлялось с 2018 года. Тикеты в Trac тоже перестали появляться полтора года назад, теперь их только закрывают.

Несмотря на медленный поток новый версий, и Trac, и SVN для современных разработчиков мертвы. Их успешно заменяют GitHub, GitLab или Bitbucket. Последняя версия Ubuntu, на которую сейчас переводят серверы OSM, вообще исключила Trac из репозиториев, отчасти потому, что тот требует устаревшего Python 2.7. Проекты OSGeo, когда-то все на Trac, переходят на GitHub или Gitea. Неудивительно, что в мае рабочая группа OWG решила отключить эти сервисы, оставив для истории их замороженные слепки.

Что делать разработчикам модулей для JOSM, которые пользовались SVN: зайти в каталог репозитория и ввести svn relocate со ссылкой из этой страницы. Дальше работать как раньше, через svn ci, svn up и тому подобное. В ближайшие годы JOSM не слезет с SVN, пусть код уже зеркалируется на GitHub. Но учить эту систему не обязательно: новые модули можно разрабатывать в GitHub или в GitLab. Достаточно создать проект в группе JOSM и добавить ссылку на собранный jar-файл в этот список.

Это не последнее изменение, запланированное OWG. Когда-нибудь случится ещё одно, которое затронет всех без исключения активных участников проекта. Форум, почтовые рассылки и справочную систему собираются объединить на движке Discourse. Потому что нынешний движок старый и неудобный, а форумы на discourse даже выглядят приятно: например, форум смоленских байкеров. Айан Диз уже смог импортировать базу форума на новый движок и сейчас исследует, как перенести учётные записи пользователей.

Источник: ШТОСМ - Конец SVN. Опубликовано с помощью IFTTT.

[e2blogengine]

Тысячи тонн картографической руды

Позавчера Microsoft выпустила новый Flight Simulator. Технически это лучший симулятор пилота в мире, современный Crysis, который тормозит на топовом оборудовании. Дамир в TJ отлично описал саму игру, Сэм в The Verge классно рассказал про её создание, а Фредерик в TechCrunch рассказал про компанию, которая делала для симулятора карту мира.

Как игра связана с OpenStreetMap? Очевидным образом: геоданных по всему миру больше взять не у кого. Но на нашей карте тоже есть белые пятна, поэтому для симулятора её дополнили зданиями и прочими объектами, распознанными из двух петабайтов снимков Bing. Три года назад мы ещё удивлялись, зачем им столько бесполезных снимков ненаселённых мест, — теперь ясно.

Поскольку оценить качество полутора миллиардов зданий невозможно и приходится полагаться на участников OSM, игроки находят в мире игры забавные аномалии. То башню в частном секторе из-за пропущенного building:levels=212, то неуместно современную застройку, то неевклидов ужас вместо Бергена. В видео пролёта по Москве река неспокойна: её воды местами поднимаются на уровень третьих этажей.

Из открытых источников собирают мир и в симуляторе X-Plane, ещё с десятой версии 2011 года. Его авторы тоже сталкивались с проблемами, ещё до того, как это стало модно. Но у X-Plane карту мира не продают, там важны только точность моделей и аэропортов. Подумаешь, мост в реку провалился. Данные в этом симуляторе можно обновить, заново подгрузив их из OSM. Все понимают, что они вторичны, пусть и очень хороши.

Generation Streets позиционируется как визуализатор OSM и пост-апокалиптик, поэтому и провалившиеся мосты, и переулки на 26 полос нормальны. А проблемы типа этой важны — их исправляют

MSFS же начался с карты. Microsoft ставит точность и детализацию мира во главу рекламной кампании. Слетайте в свой город. Приземлитесь где угодно. Петабайты, нейросети, облака — всё, чтобы на экране было то же, что за окном. Гигантский масштаб работы порождал экзистенциальные комиксы, и хотелось увидеть: неужели произойдёт чудо? На высоте 10 км для симуляции достаточно спутниковых снимков, на 1 км — простейшей их коррекции на высоты. Но будет ли опыт пролёта между домами более впечатляющим, чем аналогичный опыт в Apple Maps или Google Earth VR?

Да, конечно же, ответ — да. Все замеченные проблемы как будто несистемны: где-то необычные здания классифицированы как обычные, где-то не сложились рельеф и застройка, где-то просочились ошибки из OpenStreetMap. Это можно понять и простить. Но от проекта, за которым стоит команда Bing и ресурсы Microsoft, ждёшь большего внимания к деталям. Мы смотрим на картинки и такие «а, ну да». Недочёты не только понятны — они предсказуемы. Для людей, знакомых с OpenStreetMap.

Крупные компании нанимают осмеров, чтобы помочь с использованием данных проекта и с общением с сообществом. Это похвально и правильно. Но если честно, любой человек с рациональным, структурным мышлением может понять, как устроен OSM, что можно и что нельзя. Осмеры не нужны: достаточно картографов-технарей. Но чего последние не смогут предвидеть, так это того, что мы видим на скриншотах Flight Simulator. Потенциальные проблемы. Крайние случаи. Неявные классификации.

Если вы провели в OpenStreetMap долгое время, вы полезнее для любой компании, работающей с геоданными, как опытный программист полезнее индийского фрилансера. Просто потому, что видите не только общую картину, но и знаете, что может пойти не так, чтобы заранее это учесть. Нейросети могут предсказать очевидное, но визуализацию карты оценивают не по среднему, а по исключениям: достопримечательностям, сложным развязкам, знакомым местам. Понятно, что за два года разработки невозможно отловить ошибки никаким QA. Но был бы хоть один осмер в штате компании — и мир Flight Simulator был бы чуть правоподобнее.

Источник: ШТОСМ - Тысячи тонн картографической руды. Опубликовано с помощью IFTTT.

[e2blogengine]

Право на POI

Торговые центры — досадные белые пятна на нашей карте: в них слишком много магазинов. Обычная практика — пройти мимо всех, сфотографировать и записать данные, а потом отрисовать, — для ТЦ не работает, потому что это не одно-два заведения на здание, а сотня-две. Целый день убить на один дом! Поэтому в городе может быть десять магазинов The Body Shop, но вы не найдёте в OpenStreetMap ни одного, потому что все они в торговых центрах, которые лень обходить.

Помня об этом, позавчера я посидел часик и отрисовал две трети магазинов в рижском ТЦ Spice, пользуясь буклетом со схемой, стащенной из этого центра. Порадовался, как удобно это в iD, и почувствовал, как приношу пользу будущим пользователям карты. Прямо захотелось ещё нагуглить схем торговых центров и щедро рассыпать POI по Риге и ��инску. К чёрту схемы помещений, были бы сами магазины.

Меня остановил Павел Гаврилов:

Я правильно понимаю, что этот пакет изменений надо откатывать, потому что у нас нет ЯВНОГО разрешения использовать данные с этой коммерческой карты? Аргумент «я там ходил, поэтому имею право перерисовывать чужую карту» с Гуглом и Яндексом почему-то не принимается.

Я сначала разозлился и коротко ответил, что был там и помню все магазины (что правда для большей части внесённого). Потом задумался. Я не сканировал и не подкладывал схемы из буклета, чтобы нарисовать поэтажные планы. Только очень примерно расставил точки магазинов, взяв их название и тип. После того, как прошёл, глядя на карту, и убедился, что более-менее соответствует. Но в картировании пошёл дальше и добавил точки со второго этажа и из соседнего здания. Всем же лучше от этого: и посетителям, и магазину, и карте.

Чем эта аргументация отличается от срисовывания адресов с карты Яндекса, когда контуры зданий уже есть в OpenStreetMap? Проезжали деревню, видели несколько адресов, с яндексом совпадают. Технически это даже не копирование данных: смотрим числа, запоминаем, расставляем на карте уже по памяти.

В нашем проекте есть юридическое слепое пятно, о котором мы стараемся не задумываться: можно ли использовать рекламные и информационные стенды и буклеты для уточнения OpenStreetMap?

Очевидно, что такие материалы публикуются с целью достичь максимального количества читателей. План застройки квартала висит на крупном щите у тротуара. Схема садоводческого товарищества встречает на въезде, чтобы водители не шарахались по проездам, а сразу ехали куда надо. Компании посвящают отдельные страницы сайтов планам проезда: там и адрес, и координаты, и карта, а то и две. Они печатают свои адреса на визитках. В торговых центрах раздают буклеты, чтобы задержать покупателей: вокруг столько интересного!

Присутствовать на картах важно для всех. Поэтому магазины, компании, торговые комплексы сами идут к 2ГИС, яндексу или посредникам, чтобы их можно было найти. За четыре дня до меня в тот ТЦ зашла «рокетдата», добавив в случайные координаты внутри здания аптеку. Аптека заплатила компании, чтобы появиться в OpenStreetMap. Откажется ли ТЦ от того, чтобы кто-то бесплатно перенёс их план на карту, которую используют примерно все? Разве что из подозрительности: обычно это стоит больших денег; бесплатное картирование бывает только в мышеловке.

Сложно понять, где кончается ground truth и начинается копирование чужих данных. Отметить «пятёрочку» по фотографии, не зайдя внутрь и не убедившись, что это продуктовый магазин, нормально? А натолкнуться на дверь с двумя десятками плашек всяких адвокатов и турфирм, не открыть её и внести всё это в OSM? Нарушает ли это права владельца этого бизнес-центра? Прощёлкать панорамы улицы и добавить на карту все POI, что видны на фотографиях, нарушает авторское право фотографа? Можно ли, взяв визитку с адресами филиалов турфирмы, закартировать их?

Фотография © mapfool, Mapillary, CC-BY-SA

Общепринятое мнение опытных участников проекта — нет, без явного разрешения никакие источники использовать нельзя. Как бы все стороны ни хотели появления данных на карте, должен произойти акт разрешения. При этом часто простого согласия голосом недостаточно, и подписи секретаря тоже. Формально, хочешь срисовать план торгового центра — иди к директору и требуй бланк с печатью. Увидел на фотографии пятиэтажный дом и хочешь проставить тег этажности — спрашивай разрешения у фотографа. Подруга говорит, что за углом открылся ресторан, — убедись, что она разрешает использовать эти слова для уточнения карты.

Эти требования кажутся смешными, но обоснования ответов на них определяют будущее OpenStreetMap. Мы уже более-менее разобрались с рисованием геометрически протяжённых объектов: дорог, лесов, городов. С адресами всё тоже более-менее ясно. Есть крупные источники геоданных, которые чаще всего нельзя использовать, есть государственные и открытые данные, есть снимки. Одно разрешение открывает геоданные целого города или страны, поэтому мы продолжаем писать запросы. Ответили отрицательно — не беда, возьмём другие источники или снимки. У нас есть выбор.

Для заведений выбора нет. Никаких крупных баз, которые потенциально могут разрешить использование. Либо обходить ногами и записывать, либо просить миллион разрешений от миллиона источников, в каждом до сотни заведений. Что делать — выделить шкаф для складирования ответов? Или перечитать законы и пересмотреть условия использования информационных материалов?

POI не могут ждать. Дороги пролежат десятки лет и их названия не изменятся, деревни тоже дождутся заблудшего картографа. Рано или поздно мы нарисуем административные границы и все велодорожки, поэтому нет смысла спешить, подключать нейросети и тырить данные из крупных ГИС. Но в случае заведений политика ожидания не работает. Салоны красоты появляются и исчезают; приходит вирус — и торговые центры вычищаются; наносить магазин за углом бесполезно, когда весь квартал ходит в этот магазин уже десять лет.

Легко делать самую актуальную карту в контексте развязок и новостроек, сложнее следить за свежестью магазинов в ближайшем ТЦ. Муторно и трудно увидеть своими глазами и записать все заведения в своём районе, невозможно повторить такой обход во второй, в третий раз. Сообщество OSM с подозрением смотрит на импорты и не уверено, что можно использовать любые сторонние материалы, от списка адресов на сайте компании до плана эвакуации на стене. Даже приложения, которые позволяют добавлять заведения любому, кто проходит мимо, не устраивают многих осмеров. Может ли с такими ограничениями наш проект быть надёжной картой не только улиц, но и заведений?

Я бы хотел порисовать магазины в торговых центрах и сети закусочных по информации с сайтов и буклетов, но не уверен, что это можно. Поэтому я сделал тему на форуме: делитесь в ней мыслями про юридические ограничения и опытом массового рисования заведений. Давайте решим, где факты, а где авторское право на базу данных.

Источник: ШТОСМ - Право на POI. Опубликовано с помощью IFTTT.

[e2blogengine]

Гонка за JSON

Что это я всё хвалю iD — у него тоже проблем хватает («ахаха» — раздаётся от жосмера в голове). Например, Саймон Пул четыре дня назад заметил, что в некоторых регионах данные не подгружаются, без причин и без ошибок. Какие-то слова про undefined в консоли, и всё.

Позавчера Квинси понял, что выпадают объекты, нарисованные анонимными пользователями до 2009 года. У этих объектов нет поля uid, чего редактор не ожидал. Но тогда вопрос, почему раньше этой пропажи никто не замечал? Ответ — в JSON.

Мало кто любит XML. Это структурированный формат, который может хранить любую структуру данных, но слишком многословен и требует сложных преобразований. С популярностью JavaScript разработчики предпочитают использовать другой формат хранения данных, JSON (JavaScript Object Notation). Формат жёстко регламентирован, но по сути, представляет собой кусок кода, который интерпретатор JS может быстро превратить в объект. Сюрпризов у него никаких, структура очевидная для программистов, в отличие от XML, поэтому формат пихают везде: например, вам может быть знаком GeoJSON.

OSM API всегда отвечал в формате XML. Но в сентябре 2018 года cgimap научился возвращать ��твет в формате json. Для этого в запросе нужно указать правильный заголовок Accept или добавить в конец расширение .json (например). Одним из первых новому формату научился важнейший запрос /map (получение всех данных в прямоугольнике), затем пошли остальные. Но, поскольку формат ещё не поддерживал Rails Port (часть API, написанная на Ruby on Rails), json временно отключили.

Разрыв нужно было закрывать: участник Mmd в мае 2019 года сделал пул-реквест в вебсайт, но мы знаем, как у нас проходят пул-реквесты. Второй пул-реквест он создал в декабре. Он был проще, обсуждение сразу пошло: всего через полсотни комментариев, в феврале, правки приняли, и теперь объекты можно получать в любом из двух форматов.

Тут все посмотрели на iD. Для кого ещё писали поддержку json, как не для редактора на JavaScript? И да, всего через неделю соответствующие вызовы заменили — поддержку нового формата тот же Mmd написал ещё год назад. Но свежий релиз редактора готовился-готовился, прошёл один месяц, второй... В общем, строчка про json утонула в списке изменений версии 2.18, вышедшей две недели назад. Отсюда и проблема, найденная Саймоном: формат ответа API поменялся, его обработка тоже, и анонимные правки забыли протестировать. Ошибку починили буквально вчера.

По замерам Mmd, использование json для скачивания данных ускорило iD примерно вдвое. Перемещение карты в редакторе действительно ощущается быстрее, контрастируя с заторможенным интерфейсом редактирования тегов.

Подгрузку данных в редакторе ещё можно ускорить, и даже в несколько раз. Сам запрос /map невыносимо медленный: сервер делает несколько запросов к базе данных на каждый объект в ответе, что, как посчитал Дорофей «Komяpa», ограничивает скорость получения данных до примерно 2000 объектов в секунду. Именно поэтому iD разрешает редактирование от 16 уровня масштаба, а не дальше. В 2016 году Дорофей переписал запрос к карте на чистый SQL, ускорив его на порядок, но его предложение погрязло в комментариях, а после добавления формата json и вовсе устарело. То есть, мы знаем, что скачивание данных можно ускорить, но для поддержки быстрого кода нужны знания PostgreSQL, которых нет ни у кого из админов.

Источник: ШТОСМ - Гонка за JSON. Опубликовано с помощью IFTTT.

[e2blogengine]

Залив не залить

Файлы и отображение береговой линии в OpenStreetMap не обновлялись между 9 января и 25 июля, более полугода. Никто этого не заметил, потому что активные осмеры давно уточнили свои берега и обращают внимание на другие, сухопутные объекты. JesseFW описал, что произошло, и Кристофф докинул интересных ссылок и объяснений в комментариях. Если коротко:

Береговые линии собирает отдельная группа людей, не те, кто делает картостиль или администрирует серверы OSM. Это немцы внутри организации FOSSGIS, в частности Йохен Топф.

Скрипт сборки работает автоматически, но перед публикацией делает простые проверки собранных полигонов. Например, что геометрия не имеет самопересечений, или что размер суши изменился не более, чем на 0,15 км².

Если валидатор заявил об ошибке, новые полигоны нужно одобрить вручную, либо пойти исправить ошибку.

В январе кто-то перерисовал залив Rio de la Plata рядом с Буэнос-Айресом с береговой линии на озеро (или наоборот). Йохен не знал, что с этим делать, и оставил полигоны без изменений.

Через три месяца отсутствие обновлений заметили, но даже откатить это изменение, чтобы применились остальные, было поздно: сумма изменений давно переросла площадь отсечки.

Все ссорились ещё три месяца.

Вчера Йохен плюнул и одобрил свежую сборку.

Проблема залива сводится к тому, что считать его внутренним морем удобно для разграничения территории между Аргентиной и Уругваем, но если natural=coastline отодвинут, то Буэнос-Айрес получается совсем не прибрежным городом. Стороны привлекают аргументы типа солёности воды, приливов и спутниковых снимков (как в заголовке этой статьи). Обычная политика, какой много в мире и в проекте. Но интересна проблема с выгрузкой береговой линии тем, что она подчёркивает, как близки в OpenStreetMap технические и идеологические решения.

Ведь Йохен, по сути, взял на себя чисто техническую задачу: смотреть вывод валидатора и править ошибки в тегировании и геометрии. Я этим же занимался в Maps.Me в своё время. Однако рано или поздно ты понимаешь, что нажав кнопку, ты не только одобряешь консистентность данных, но и поддерживаешь позицию одной из противоборствующих сторон. А таких сторон в OpenStreetMap сотни, и сколь бы побочной не была твоя работа, проскользнуть между всеми не удастся.

Даже не поднимая голову от клавиатуры, занимаясь только кодом и перегоном одних букв в другие, в OpenStreetMap не избежать политики. Ведь политика появляется там, где сталкиваются интересы двух людей с одинаковыми ресурсами, а в OSM нет модераторов и потому все равны. Взяв на себя работу проверять, что линии ��е пересекаются, однажды обнаруживаешь, что не можешь нажать кнопку, потому что любое решение огорчит десяток картографов. Внезапно обнаруживаешь себя в центре политического спора, и хочется бросить всё и подождать, пока рассосётся само.

В идеальной базе геоданных территории не принадлежат нескольким государствам одновременно, озёра и леса не накрывают одни и те же поляны, названия всегда распределены по языкам и однозначны, а атрибуты не дублируются на точках и полигонах. Любая дискуссия быстро заканчивается резолюцией управляющего органа: рисуем так, а не иначе. К такому идеалу стремится НЯК, но никак не может его достичь. Идеальную карту скучно рисовать. Именно из-за недосказанностей и рекомендаций вместо правил в OpenStreetMap всегда увлекательно.

Источник: ШТОСМ - Залив не залить. Опубликовано с помощью IFTTT.

[e2blogengine]

Третий редактор

Написав заметку про iD, немедленно задумался: а где третий? Почему из настольных редакторов у нас выбор только между iD и JOSM?

Когда я только пришёл в проект, редакторов было три: Potlatch, JOSM и Merkaartor. Первый выбирали за простоту, второй — за фичи битком. Последний был непривычно быстр и выглядел как нормальное приложение, потому что написан на C++. Увы, соавторы для него не нашлись, поэтому Ладислав лишь чинит редкие ошибки и выносит отвалившиеся фрагменты. Последний релиз Merkaartor был в ноябре прошлого года. Пользователей он начал терять в 2013 году, уйдя глубоко в низ рейтинга вслед за Potlatch 1. Тогда же по количеству правок он уступил третье место iD, а в 2018 его сдвинул с четвёртого Go Map.

С 2013 года у нас всё ещё три популярных настольных редактора: JOSM, iD и Potlatch 2. Написанные на Java, JavaScript и Flash. Очевидно, что последний живёт только благодаря упоминанию на главной странице — хотя сам по себе он очень хорош, быстрый и простой, особенно если выучить кнопки. Но люди стремительно его забывают: сейчас он тоже уполз вниз, им пользуются для правки карты реже, чем даже OsmAnd. 31 декабря Potlatch умрёт, как я упомянул в прошлой статье, потому что Adobe прекращает поддержку Flash, и его окончательно выпилят из браузеров. Предложение Ричарда отвязать редактор от браузера Совет решил не принимать.

Так что да, выбор между iD и JOSM. Почему никто не начинает писать полноценный десктопный редактор OpenStreetMap? В списке редакторов вообще никаких намёков: есть тематические, есть обрезки, встроенные в ГИС и операционные системы, но ничего, что может заменить даже Potlatch 1. Получается какая-то двухпартийная система: не нравится JOSM — добро пожаловать в iD, у него отличный интерфейс, понятные панели и не нужно бороться с JRE. Не нравится iD — ставь JOSM, он работает офлайн у него сотни модулей и стилей оформления карты. Но... Может, нужно больше вариантов?

Кажется, тут я должен топить за поиск революционера и больше альтернатив — но данные подсказывают, что правильнее наоборот. Таблицей количества пользователей правят мобильные и тематические редакторы: у Maps.Me пользователей в полтора раза больше, чем у JOSM, и четвёрка StreetComplete — Osmand — Vespucci — Go Map тоже в сумме бьёт его по пользователям. А ниже притаились настольные и веб-редакторы отдельных элементов: GNOME Maps, OsmHydrant, Level0. Кажется, картографам их достаточно. В мире редакторов назрел перелом, и честно говоря, давно пора.

Простые и тематические редакторы — это всё, что нужно OpenStreetMap на нынешнем этапе развития. Прошло время первоначального накопления геоданных, теперь их нужно дополнять и обновлять. Поэтому каждый пятый человек, правящий данные, делает это с телефона, с улицы. Вместо количества нужно качество — незаметное, не требующее больших пакетов правок, но на которое нужны десятки тысяч людей во всех концах мира. Чтобы нарисовать пропущенную дорогу, достаточно одной кнопкой открыть iD и ещё тремя её обозначить. Всё остальное на карте уже есть.

JOSM устарел. Нам не нужен не только третий редактор, — нам уже не нужен JOSM. Рисовать тысячи домиков и сотни километров грунтовок по снимкам отлично получается у участников Missing Maps и прочих мероприятий гуманитарной команды. JOSM не только оптимизирует массовое рисование, которое давно устарело. Он местами вредит проекту и другим картографам. Например, удобством работы с мультиполигонами — стали бы вы рисовать «лоскуты» в iD? А каково их там править? Размером пакетов правок (в среднем 150 объектов против 50 в iD) — все валидаторы жалуются на плодовитых картографов. Лёгкостью подключения слоёв гугля и кадастра. Тем, что система модулей позволяет писать системы тегирования, которые вручную применять невозможно. Сложность JOSM проникает в OpenStreetMap и делает его сложнее.

Достаточно iD. Для крупных же правок у нас появился новый инструмент: RapiD. Основанный на том же iD, в нём одной кнопкой можно добавить сеть дорог, тысячи домиков и прочие данные через платформу Esri. Он закрывает вопрос импортов и раскрашивания «белых пятен». Где нет в RapiD, туда нагонят картографов крупные корпорации (в экономически интересные регионы) и гуманитарная команда (в менее интересные). Эта ситуация установилась с прошлого года, таков теперь OpenStreetMap.

Опытным картографам в этой картине отводятся места учителей и хранителей платформы: мы поддерживаем и уточняем тегирование, следим за системными ошибками менее опытных картографов, пишем системы мониторинга и управления данными (потому что у компаний не хватает экспертизы) и устраиваемся на хорошие деньги в эплы и фейсбуки руководить отделами осмеров.

Наше дело больше не рисовать основные дороги и не следить за валидаторами. Можно расслабиться, взять в руки обходные листы или StreetComplete и выйти на улицу как десять лет назад. Позаносить парикмахерские и люки. Обойти соседний двор и нарисовать в нём тропинки и заборы. Для этого достаточно веб-редактора, он нынче удобен даже на планшете со стилусом. Или мобильного приложения — а их становится больше с каждым месяцем.

Источник: ШТОСМ - Третий редактор. Опубликовано с помощью IFTTT.

[e2blogengine]

Ричард всё объяснил

В официальном блоге появилась невзрачная заметка: институт открытых данных спонсировал две управы в Великобритании, чтобы они посмотрели на OpenStreetMap. В рамках этой работы Ричард Фэйрхёрст подготовил документ, объясняющий основные вопросы проекта и подсказывающий способы интеграции данных.

Я прочитал все двадцать три страницы, и ребята, это он. Документ, каждая страница которого сочится пользой и правдой об OpenStreetMap. Каждые три страницы я порывался переключиться на вкладку штосма и начать восторгаться, но заставил себя досидеть до конца. Ричард не зря двадцать лет работает писателем: короткие абзацы по три-четыре строки исчерпывающе формулируют основные принципы нашего проекта, от «никакой организации в OSM нет» до «виртуальные объекты не мапим, но для административных границ делаем исключение, потому что это удобно».

Хватит объяснять каждой новой организации основы OpenStreetMap сызнова, теперь достаточно отослать им руководство Ричарда. Там есть всё, о чём можно подумать. Зовут в компанию рассказать про OSM? Берёте этот документ и нарезаете на слайды. Не нужно вспомнинать, не нужно вообще думать. Вопрос регулирования импортов закрыт. Осталось, наверное, написать всё то же самое на русском языке.

Источник: ШТОСМ - Ричард всё объяснил. Опубликовано с помощью IFTTT.

[e2blogengine]

iD удобнее JOSM

Квинси Морган объявил о выходе свежего редактора iD версии 2.18. Его анонсы нужно видеть: это не просто список, как в гитхабе, но комикс из девяти слайдов по основным фичам. Прошлую версию анонсировали в блоге редактора (у iD есть блог!), но за полгода авторы, видимо, о нём забыли. Прочитайте то и то: узнаете, как делать мосты и туннели одной кнопкой (а не разделить-разделить-добавить тег, как раньше) и открывать детектированные Mapillary объекты, типа знаков.

Главное, что открыли эти твиты, — что iD стал первым большим редактором, которым не больно пользоваться с тачпада. У которого, напомню, нет правой кнопки. Теперь с ноутбука можно править карту! Можно даже нажать «править» на айпаде и не расплакаться от невозможности подвинуть дом под снимок. Я всю весну сидел с мышкой, у которой сломана правая кнопка, и тупо не мог пользоваться JOSM из-за этого. мой тикет про альтернативы правой кнопке висит без движения с 2014 года.

Как и Potlatch (который умрёт в декабре), редактор iD понятен без слов, но работать с ним становится офигенно, если помнить о клавиатуре:

Пробел — замена левой кнопке: выбирать объекты (с Shift можно много), двигать точки, открыть меню, если подержать.

Стрелочки — двигать карту (как Shift-потянуть левой кнопкой или двумя пальцами по тачпаду), а Shift+стрелочки — двигать выбранные объекты.

Масштабировать двумя пальцами по тачпаду, двумя пальцами + Shift (так привычнее) или кнопками — и = (я думал, JOSM обломается приближать по + без шифта, а оказалось — не смог отдалить по минусу).

1, 2, 3 — новые точка, линия, полигон. A — продолжить линию.

M — двигать линию. Случайно сдвинуть домик или дорогу, как в JOSM, не получится.

V — развернуть линию (буква похожа на стрелочку), S — выпрямить (от straighten), D — отсоединить линию от всего или точку от линии, X — разрезать линию в точке.

O — сделать круглым, Q — сделать квадратным, R — повернуть.

Короче, всё в справке и во всплывающем меню. iD всё ещё чудовищен, если нужно добавлять необычные теги (а до панели тегов крутить и крутить) или наводить порядок на карте, но для мелочей типа дорисовки пропущенной тропинки он уже задвинул JOSM. Так что у меня пакетов правок с ним теперь больше — вот бы я удивился этому лет пять назад.

Новостей про третью версию iD нет.

Источник: ШТОСМ - iD удобнее JOSM. Опубликовано с помощью IFTTT.

[e2blogengine]

Собираем штосм обратно

Время от времени я вспоминаю, что не веду «Штосм» уже сколько-то недель или месяцев, и думаю о причинах. Этот блог супер-ценен для понимания осма: он не только перечисляет, что произошло в проекте, но и строит ассоциативные связи между элементами проекта. Я до сих пор могу быстро вспомнить или посмотреть, когда нам давали хорошие спутниковые снимки, что такое freedraw, как мы пинали участников во время перелицензирования и что такое OpenStreetBugs.

В некотором смысле «штосм» — это не блог, а записная книжка с перекрёстными ссылками. То есть, натурально, база знаний в самом современном смысле. Штосм не нужно читать, по нему нужно уметь искать. Именно то, что раньше я осмыслял и записывал все события в проекте, а теперь нет, — причина моего отторжения новостей о RapiD или Sentinel-2. В определённый момент накопление знаний просто оборвалось.

«On Twitter, you don’t build anything» — 2019/08/13 conversation with Anna Gát.

Непонимание сути штосма, ощущение его как новостного блога, подвинуло меня перенести большую часть новостей в твитер. Что может быть проще нажатия «ретвит» или пересказа новости в одном предложении со ссылкой? Это всё ещё новость. Но — она не встраивается в контекст. Я сделал то, на что сетую газете WeeklyOSM: заменил осмысление перечислением. Вместо того, чтобы объяснить, куда девался файл планеты на прошлой неделе, пару раз ретвитнул рабочую группу OWG. Мол, вот сломалось. Вот починилось. Это потому, что в 2015 году Мэтт Эймос переписал экспортилку на C++, и там потекли вектора, — но я перестал писать в штосм про дампы планеты в 2014 году. Поэтому я заново узнал про planet-dump-ng и про медленное обновление инфраструктуры OSM.

Телеграм в этом плане лучше, потому что в нём можно писать длинные посты со ссылками и объяснять контекст. Для штосма разделение проходило примерно по времени написания: десять-двадцать минут и одна-две ссылки — это пост в телеграм, всё, что больше, — в блог. Это отлично вылечило увядание штосма: оказалось, я не писал в блог не потому, что мне лениво, а потому что мне лениво тратить четыре часа на каждый пост. А за десять минут я вполне объяснял новые идеи или рассказывал о впечатлениях. Десять лет в проекте — пост в телеграме, а не в штосме, потому что ни одной ссылки. Благодарность от Росгранстроя увидели только те, кто подписан на канал. О хитрости RapiD, вредности EasyList и полезности корпораций в OSM мне было быстрее накатать в телеграм. 130 заметок за последний год — почти впятеро больше, чем тут.

Но даже при таком раскладе, когда телеграм стал ответвлением базы знаний, непросто найти нужное. Например, я писал про количество деревень в РФ в осме — но где это искать? Мысль про вред кнопок масштабирования где? А мысль про боковые панели на карте? Табличка языков в названиях OSM и список крупнейших зданий — где? Кликая по ссылкам, мы идём из телеграма в блог и обратно в телеграм, иногда проваливаясь в твитер. Штосм теперь — это не блог, а конгломерат медиаресурсов, извините. А всё из-за того, что поле редактирования заметки начало требовать от меня всё больше и больше сил.

Пора собирать штосм обратно в б��ог. Да, это уменьшит аудиторию, потому что у твитера 640 подписчиков, у телеграма — 530, а тут — около трёхсот уникальных посетителей в неделю. Но позволит сохранять контекст и встраивать его в остальную базу знаний. Я так много знаю про OSM не из-за того, что я в проекте десять лет, а потому, что я записывал всё, что узнавал, и налаживал ассоциативные связи. И теперь вместо осмысления нового я как будто перетираю старые идеи. На последнем State of the Map я сделал почти тот же доклад, что на конференции ОМММ в 2014 году. На предпоследнем — подытожил идеи из 2012 года. В то время как Кристоф Хорманн отлично анализирует анти-индивидуалистскую риторику Совета OSMF в современном контексте, чего я бы не смог. И я недостаточно ориентируюсь в современности OpenStreetMap, чтобы дополнить его заметку, хотя там точно есть, что добавить.

Твитер отныне будет англоязычным, для вещания на международную аудиторию. Это не новости, и хватит делать вид, что новости в OSM кому-то нужны. Единица времени в осме — не минута и не день, а месяц, поэтому есть время подумать и собрать твиты в пост, связав их с прошлыми знаниями. Ретвитнуть и запомнить не работает: я уже забыл то, что ретвитал вчера. Книгу у меня написать не получается, так пусть вместо неё будет база знаний. Из штосма вы не узнаете, чем линии отличаются от отношений и каким тегом отмечать дачные участки, но зато поймёте, почему у нас отношения и почему дачные участки нужно отмечать. Метафорически, конечно, — эти вопросы гуглите сами. Если только не начнётся спор на эти темы.

Я уже пару лет почти не читаю форум и почтовые рассылки. Поэтому почти не пишу про то, что там происходит. О картовстречах и русскоязычных конференциях пишу только в телеграм, поэтому из блога может показаться, что в России ничего не происходит. Конечно, это не так, но я не узнаю об этом, если мне не напишут. Пишите. Перенос формата твитера сюда может позволить обходиться короткими заметками: возможно, я начну пересказывать прочитанные статьи типа получения HOT огромного гранта The Audacious Project и их планов на развитие. Но реально, чего стоит пока ожидать, — что твиты переедут сюда и будет больше заметок в формате «старого» штосма: текст и ссылка, или текст и ссылка и немного контекста.

Что делать с телеграмом, я пока не решил. Возможно, для начала попробую делать обзоры тамошних заметок за месяц-два. Потом начать дублировать важное. А потом оставить его как вспомогательный канал, настроив резервное копирование куда-нибудь под этот домен. Немного беспокоит, что много важного осело на проприетарном сервисе, который для чтения требует поделиться номером телефона. Из конца этой заметки мне кажется, что главное его преимущество, — что не нужно задумываться о простоте чтения, подбирая иллюстрации. Как первый шаг к новому формату, забью на иллюстрирование этой заметки.

Источник: ШТОСМ - Собираем штосм обратно. Опубликовано с помощью IFTTT.

[e2blogengine]

State of the Map у вас дома

Прямо завтра начинается международная конференция осмеров State of the Map 2020. Но снаружи вирус — нам нельзя собираться в большие группы. Поэтому мы соберёмся в гигансткую группу, но по-отдельности, каждый у себя дома. В этом году не нужны авиабилеты, дни отпуска, гостиница и регистрация: конференция пройдёт полностью онлайн.

Главное — видеотрансляции докладов, два потока с 13:00 до часу ночи по Москве. Обратите внимание на переключатель часового пояса в расписании докладов. Нужно знать, что это не YouTube. Трансляцию делают ребята из Германии: они пишут, что удобнее смотреть не через браузер, а через VLC или плагин для Kodi (бывший xbmc; поищите Video Add-ons / CCC-TV).

Нетворкинг, к сожалению, в программу не входит: сложно онлайн случайно на кого-то наткнуться и разговориться. Сложно и случайно встретить русскоговорящего участника, чтобы потом оставшееся время обсуждать с ней или с ним иностранцев. Интровертам особенно тяжело: когда окружение не втягивает тебя в беседы, соблазнительно никуда и не подключаться, остаться наблюдателем. Пересильте себя. Общение на SotM регламентировано и упаковано в группы по интересам. Где-то там и спонсорские стенды: подключаетесь к серверу BigBlueButton и разговариваете. Фейсбук, например, этой схемы не понял и просто выложил пару ссылок на vimeo.

Когда я услышал, что конференция переезжает в онлайн, сначала не понял, кому это нужно. Затем восхитился: обычно State of the Map посещают 200-400 человек, самые привилегированные, кто может выложить деньги за поездку. А теперь всё бесплатно — нас может быть тысяча, две тысячи! Но чем ближе к дате, тем больше сомнений: ну реально, кто смотрит записи выступлений? Кто будет разбираться в груде ссылок и нетипичной видеотрансляции? Организаторы сильно ограничены в технологиях, поэтому вносить смыслы в конференцию придётся нам.

Что делать русскоязычным участникам? Смотреть доклады. Обсуждать конференцию в телеграм-группе @ruosm. Читать канал @foss4g_ru, куда я буду скидывать интересности по ходу дела. В воскресенье в 16:00 по московскому времени заходите на русскоязычный нетворкинг в этот канал! Глупо не воспользоваться конференцией, чтобы увидеть лица друг друга. Попьём чай онлайн, послушаем, кто где живёт. Ещё не пропустите викторину перед закрытием конференции — 23:45 по Москве, пара десятков вопросов на знание истории и технологий OpenStreetMap. Конференция должна быть весёлой, вот только найти интересное в онлайне сложнее, чем в физическом помещении.

Источник: ШТОСМ - State of the Map у вас дома. Опубликовано с помощью IFTTT.

[e2blogengine]

Беззащитные тайлы

Саймон Пул от имени рабочей группы по лицензиям (LWG) объявил, что с 1 июля тайлы стандартного слоя OpenStreetMap поменяют свою лицензию. Уйдёт share alike: требование публиковать работы, использующие тайлы, под открытой лицензией. Оно мешало многим, в том числе научным журналам, которые относятся к лицензиям внимательнее обычных СМИ.

Долгое время (с 2006 года) тайлы публиковались под CC-BY-SA 2.0. В то время условия этой лицензии были понятны: указание авторства и копилефт, «вирусная» особенность заражения производных работ открытой лицензией. Данные OpenStreetMap распространялись под той же лицензией. Только через два года участники проекта задумались, что лицензия вообще не защищает базы данных (эта защита появилась в 4.0). А что касается тайлов — получается, книги, в которых есть изображения карты в стандартном стиле, нужно выкладывать в интернет бесплатно? Лицензии — это сложно, поэтому и пользователи, и осмеры предпочитали делать вид, что приставки -SA не существует.

Тем не менее, как пишет Саймон, предложение перейти на CC-BY 4.0 (без share-alike) год назад сообщество — вернее, Кристофф Хорманн, как обычно, — встретило в штыки. Так что LWG, не успев даже обсудить переход, бросила эту идею. Но с share-alike нужно было что-то делать — и теперь у нас решение в стиле брекзита: раз никакие лицензии не устраивают, лицензии на тайлы никакой и не будет.

Буквально: тайлы с 1 июля публикуются просто как «ODbL Produced Work» без каких-либо дополнительных условий. Все условия написаны до нас десять лет назад. Производные творения на основе данных OSM можно публиковать как угодно — хоть под CC0, хоть под коммерческой лицензией, рубль за тайлик. А можно без лицензии. Но это не значит, что эти картинки не обременены никакими условиями. Пункт 4.3 лицензии ODbL требует, чтобы производные работы сопровождались пометкой, что они сделаны на основе данных под лицензией ODbL.

Для пользователей тайлов ничего не поменяется: всё так же нужно будет писать на карте или рядом с ней «© участники OpenStreetMap». Мы и раньше не защищали условие share alike, а теперь официально снимем этот дамоклов меч с работ, использующих наши карты. Скоре всего, если вы добавляли после копирайта запятую и «CC-BY-SA 2.0», эти буквы нужно будет заменить на более короткое «ODbL».

Кажется, это первый раз, когда правообладатели производной работы от OSM не стали выбирать лицензию на эту работу, а целенаправленно оставили её без дополнительных условий использования, при этом отдавая себе отчёт и публично комментируя, что это всё равно накладывает на пользователей производной работы ограничения. Вирусные лицензии восхитительны в свете описания побочных и пограничных случаев, а картографические лицензии восхитительны вдвойне. «Это стихотворение придумано с использованием данных OSM под лицензией ODbL».

Источник: ШТОСМ - Беззащитные тайлы. Опубликовано с помощью IFTTT.

[e2blogengine]

Mapillary in 2020 will now have stories

Позавчера Mapillary неловко объявили, что их купил Facebook. Из размеров компаний уже понятно, что это большие новости: не зря они пролетели по всем технологическим блогам и телеграм-каналам про данные.

Хранить и обрабатывать миллионы фоточек для картографических нужд сложно. В 2009 году Джон Маккеррел сделал проект OpenStreetView, куда люди загружали снимки по одному через веб-интерфейс или пакетом через ftp. Модерировать их было скучно, законы на съёмку публичных пространств слишком ограничивали, а стоимость хранения данных не падала. Казалось, сделать открытую альтернативу Google Street View было технически невозможно.

Спустя пять лет шведский стартап Mapillary доказал обратное. Они не распространялись про источники финансирования, но кажется, среди коммерческих компаний был огромный запрос на хранение и обработку частных панорамных снимков. Для OpenStreetMap в компании за следующие шесть лет сделали очень много: собрали и опубликовали более миллиарда фотографий, встроили слои в iD и JOSM, автоматизировали распознавание дорожных знаков и прочих объектов. Mapillary ощущается такой же частью инфраструктуры открытых карт, как, например, Overpass API. Он полезен не только для OSM: муниципалитеты и министерства разных стран публикуют в нём снимки для отслеживания состояния улиц.

Для всех пользователей Mapillary эта покупка — отличная новость:

Источник финансирования стал понятен, и поэтому меньше опасений, что компания внезапно закроется.

Поддержка крупной компании — это дополнительное доверие со стороны других крупных компаний. То есть, больше снимков для нас и активнее разработка.

Разработчики перестанут отвлекаться на коммерческие задачи и сфокусируются на извлечении максимума картографических данных из фотографий.

Все снимки становятся бесплатны также и для коммерческого использования.

Последний пункт особенно удивляет, если не понимать, для чего фейсбуку Mapillary. Купили проект не за перспективную бизнес-модель: в сравнении с Facebook их прибыль ничтожна. Это не случай maps.me, когда после года бесплатного развития mail.ru потребовал от проекта прибыли. Технологические гиганты покупают стартап, если а) он решает какую-то проблему компании, б) у него исключительно талантливая команда. В последнем мы не сомневаемся.

Зарабатывать на Mapillary фейсбук не планирует, и конкуренции он тоже не боится. Полгода назад Grab купил OpenStreetCam — альтернативу Mapillary с 2016 года. Это был более гиковский проект, ориентированный только на снимки с автомобилей. Разработчики Telenav, владельца OSC, даже сделали интеграцию со сканерами OBD2: знание скорости и угла по��орота машины помогает улучшать координаты с GPS. Увы, после покупки сервис долго не прожил: загрузка треков начала барахлить, ответственных не найти. Мы считаем, что OSC теперь решает внутренние задачи Grab, а для публики он умер.

OpenStreetCam создавали, потому что универсальный контракт с Mapillary был бы слишком дорогим, и перекупили его по той же причине. Сложно представить, что условный Uber сможет получить все фотографии от нынешнего владельца OpenStreetCam, их азиатского конкурента. Но Uber и Grab не конкуренты фейсбуку, а другие социальные сети едва ли могут получить преимущество от фотографий улиц. Поэтому открывая снимки Mapillary для коммерческого использования, Facebook ничем не рискует.

С покупкой Mapillary фейсбук получает миллиард фотографий и двадцать магистров и кандидатов наук с кучей опубликованных статей, патентов и алгоритмов. Зачем им? Ответ неожиданен и прост: пока мы не смотрели, Facebook превратился в главную технологическую компанию в OpenStreetMap, оставив окуклившийся Mapbox позади. Видимо, кто-то убедил Цукерберга, что на рынках Азии и Африки можно заработать больше, если в приложениях жители городов смогут найти свои улицы. А поскольку свою карту фейсбуку делать не резон, а готовые сложно подбирать и дорого покупать, то компания обратилась к OpenStreetMap.

Facebook известен в проекте тем, что с помощью нейросеточек находит на спутниковых снимках дороги, векторизует их, сравнивает с дорогами в OSM и помогает картографам быстро дорисовать недостающее. Первые их попытки добавлять дороги в Египте и Таиланде поссорили их с местными сообществами, но спустя три года все рады нажимать на кнопки в RapiD, вместо того, чтобы отрисовывать дороги руками. У фейсбука, разумеется, есть скрытая армия картографов, но главное в OpenStreetMap — одобрение сообщества.

А теперь представьте, что вдобавок к снимкам и данным OSM фейсбук получил фотографии Mapillary. Как тут развернутся их инженеры! Со спутника видна дорога, с камеры — её покрытие, разметка и знаки. Со спутника видим дом, с камеры — его высоту, материал, вывеску магазина. Берём заведения из OSM, сопоставляем с фотографиями, отмечаем вероятно устаревш��е, передаём армии картографов. Считаем количество машин на фотографиях, выводим классификацию дорог. Несмотря на достижения команды Mapillary, они едва-едва вошли в океан способов использовать свои фотографии для улучшения карты. Взять тот же редактор Deriviste Ричарда Фейрхёрста: видишь скамейку на фото, кликаешь в неё, вводишь «скамейка», сохраняешь. Но в Mapillary уже умеют определять, что за объект на фото!

При всём этом ликовании некоторые осмеры в комментариях к новости настроены скептически, выкачивают свои снимки из Mapillary и закрывают аккаунты. Никто не любит фейсбук — и заслуженно. Я сам сократил посещение их сайта до пяти минут в день и не трогаю RapiD. Несмотря на заслуги Google и Microsoft, именно Facebook сегодня — технологическая корпорация зла. Проблема фейсбука не в технологиях, а в этике: едва ли Mapillary закроют или обвесят рекламой. Но кто знает, как именно компания воспользуется оригиналами фотографий со всего земного шара, чтобы пополнить свою базу данных о жителях (включая авторов снимков), их привычках, координатах и социальных связях?

Новые данные огорчат осмеров и новыми стычками с компанией. Facebook уже высказывал заинтересованность в импортах заведений и зданий. Усиленные распознанными фотографиями, коммерческие данные уверят сотрудников в том, что картографы-любители рядом не стояли с результатами работы их нейросеточек. Повторится Египет, только уже ближе к «первому миру». Компания извинится раз, извинится другой, а затем её инженеры найдут подход, чтобы убедить сообщество в том, что оно контролирует ситуацию. И в этот момент ещё часть контроля над данными уйдёт фейсбуку.

Уходить от Mapillary некуда: OpenStreetCam умер, остался... OpenTrailView 360 Ника Уайтлегга. Полностью открытый код, поддержка панорам, внимание на пешеходные маршруты. Достойное начинание — пока в проекте участвуют пара человек. Но стоит ему привлечь публику, как потребуется финансирование для хранения терабайтов фотографий и для разработки средств защиты личной информации, как то замыливания лиц и автомобильных номеров. Подобный проект может быть открытым в теории или в личном использовании, но масштабировать его можно только при поддержке крупной компании. Единственная а��ьтернатива — каталог с геопривязанными фоточками на своём компьютере.

Facebook купил Mapillary, и это хорошая новость для фейсбука, для команды Mapillary, для жителей стран с плохими картами и для осмеров. Не терпится увидеть, как их разработчики придумают улучшать OpenStreetMap с новыми ресурсами и знаниями. Печально лишь то, что теперь, отправляя свежие снимки в Mapillary, нельзя не думать, что отправляешь свой маршрут и всё, что ты видел по пути, не в дружелюбную шведскую компанию, а в фейсбук.

Источник: ШТОСМ - Mapillary in 2020 will now have stories. Опубликовано с помощью IFTTT.

[e2blogengine]

Where’s the streetwise Hercules to fight the rising odds?

Главное — насколько хорошо тут выявлены и разложены по полочкам недостатки классической почты. Причём очевидно, что все эти недостатки — не какие-то фун��аментальные труднорешаемые задачи, а обычный тупняк и лень разработчиков почтовиков. Просто непонятно, чем они занимаются и почему десятилетиями не делают эти простые вещи. Эпл может встроить все фичи Хея в следующий релиз Мейла как нефиг делать, если захочет. Для этого не понадобится ни машин-лёрнинг, ни огментед-реалити, понадобится просто пара программистов и один дизайнер.

Илья говорит даже не про недостатки отдельного класса продуктов, а про глобальный тупняк в современных программах. Каждый сайт, каждое приложение, каждая программа на компьютере кишит неудобствами. Многие исправляются просто за день-два, была бы воля. За последние годы мы потеряли даже такое простое свойство форм как установка курсора в первое поле ввода, чтобы не нужно было кликать в него мышкой или жать Tab. Всё плохо, и становится хуже.

Та же фигня в картах. Пик развития современных карт — это линии дорог, подписи и полигоны зданий и рек. Которые можно раскрашивать в любые цвета. О чудо! Пофиг, что каждый из компонентов карты выглядит как мусор, что ничего не гармонирует ни с чем, зато всё быстро, весело и настраиваемо. Больше настроек, больше свободы! Внезапно, после длинного пути к упрощению, мы вернулись к интерфейсам больших ГИС — гуглокарты даже хвастаются деревьями настроек из сотен пунктов. Эти интерфейсы — одна из причин, почему люди когда-то сбежали в гуглокарты, и теперь боковые панели со слоями нагнали их и там.

Интерфейсам, как и картам, нужна очередная революция. Технологии у нас отличные, а этика и удобство хромают. Нельзя сделать бесплатное приложение без рекламы. Нельзя туристическому бизнесу не толкать пользователей под аппарат вентиляции лёгких. Компания не может изменить курс, только реагировать на запросы и придумывать новые фичи для монетизации. Инновации не приходят из больших компа��ий. Гугль может ускорить HTTP, фейсбук может ускорить хранение данных и разработку веб-приложений, но сайты всё равно тормозят, а данные на них не делают нас счастливее.

Чтобы сделать что-то лучше, нужно сначала признать, что оно сломано. Полиция бьёт вместо того, чтобы защищать, экономика фрилансерства лишает людей базовых прав, а почта настолько сломана, что у меня 1700 непрочитанных сообщений и я не хочу в неё заходить. «Don’t be evil» за десять лет превращается в «давайте не смотреть, на чём держится наша организация, а делать счастливый вид». Инициатива может быть только у отдельных людей вне институтов и давления акционеров: журналистов, разработчиков, учёных. Это мы и видим с Hey: почту переизобретают несколько человек в маленькой компании с карт-бланшем на разнос устоявшихся структур.

Поэтому нужно ругать основы OpenStreetMap. Понимать, где шатается и что ограничивает. Если отношение к критическим заметкам — «зачем раскачивать лодку», как огребли Серж и я в 2018 году, то это прямо красный флаг. Флаг, развевающийся над забетонированной институцией с заколоченными окнами и транспарантом «у нас всё хорошо!» снаружи. Победивший дракона сам стал им, под рефрен директоров «главное не превратиться в дракона». Где те одиночки, которые перепридумают нам карту?

Источник: ШТОСМ - Where’s the streetwise Hercules to fight the rising odds?. Опубликовано с помощью IFTTT.

[e2blogengine]

Тротуары Лондона недостаточно широки для твоей мамы

Увидел очередную заметку на тему ширины тротуаров и социального дистанцирования, и немного вскипел. Сколько можно делать этот бессмысленный арт, отвлекая внимание от остальных каналов телеграма?!

Собрать данные о тротуарах в масштабе подобных карт — сложнейшая задача, недоступная непрофессионалам. «Урбика» собирала их для Москвы в 2015 году, и получилось совсем чуть-чуть. Мили Харви для карты Нью-Йорка совершила вычислительное чудо в GeoPandas. На картах ширин тротуаров мы видим многолетнюю работу специалистов, десятки тысяч километров промеренных дорог, сложные гео-вычисления — это нельзя не уважать.

Но связывать эти карты с коронавирусом и урбанистикой стыдно.

Социальное дистанцирование, которое нужно соблюдать, — не то же самое, что физическое. В первом случае вы избегаете контактов с людьми: не ходите в гости и на мероприятия, откладываете покупки и поездки. Физическое дистанцирование — это рекомендованные 2 метра друг от друга. С 18 марта ВОЗ говорит только о физическом дистанцировании — не потому, что зараза научилась прыгать с человека на человека, аки блоха. А потому что в понятие социального дистанцирования входят и виртуальные связи, которые сейчас нужно укреплять, а не обрывать. Лучше пусть встречаются, но не близко.

При движении круг опасности заражения вокруг вас сужается и вытягивается назад. Даже если бы заражение было мгновенным от одной частички вируса, достаточно было бы обходить других за один метр, но держать расстояния в три метра от следующего. Для бегунов и велосипедистов «хвост» вируса может вытягиваться до 20 метров. Поэтому два метра — это слишком.

Из препринта исследования Берта Блокена сотоварищи

Вероятность заболеть также пропорциональна количеству частиц вируса, которые вы соберёте. Для заражения нужно взаимодействовать с больным на очень близком расстоянии, либо долгое время, 10-15 минут. Пройти мимо больного на улице практически безопасно. Если вы остановились поговорить со знакомым на десять минут и стоите не вдоль, а поперёк тротуара, то да, вам может понадобиться два метра.

Карты ширин тротуаров лукавят. Два метра ширины они кладут в «красный» сектор, потому что от 60% до 90% тротуаров уже достаточно широки. Авторы агитируют за тротуары от трёх, и то и пяти метров, как на карте Нью-Йорка. Если представить, что все тротуары сделали шириной пять метров, то мы получим условный Минск. Несоразмерные человеку площади, гигантские бесполезные пространства. Разумный город захочет их сузить: поставить торговые палатки и скамейки, посадить кусты. Эффективная ширина тротуаров вернётся к двум метрам. Вирус довольно потирает метафорические ручки.

© La Citta Vita, CC-BY-SA 2.0

Даже картография тут расстраивает. Нынешняя эпидемия вируса осыпала нас гигантским количеством карт. Распределение заражений по странам, свойства городов, перелёты, закрытые границы. Каждая из этих карт по-своему чудовищна. Что немного предсказуемо: вирус ��е знает про границы, статистика не сохраняет индивидуальные случаи, а карты не умеют показать то, у чего нет координат. Когда кто-то пытается собрать эти координаты в достаточном количестве, они напарываются на этическую проблему с тотальной слежкой. Проблема неразрешима, если мы всё ещё думаем о людях, а не о карте и вычислениях на ней.

Мир захватили инженеры. Им свойственно считать, что знание инструментов и алгоритмов заменяют любую экспертизу. Нет проблем, есть технические задачи. Во время самоизоляции есть куча времени, чтобы покопаться в форматах, установить библиотеку, поиграть со слоями. Ощущить свою полезность через код и пиксели. Не нужно быть картографом, чтобы сделать карту. Как и в остальном информационном дизайне, инфографика теперь не для объяснения чисел, а их разукрашивания. Написать «Россия 12000» некомильфо, нужно нарисовать кружок в Красноярском крае. Самые продвинутые качают GeoJSON регионов и раскрашивают их в картограмму. Снова техническая задача. Снова простое, но неправильное решение.

Это гугль, но у яндекса то же самое. Хорошо, что это пятно до Москвы доберётся нескоро

И вот у нас есть карта ширин тротуаров. Какое её полезное действие? Если расширить тротуары — то где анализ, можно или нельзя, пешеходные потоки и почему это надо? Если привлечь внимание к дистанцированию — то почему три метра, а не два? Если поразвлекать — то почему эти карты невозможно читать? Нужно масштабировать, но непонятно, зачем. �� вглядываюсь в полоски — чтобы что? Понять, где можно говорить со случайными знакомыми, встав поперёк тротуара, а где нет?

Несоответствие труда и выхлопа огорчает. Сочетание никакой цели и огромных средств — самоизоляция, как видно, высвободила огромные ресурсы, люди могли бы приносить пользу, как когда-то Джон Сноу, но вместо этого тратят время на фигню.

Польза от всех этих вирусных карт, с тротуарами, кружочками, стрелочками, есть. Но нужно понимать, что она только для одного человека: автора. Он или она прокачали свои навыки работы с данными, визуализации, кодирования. Пополнили портфолио. А для других людей это лишь очередной мемчик: посмотрели, хмыкнули, перешли к следующей картинке.

Вот что меня и выбесило — пока я смотрю мемчики, ��юди рисуют карты, пусть бессмысленные, и прокачивают навыки. Хватит, третий месяц пандемии завершается, пора. Пора закрыть ленту и открыть метафорический QGIS. Раскопать проект, заброшенный пять лет назад, и довести до ума. Придумать собственный мем. Написать в штосм. Или, хотя бы, порисовать деревни.

Источник: ШТОСМ - Тротуары Лондона недостаточно широки для твоей мамы. Опубликовано с помощью IFTTT.

[e2blogengine]

Maxar уходил, но вернулся, как обещал

Хорошая новость: спутниковые слои Maxar снова доступны! Мы прожили без них два месяца, не смогли подобрать URL тайлов взамен отключенных, но в опубликованном вчера обновлении редактора iD слои вернулись. К сожалению, JOSM и ��ругие редакторы пока официально не поддерживаются, но расшифрованная ссылка уже проникла в список подложек JOSM.

Если вы не следили за новостями, Maxar — это новое название DigitalGlobe и новый набор слоёв, который прошлым летом окончательно заменил старые слои DG. Снимки DigitalGlobe нам выдали отчасти благодаря фейсбуку в 2017 году. Они всем нравились, потому что часто были самыми свежими. Снимки Maxar немного другие, что огорчило картографов в некоторых странах, но всё равно лучше прочих. Поэтому когда Кевин Баллок неожиданно объявил об их отключении, люди выражали своё расстройство целый месяц в полусотне комментариев.

Слои убрали не из-за осмеров. Ссылки на них были открыты, что было удобно и для добавления их в общий реестр подложек, и для изучения на сторонних веб-сайтах. Подключить снимки Maxar в свою веб-карту было не сильно сложнее, чем тайлы OpenStreetMap. Как и в «SAS.Планету», чтобы выкачать тайлы для любого региона в любых масштабах. Последнее и сломало Maxar: неизвестные люди или организации начали качать слишком много тайлов и слишком часто, что перегрузило серверы и, вероятно, стало слишком затратно для компании.

***

«Данные — новая нефть», и геоданные в особенности. Сотни тысяч компаний зарабатывают деньги исключительно обработкой данных, услугами на их основе. Вы знаете примеры. Но в отличие от нефти, которую нужно покупать у добывающих компаний, все привыкли к открытым данным, которые достаются бесплатно и почти без условий. «Информация должна быть бесплатной», популярно было говорить десять лет назад. Я в докладах порицал компании, торгующие картами, и призывал открывать геоданные и зарабатывать не на ресурсах, а на услугах. Потому что оплачивать нужно работу, а не доступ к вентилю.

Amazon как нельзя нагляднее показал, почему этот принцип не работает в мире Open Source. Люди пишут серверы и базы данных, публикуют код под открытой лицензией в соответствии со своими принципами и предлагают платные услуги по настройке и поддержке. И тут приходит Amazon, берёт бесплатное и предлагает те же услуги, но в единой инфраструктуре и дешевле, за счёт масштаба. Авторы в шоке от уходящих в амазон клиентов и начинают сомневаться, что сделали правильный выбор в пользу открытых исходников.

Мы это прочувствовали на себе в 2016 году, когда любители Pokemon Go сделали несколько сайтов, где можно было найти ближайших редких покемонов на карте. Тайлами для этих карт они выбрали бесплатные и открытые тайлы OpenStreetMap. От миллионов игроков наши серверы немного слегли и пришлось ввести драконовские ограничения на загрузку тайлов, от которых мы страдаем до сих пор. В прошлом же месяце нам удивили сотни людей, одновременно скачивающих файл планеты OSM. «Зачем вообще качать планету больше одного раза», — начали огрызаться участники.

Оказалось, что предоставление бесплатных ресурсов — это неблагодарная работа, требующая времени и денег, иногда слишком большого количества денег. Не говоря о получении этих данных — картографии или выведении спутников на орбиту и обработке снимков с них. Мы привыкли отдавать, а бизнес привык получать бесплатно. «Где получить снимки Земли в качестве не хуже Google Maps для коммерческой деятельности, желательно бесплатные?» — спросили в чатике недавно. Смешно звучит, но ведь «информация должна быть свободной», что тут такого? Очередной виток трагедии общин, разворачивающийся уже второй год, грозит сломать нам open source, сломать публикацию данных и усложнить жизнь картографам в OpenStreetMap.

Попытка Maxar закрыть тайловый слой для всех, кроме осмеров, первая в истории. Вместо записи в реестре подложек, его добавили напрямую в редактор iD с помощью Брайана и Квинси.. Ссылка защищена шифрованием AES: вместо домена и пути — набор цифр. Так просто адреса тайлов не вытащишь — нужно собирать по исходникам ключи, проверять алгоритм, писать код. Или... открыть инспектор сети в браузере и увидеть там готовые ссылки с ключами. Что и сделал вчера некто Sosha, чтобы обновить ссылки в JOSM. Ничто не помешает нажать те же кнопки сотрудникам компаний, которые хотят бесплатных снимков, и всё начнётся по-новой.

Источник: ШТОСМ - Maxar уходил, но вернулся, как обещал. Опубликовано с помощью IFTTT.