Как изменить разделитель в CSV файле?

Как открыть в Excel файл CSV с разделителем запятая?

Проблема экспорта поисковых запросов (ПЗ) из Google вебмастер
CSV с разделителем запятая в UTF-8
- Проблема с кодировкой
- Разделитель запятая в CSV
- То, что помогло
Онлайн сервис для нормализации CSV-файлов
Подведём итоги

Проблема экспорта ПЗ из Google вебмастер

Многие из нас используют Google инструмент для веб-мастеров только для добавления сайта. Это неправильно, здесь есть масса полезной информации, например список поисковых запросов, по которым пользователи находят и заходят на сайт. Смотрите отчет: Поисковый трафик > Поисковые запросы – предварительно выбрав нужный сайт в списке.

Здесь же есть и экспорта данных в CSV-формате, с возможностью его открытия в Google Таблицы (онлайн аналог Excel) . Ищите кнопку «Загрузить эту таблицу». К слову, количество отображаемых запросов на странице не влияет на полноту экспортируемых данных.

Проблема в том, что в CSV-файле используется разделитель запятой и кодировка UTF-8. Так что даже в Google Таблицы, вместо кириллицы, вы получите только набор вопросов.

Другими словами, нам нужно изменить кодировку на ANSI. А для открытия файла CSV в Excel заменить и разделитель запятой (,) на символ точки с запятой (;) .

CSV с разделителем запятая в UTF-8

Проблема с кодировкой

Проще всего решить проблему с кодировкой. Для этого вы можете использовать любой текстовый редактор с этой функцией, например Notepad++. Его вы можете скачать бесплатно на официальном сайте: unotepad-plus-plus.org. Далее запускаем редактор и открываем в нём наш CSV-файл, а потом кликаем пункт меню «Кодировки» и меняем на нужную, т.е. пункт «Преобразовать в ANSI».

У меня на картинке показан обратный процесс: преобразования из ANSI в UTF-8 – но, думаю, вы это и сами заметилии, а принцип тот же.

Разделитель запятая в CSV

Теперь, что касается разделителя запятой. По сути, для Google Таблиц что-то менять не надо. Да и в англоязычной версии MS Excel это может прокатить, проверьте. Тем не менее, если нужна замена, то здесь следует учесть, что просто заменить запятую (,) на символ точки с запятой (;) не получится, т.к. в файле могут быть значения, содержащие этот символ. Они обычно помещены в кавычки. Например:

значение,1,»значение, с запятой»,

По идее здесь должна помочь настройка самой операционной системы Windows: Пуск > Панель управления > Язык и региональные стандарты. На вкладке «Форматы» кликаем кнопку «Изменить этот формат…» В открывшемся окне, на вкладке «Числа» замените «Разделитель элементов списка» на нужный, т.е. символ точки с запятой (;) меняем на запятую (,) .

Правда, у меня это не сработало. Да и менять настройки операционной системы, как по мне, дело не благодатное. Тем не менее, я решил указать этот вариант решения проблемы, т.к. на большинстве специализированных форумов ссылаются именно на него.

То, что помогло

Увы, но какой-то дополнительной обработки файлов с расширением .csv в MS Excel я не нашел. Тем не менее, есть возможность обработки, но только в том случае, если сменить расширение файла, например, на .txt . Так что меняем расширение файла и открываем его в Excel.

Появится окно «Мастер текстов (импорт)». Здесь вы можете выбрать формат исходных данных, начальную строку импорта и кодировку файла (нам нужна 1251 : Cyrillic ) . К слову, почему нужно было менять кодировку, когда её можно выбрать в мастере? Потому, что кодировки UTF-8, по крайней мере у меня, здесь нету. Кликаем кнопку «Далее».

На следующем шаге мы можем выбрать символ-разделитель, причем несколько. Ставим галочку «запятая» и убираем галочку «знак табуляции». Здесь же можно выбрать и символ ограничителя строк. Это тот, что используется для значений, в которых присутствуют спецсимволы (двойные кавычки, запятая, точка с запятой, новая строка и т.д.) . Вариант с двойной кавычкой, в моём случае, это то, что надо. Обратите внимание на поле «Образец разбора данных», данные стали таблицей. Кликаем кнопку «Далее».

На последнем шаге можно указать формат данных столбцов, правда выбор здесь не велик: общий (по умолчанию) , текстовый, дата и пропустить столбец. Последний вариант представляется мне наиболее интересным, т.к. позволяет сразу исключить ненужные столбцы. Просто выберите соответствующий столбец и кликните для него вариант «пропустить столбец». Кликаем кнопку «Готово».

Excel сформирует нужную нам таблицу, где мы можем задать нужную ширину столбцов и формат ячеек, но это уже совсем другая история. Отмечу лишь, что есть проблема с распознанием тех же процентов.

Онлайн сервис для нормализации CSV-файлов

Впрочем, все выше изложенные проблемы решает простой онлайн сервис Normalization CSV. Он позволяет менять кодировку и символ разделителя. Правда существует ограничение в 64 000 байтов (сколько это в Кб?) для загружаемого файла, но CSV-файлы обычно весят не очень много, должно хватить. Результат обработки выводится как обычный текстовый файл, его можно сохранить с расширением .csv .

К слову, скрипт преобразовавает значение процентов, например: 95 % – в нужное значение для столбца «проценты» в Excel, т.е. делится на 100 и получаем число с плавающей запяток, например: 0,95 . Если нужны ещё какие-то преобразования: пишите, попробуем доработать.

Ну, а если предложенный онлайн сервис вас не устраивает, вы всегда можете воспользоваться выше приведённой инструкцией.

Подведём итоги

Некоторые онлайн сервисы предоставляют возможность экспорта данных в просто и удобном CSV-формате. Как следует из названия, подразумевает использование в качестве разделителя символ запятой (,) . Однако, многие приложения трактуют этот формат несколько своевольно, что приводит к закономерным проблемам. К тому же сейчас всё более популярна кодировка UTF-8, в то время как Excel или Google Таблицы используют ANSI.

Решить проблему с кодировкой поможет, к примеру, Notepad++, а для того, чтобы разобраться с разделителем, достаточно изменить расширение файла на .txt и воспользоваться мастером текстов в Excel. Впрочем, все эти задачи способен решить бесплатный онлайн сервис Normalization CSV, правда стоит учесть его ограничение на объём загружаемого файла. На этом у меня всё. Спасибо за внимание. Удачи!

Короткая ссылка: http://goo.gl/rAe1Xb

Сейчас в инете дофига различный csv конверторов, которые всё это понимают и настраивают. Да и софта такого рода хватает.

23 января 2014 г., 13:21 Удалить комментарий

@Максим безусловно, вариантов решения данной проблемы существует достаточно много. В тоже время, практика показывает, что люди склонный использовать то, что есть под рукой и чем оно проще тем лучше. В случае с Normalization CSV мы имеем не столько csv конвертор, сколько нормализатор, который работает исходя из особенностей экспорта данных онлайн сервисов, в частности Google инструмента для веб-мастеров.

23 января 2014 г., 15:25 Удалить комментарий

@Константин Кирилюк если судить по показателям соцкнопочек, то люди выбирают не самые простые решения и отдают предпочтение перекодированию, переименовыванию и мастертекстовованию

29 января 2014 г., 19:10 Удалить комментарий

@Максим ну, не всё так сразу. К тому же популяризацией своего сервиса я не занимался, да и не стремлюсь. несколько опасаюсь нагрузок. Так что пусть используют вот такие, далеко не простые решения, а кому надо могут воспользоваться и сервисом.

30 января 2014 г., 10:42 Удалить комментарий

Заметил траблу с Normalization CSV. Если в CSV файле присутствует символ бесконечности ∞ то на нём всё и стопорится, по крайней мере если делать смену кодировки из UTF-8 в ANSI.

1 февраля 2014 г., 5:21 Удалить комментарий

@Максим да, была такая проблема. Пытался и так и эдак, но пришлось заменить этот символ на знак вопроса. Это самый оптимальный вариант, который я вижу на данный момент. Как я понял проблема в iconv мутках.

1 февраля 2014 г., 6:09 Удалить комментарий

28 августа 2014 г., 11:52 Удалить комментарий

Помимо ‘,’ в Разделитель элементов списка в разделе Числа — Разделитель целой и дробной части поставьте ‘.’ и все заработает

3 сентября 2014 г., 11:52 Удалить комментарий

Константин, большое спасибо

25 октября 2015 г., 22:23 Удалить комментарий

вот это очень помогло. спасибо анониму от анонима! большое спасибо!

12 августа 2016 г., 16:36 Удалить комментарий

чувак, отличная публикация. благодарю

1 сентября 2016 г., 18:31 Удалить комментарий

Огромное спасибо, статья очень выручила!

25 сентября 2016 г., 12:27 Удалить комментарий

15 декабря 2016 г., 22:31 Удалить комментарий

Спасибо за статью, познавательно!
Поделюсь решением, которое нашел для себя — бесплатная утилита grepWin
Осуществляет поиск и замену текста по многим файлам одновременно. В запросах на поиск и замену можно использовать регулярные выражения.
Если файлов много ей просто цены нет — сложил в одну папочку (можно с подпапочками при желании)все файлы которые нужно править, запускаешь grepWin из контекстного меню этой папки, и меняй что душе угодно.
Я лично стабильно имею дело с файлами статистики, собираемыми командой sar на linux. Один раз написал нужные тебе регэкспы (с непривычки правда не сразу получится, рекомендую попрактиковаться на regex101.com) и любое количество файлов прогоняешь за секунды/пару минут (ну тут смотря по размеру файлов и сложности изменений, может и дольше занять)
Поделюсь своими регулярками:
приходят файлы с колонками цифр, колонки разделены пробелами. Чтобы открыть в экселе надо серию пробелов заменить на ;
Искать: s <2,>Заменить на: ;
Замена десятичной точки на запятую:
Искать (d).(d) Заменить на: $1,$2
Не забываем выбрать опцию RegExp search сверху от поля для поиска.

22 февраля 2017 г., 12:05 Удалить комментарий

Помог понять (потому что подробно изложил)! Спасибо.

7 мая 2017 г., 7:32 Удалить комментарий

В Notepad++ я записал макрос с такими действиями:
1. Найти все запятые , и заменить на точку с запятой ;
2. Найти все точки . и заменить их на запятые ,
3. Сохранить файл
Теперь любой «некирилличный» CSV преобразовывается одной командой и потом нормально открывается в Excel без изменений региональных настроек.

Как изменить разделитель в CSV файле?

Добрый день! Уважаемые читатели и гости одного из крупнейших IT блогов для системных администраторов Pyatilistnik.org. В прошлый раз мы с вами подробно разобрали 10 методов как открыть командную строку. В сегодняшней публикации я хочу вас научить разбивать строки в CSV файле на столбцы, которые потом можно использовать в файлах Excel. Уверен, что многие системные администраторы часто работаю с экспортными данными в формате CSV.

Постановка задачи

Бьюсь об заклад, что у 99% средних и крупных организаций в России инфраструктура построена на использовании Active Directory. Активный каталог замечательная вещь и легко интегрируется в различные сторонние сервисы. Самая частая задача администратора, это получение отчетов или выгрузок по определенным критериям, например:

Получить список пользователей Active Directory с рядом атрибутов
Получить список серверов у которых операционная система Windows Server 2008 R2, чтобы в дальнейшем их вывести из эксплуатации
Получить список всех компьютеров или пользователей, кто не авторизовывался какое-то время. И так до бесконечности

Получить данные вы можете в разном виде, например в виде выдачи на самом экране, или же в сохраненный файл в формате txt или csv. CSV более распространенный, так как позволяет не только выгружать данные, но и еще их импортировать. Вроде бы все удобно, но есть одно но, когда вы захотите красиво перенести такие данные из csv, txt или экрана, у вас не будет форматирования или столбцов, все будет смешано в кучу, а это не удобно. Ниже я вас научу это обходить.

Структура файла CSV

Файл с разделителями-запятыми (CSV) представляет собой простой текстовый файл, который содержит список данных. Эти файлы часто используются для обмена данными между различными приложениями. Например, базы данных и менеджеры контактов часто поддерживают файлы CSV.

Эти файлы иногда могут называться символьно-разделенными значениями или файлами с разделителями-запятыми. В основном они используют запятую для разделения данных, но иногда используют другие символы, такие как точки с запятой. Идея состоит в том, что вы можете экспортировать сложные данные из одного приложения в файл CSV, а затем импортировать данные из этого файла CSV в другое приложение.

Вот пример такого строки с разделителями:

теперь представьте, что таких строк сотни или тысячи, а вы хотите все скопировать в ваш Exсel и по столбцам, вот тут вы и поймете, что одностроковый формат требует преобразования. Благо, это делается очень быстро и просто. Вот пример моего тестового csv файла.

Как csv разделить по столбцам в Excel

Первым инструментом, который позволит из csv получить красивые столбцы и разбиение по ним, будет Excel. Откройте в Excel ваш файл csv.

Выделите первый столбец и перейдите на вкладку «Данные«
Найдите пункт «Текст по столбцам«

На первом окне мастера распределения текста по столбцам нажмите «Далее».

Далее вам необходимо указать по каким критериям производить разбивку по столбцам, на выбор у вас будет:

Знак табуляции
Точка с запятой
Запятая
Пробел
Другой вариант

В моем примере CSV разделяет отдельные данные с помощью запятой. Тут же вы сразу видите, как это будет выглядеть в области «Образец разбора данных«.

Далее при необходимости вы можете указать формат (Общий, текстовый, дата) и диапазон к которому будет применяться ваше преобразование. Нажимаем «Готово«.

На выходе я получил красивую таблицу, где есть разбивка по столбца. В таком виде мне уже удобнее оперировать данными.

Далее вам остается сохранить файл в формате xlsx и радуемся жизни.

Как csv разделить по столбцам через Google Таблицы

Не так давно я вам рассказывал про установку через групповую политику расширения для Google Chrome под названием «Редактирование файлов Office«. Это расширение позволяло работать с файлами Word, Excel и PowerPoint в Google Документах, Google Таблицах и Google Презентациях. Если вы через него откроете ваш файл CSV, то вы буквально в два клика сможете его разбить на столбцы. Для этого выберите меню «Файл — Сохранить в формате Google Таблиц«.

Начнется переделывание формата CSV в формат Google Таблиц

На выходе вы получаете разделенный по столбцам документ.

Далее вы уже можете оперировать этими данными или же можете их сохранить в нужный формат. Если у вас изначально документ Google Таблиц содержит данные разделенные запятой в виде одной строки, то вы их можете преобразовать в столбцы вот таким методом. Открываете меню «Данные — Разделить текст на столбцы«

Выбираете тип разделения, в моем случае запятая.

Затем выбираете ваш столбец с данным и еще раз нажмите «Данные — Разделить текст на столбцы«

В результате чего они будут разбиты на аккуратные столбцы

Экспортируйте из Excel в CSV с любым разделителем и кодировкой

Популярность текстовых файлов CSV объясняется тем, что этот формат поддерживается большинством приложений. Поэтому конвертация файлов Excel в CSV файлы с запятыми в качестве разделителя вполне привычная операция. Но что если нужно экспортировать все листы в книге одновременно, или применить другой разделитель? Кроме того, операция «Сохранить как CSV» автоматически закрывает книгу Excel – и это осложняет работу, если нужно экспортировать данные многократно.

Инструмент «Экспорт в CSV» упрощает конвертацию XLSX (XLS) таблиц в формат CSV:

Перед началом работы добавьте «Экспорт в CSV» в Excel

«Экспорт в CSV» – это один из 20+ инструментов в составе надстройки XLTools для Excel. Работает в Excel 2019, 2016, 2013, 2010, десктоп Office 365.

Как экспортировать выбранный диапазон из Excel в CSV

Отметьте флажком Открыть файл после экспорта , если хотите сразу увидеть результат.

Обратите внимание, что исходный файл Excel остается открытым и не изменился. Подробнее.

Как экспортировать в CSV один или сразу несколько рабочих листов

Отметьте флажком Открыть файл (папку) после экспорта , если хотите сразу увидеть результат.

Обратите внимание, что исходный файл Excel остается открытым и не изменился. CSV файлы будут названы по имени соответствующих исходных рабочих листов.

Другой способ сохранить несколько рабочих листов как CSV файлы – использовать XLTools «Органайзер книг».

Нажмите иконку Сохранить Из выпадающего списка выберите Сохранить лист(ы) как отдельные файлы .

Как задать параметры обработки данных при экспорте из Excel в CSV

Вы можете задать, как обрабатывать и экспортировать значения в CSV формат:

Выберите сохранить Как отформатированные значения

Выберите эту опцию, если нужно экспортировать значения в том же формате, который задан в Excel – как отображаются в ячейках. Например, 10%, 16 мар 2015, $40.

Выберите сохранить Как реальные значения

Выберите эту опцию, если нужно экспортировать значения в формате по умолчанию – как отображаются в строке формул Excel. Например, 0.1, 16.03.2015, 40.00.

Отметьте флажком С квалификатором

Отметьте эту опцию, если вам нужно добавить квалификаторы полей. Напечатайте » (двойная кавычка), или ‘ (одинарная кавычка), или любой другой знак. Надстройка добавит квалификаторы к каждому полю в файле результата CSV. Это полезная опция для тех, кто обрабатывает CSV файлы в системах предыдущих поколений.

Кроме того, вы можете отметить флажком удалить _ из данных . Это оставит знаки квалификатора только в начале и в конце поля и удалит из любых других позиций.

Например, если вы добавите ‘ (одинарную кавычку) в качестве квалификатора, при этом исходная таблица Excel уже содержит ‘ (одинарные кавычки или апострофы), это собьет границы полей в CSV файле. Поэтому вы можете задать удаление всех знаков одинарных кавычек, которые не являются квалификаторами, из файла результата CSV. Исходный Excel файл при том не изменится.

Отметьте флажком Разбить объединенные ячейки и дублировать значения

Отметьте эту опцию, если в исходной таблице есть объединенные ячейки. Надстройка продублирует содержимое объединённых ячеек в соответствующих местах текстовых строк в файле результата CSV.

Как экспортировать из Excel в CSV с разделителем точка с запятой, табуляция или вертикальная черта

Вы можете сохранить таблицу Excel как CSV файл как со стандартным разделителем запятой, так и задать другой подходящий разделитель между значениями в CSV файле:

Как изменить разделитель при экспорте CSV из Excel?

Этот пост был самым последнее обновление: 20 ноября 2020 г.

Время чтения: 5 минут.

Недавно мне нужно было найти способ импортировать данные из старого файла Excel в систему с настраиваемым кодом, которая могла бы импортировать файлы CSV . Однако данные не были подвергнуты дезинфекции — они содержали запятые, точки с запятой и другие странные символы. Я мог бы определить разделитель, используемый в импортированных данных, однако это было бы бесполезно, если бы я не смог определить его и в экспорте.

Однако с Excel все не так просто. Excel, как и другие приложения Microsoft Office, изо всех сил старается соблюдать региональные настройки и настройки локализации компьютера, на котором он работает — чаще всего к разочаровывающим результатам.

Однако, как и во многих других случаях, вы можете изменить значение разделителя, используемое при экспорте CSV, настроив эти параметры. И в этой статье описывается, как!

Фон
Решение
Ссылки
Сообщения по теме на «Как изменить разделитель при экспорте CSV из Excel?»:

Еще день, еще одно решение. Давайте углубимся в предысторию проблемы:

Мне нужно было преобразовать данные, хранящиеся в файле .xlsx, в другую форму, которую могло бы прочитать другое приложение. Этот формат файла оказался CSV.

Означает «значения, разделенные запятыми» — текст файл, в котором значения разделяются запятыми.

Каждая строка файла представляет собой запись данных. Каждая запись состоит из одного или нескольких полей, разделенных запятыми. Использование запятой в качестве разделителя полей (разделителя) является источником имени для этого формата файла.

Обычно это просто — просто «сохранить как» с другим файлом формат. Однако на этот раз я столкнулся с проблемой: данные включали как запятые («,»), так и точки с запятой («;»), которые являются типичными разделителями в файлах CSV. Кроме того, я не мог заключить значения в кавычки из-за ограничений как при экспорте, так и при импорте. Поэтому мне нужно было использовать другой символ — например, вертикальную черту («|»).

Вместо того, чтобы иметь возможность настраивать разделитель в экспорте (как в любом разумном редакторе электронных таблиц, если вы спросите меня! ), Excel просто воспользуется вашими региональными настройками и возьмет оттуда разделитель списка. Это означает, что на английском языке CSV будет иметь значения, ограниченные запятыми, например:

Value1, Value2, Value3, Value4 .

Но на финском , мы будем использовать точку с запятой — вот так:

Value1; Value2; Value3; Value4 .

И я могу представить, что существует множество других локалей где вам может потребоваться разделить значения запятой вместо точки с запятой или наоборот.

Но на этот раз простое изменение региональных настроек не является решением проблемы — данные, которые я предоставил, содержали как двоеточия, так и точки с запятой в значениях ячеек. Из-за этого данные будут неправильно разделены и проанализированы.

Однако, к счастью, мы можем заменить разделитель практически любым — и все это делается с помощью региональных настроек!

Решение

Я нашел пару примеров того, как это сделать в Windows 7 — и, очевидно, это поможет вам со временем найти свой путь и в Windows 10. Но всегда полезно задокументировать точные шаги — приведенное ниже руководство должно быть точным для Windows 10 и «достаточно близко» для Windows 7.

Вот шаги в письменной форме — см. Несколько полезных снимков экрана далее ниже!

Необходимое время: 10 минут.

Как экспортировать CSV с настраиваемым разделителем с помощью Microsoft Excel:

Убедитесь, что Microsoft Excel закрыт, прежде чем пытаться изменить разделитель CSV.

Это необходимо, чтобы убедиться, что Excel сохранит ваши изменения.

Откройте Панель управления

Это можно сделать нажав win + r и написав «Панель управления» в окне выполнения.

Затем вам нужно получить доступ к региональным настройкам

Он доступен в разделе «Регион» или «Часы и регион» -> «Регион».

Нажмите кнопку « Дополнительные настройки ».

Найдите« Разделитель списка »и измените его на свой предпочтительный разделитель, например вертикальная черта («|»).

Хотя в раскрывающемся списке могут быть некоторые предварительно заданные значения, на самом деле вы можете просто игнорировать их и ввести любой разделитель, который вам нужно использовать, непосредственно в текстовое поле.

Обратите внимание, что существует как минимум одно недокументированное ограничение здесь: вы не можете использовать один и тот же символ в качестве десятичного разделителя и разделителя списка! Это означает, что если вы используете региональные настройки, такие как финский, где запятая считается десятичным разделителем вместо точки или точки, вы не можете использовать ее в качестве разделителя списка … Прежде чем вы измените десятичный разделитель на что-то иначе, то есть

Нажмите OK -> OK -> закройте панель управления, после чего вы можете приступить к фактическому экспорту файла!

Сделав выбор, просто нажмите «ОК» пару раз и вернитесь в Excel! Вы должны иметь возможность сохранить свой файл как CSV или использовать функцию экспорта — и на этот раз все будет хорошо!

Откройте файл Excel

Файл, который вы хотите экспортировать в CSV с настраиваемым разделителем — в моем примере, в «файл с разделителями каналов».

Выбрать Файл -> Сохранить как

Измените ‘ Сохранить как тип на’ CSV (с разделителями-запятыми) (*. csv) ‘

Измените имя и расширение файла, если хотите, по умолчанию оно остается как csv даже если вы используете другой разделитель.

Нажмите Сохранить -> ОК -> Да

Интересное примечание: вы можете использовать совершенно бессмысленные символы в качестве разделителей! В качестве примера возьмем картинку ниже — это действительно когда-то требовалось для рабочего проекта!

Ужасно странные символы в качестве разделителей списков возможны, но, вероятно, не рекомендуется.

Ссылки

Большое спасибо Барри Стивенсу, документировавшему решение, и Сами Лайхо (или, как он более известен) , «Чувак в рубашке Järjestelmänvalvoja»), чтобы заметить, что вы не можете использовать один и тот же символ в качестве десятичного разделителя и разделителя списка

Автор
Последние публикации

Он был разработчиком с 2004 года (начиная с PHP и Java), и он занимается и превращение SharePoint в разные формы со времен MOSS. В настоящее время он работает не только над SharePoint, но и над проектами .NET, Azure, Office 365 и многим другим. Он также является Microsoft MVP по разработке Office.

Это его личный профессиональный (например, профессиональный, но определенно личный) блог.

Data.gov.ru

открытые данные России

Вход
Регистрация

Данные
- Наборы данных
- Организации
- Интерактивная карта
- Запросы на данные
- Галерея
Библиотека
- Документы
- Глоссарий
- Методический блок
Сообщества
- Мероприятия
- Форум
- Блоги
- Конкурсы
- Предложения
Сервисы
- Разработчикам
- Поставщикам
- Аналитикам

Задать вопрос
Предложить идею
Обсудить
Запрос на открытые данные

Вы здесь

Ваше мнение очень важно при доработке и совершенствовании «Портала открытых данных РФ»

Данный вопрос является особо актуальным в контексте связывания и постобработки информации наборов открытых данных.

Для начала посмотрим на формулировку из Википедии https://ru.wikipedia.org/wiki/CSV

«Значения отдельных колонок разделяются разделительным символом (delimiter) — запятой (,). Однако, большинство программ вольно трактует стандарт CSV и допускают использование иных символов в качестве разделителя. В частности в локалях, где десятичным разделителем является запятая, в качестве табличного разделителя, как правило, используется точка с запятой.»

В тексте Методических рекомендаций версии 3.0 (стр. 55) говорится об использовании запятой в качестве разделителя.

На практике дело обстоит несколько иначе. Все дело (чаще всего) сводится к неразберихе со значениями поля Адрес. Во многих существующих информационных системах значения данного поля отсутствуют, либо их содержимое не стандартизовано. Кроме того, каждая информационная система имеет свои правила и ограничения.

В том случае, когда значение ячейки с адресом содержит в себе запятую, следует использовать в качестве разделителя ячеек «;», в противном случае произойдет некорректное отображение содержимого ячеек (+ структура окажется некорректной по отношению к такому файлу). В случае, когда значения ячейки адрес не имеет ,/; внутри — возможно использование «,» в качестве разделителя (в таком случае возникает вопрос с постобработкой подобного рода ячеек).

Одним из наиболее корректных выходов в данной ситуации видится выделение под каждую часть адреса своего отдельного столбца, то есть разделителем в файле остается «,», но увеличивается количество столбцов.

«Начнем с того, что форматом CSV на самом деле называют три разных текстовых формата, отличающихся символами-разделителями: собственно сам CSV (comma-separated values — значения, разделенные запятыми), TSV (tab-separated values — значения, разделенные табуляциями) и SCSV (semicolon separated values — значения, разделенные точкой с запятой). В жизни все три могут называться одним CSV, символ-разделитель в лучшем случае выбирается при экспорте или импорте, а чаще его просто «зашивают» внутрь кода. Это создает массу проблем в попытке разобраться»

В подавляющем большинстве наборов (если не во всех) на порталах ОД, на сайтах федеральных органов, на региональных и муниципальных сайтах в качестве разделителя используются «;». Т.к. формат CSV предназначен для представления табличных данных, в большинстве случаях, проблема кроется в том, что для создания CSV файлов используется Excel (да и многие данные до их открытия были в табличном виде в формате .xls), который в виде стандартного разделителя в русскоговорящих регионах использует «;».

Главным минусом использования «;», является невозможность использования наборов с этим разделителем на иностранных порталах. А для развития ОД в России и интеграции с иностранными порталами это сможет стать большой проблемой.

P.S.
Если, при импорте из Excel в CSV, вам в качестве разделителя нужна «,», а не «;», то можно временно изменить региональные настройки:
Панель управления -> Региональные стандарты -> Дополнительные параметры
И в поле «Разделитель элементов списка» вводите новый разделитель. Кстати, в этом же окне можно изменить и дробную часть с запятой на точку.

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

Меня всегда умиляют проблемы «интеграции с иностранными порталами».
Обеспечить единство правил работы внутри своей страны мы не можем/не пытаемся,
обеспечить однозначность записи/чтения информации из CSV (SCSV) форматов мы не требуем.

Хотя, что нам мешает СДЕЛАТЬ это, не понятно.

Наверно то, что чтобы что-то требовать с исполнителей «регулятор» должен это что-то описать.
Желательно — внятно описать.
1)Львиная доля файлов ОД вводится/редактируется в Excel. (Или нет?) А раз так, то придётся обеспечить переход CSV-XLS и учитывать вывихи Excel.
2)Давайте, для начала выберем в качестве разделителя «;» Просто, чтобы не переключать региональные настройки. (Про табуляцию вообще не хочется вспоминать)
3)кодировка Windows-1251
4)десятичный разделитель «,»
5)строки, в которых присутствуют «;» или «,» должны быть взяты в кавычки
6)никаких переводов строк внутри значений полей быть не должно
7)если нужны значения с лидирующими нулями, или нужно убить преобразование типов, то использовать конструкции =»00021″;=»01.21″;=»03-11″

Основной задачей публикаторов ОД стала бы понятная им задача формирования таблиц в Excel с соблюдением НЕКОТОРЫХ понятных ограничений.

Ну и ещё два весёлых предложеньица:
1)почему бы не организовать на DATA.GOV.RU АБСОЛЮТНО корректную и одинаковую для всех онлайн-конвертацию таблиц XLS-CSV-XLS?
(с контролем соблюдения правил подготовки исходных данных, с указанием на ошибки и возможные разночтения полей. )
2)почему бы не организовать на DATA.GOV.RU АБСОЛЮТНО корректную и одинаковую для всех онлайн-конвертацию таблиц XLS-HTML?

А как будут «иносранцы» обрабатывать наши сведения меня волнует меньше всего.

Создание и изменение CSV-файлов для импорта в Outlook

CSV-файлы (файлы данных с разделителями-запятыми) — это файлы особого типа, которые можно создавать и редактировать в Excel. В CSV-файлах данные хранятся не в столбцах, а разделенные запятыми. Текст и числа, сохраненные в CSV-файле, можно легко переносить из одной программы в другую. Например, вы можете экспортировать контакты из Google в CSV-файл, а затем импортировать их в Outlook.

Сведения о том, как импортировать список записей календаря в Outlook, см. в статье Импорт и экспорт электронной почты, контактов и календаря Outlook.

Создание CSV-файла из другой программы или службы электронной почты другого поставщика

При экспорте контактов из другой программы, например Gmail, обычно можно выбрать один из нескольких форматов. В Gmail на выбор предлагаются CSV-файл Google, CSV-файл Outlook и файлы vCard. При экспорте данных из профиля Outlook для последующего импорта в другой профиль можно выбрать CSV-файл или файл данных Outlook (PST).

Скачивание и открытие образца CSV-файла для импорта контактов в Outlook

Вы можете создать CSV-файл вручную одним из двух способов.

Создание файла Excel и его сохранение в формате CSV

Если сведения о контактах хранятся в программе, из которой их невозможно экспортировать, вы можете ввести их вручную.

Создайте новый документ в Excel.

Добавьте заголовок столбца для каждого фрагмента сведений, который вы хотите записать (например, для имени, фамилии, адреса электронной почты, номера телефона и дня рождения), а затем введите данные в соответствующие столбцы.

Когда вы закончите, файл Excel должен выглядеть примерно так:

Выберите Файл > Сохранить как.

В раскрывающемся списке выберите пункт «CSV (разделитель — запятая) (*.csv)», присвойте имя файлу и нажмите кнопку Сохранить.

Теперь вы можете использовать этот CSV-файл для импорта контактов в Outlook.

Скачивание шаблона CSV-файла

Если вы хотите начать с пустого CSV-файла, то можете скачать образец ниже.

Скачайте этот образец CSV-файла на свой компьютер. При появлении запроса нажмите кнопку Сохранить и сохраните файл на своем компьютере в формате CSV. Если сохранить файл в формате Excel (XLS или XLSM) все данные будет добавлены в один столбец.

Откройте Excel на компьютере.

В Excel выберите Файл > Открыть и перейдите к CSV-файлу, скачанному на компьютер. Чтобы найти CSV-файл, выберите Все файлы. Щелкните CSV-файл, чтобы открыть его.

При работе с этим CSV-файлом нужно помнить о нескольких вещах.

Для Outlook необходимо, чтобы в первой строке находились заголовки столбцов, поэтому не заменяйте их другими данными.
Язык заголовков столбцов должен совпадать с языком Outlook, используемым по умолчанию. Например, если в качестве языка Outlook по умолчанию настроен португальский, требуется изменить заголовки столбцов, чтобы они отображались на португальском языке.

Вы можете удалить данные из строк 2–6 (например, имена, телефонные номера, адреса электронной почты и т. д).

Вводить данные во всех столбцах необязательно. Укажите только необходимые сведения.

Сохраните файл в формате CSV под другим именем. Если вы работаете с этим файлом в Excel, то при его сохранении получите несколько запросов такого типа: «Вы действительно хотите сохранить файл в формате CSV?» Всегда выбирайте ответ «Да». Если вы выберете «Нет», файл будет сохранен в собственном формате Excel (XLSX) и его нельзя будет использовать для импорта данных в Outlook.

Попробуйте импортировать CSV-файл с несколькими контактами, чтобы убедиться в получении правильных результатов. После этого можно удалить импортированные контакты, добавить все нужные контакты в CSV-файл и снова импортировать его.

Если вы импортируете данные из образца CSV-файла, вот как это будет выглядеть в Outlook в Интернете для Microsoft 365:

Изменение CSV-файла с контактами, которые нужно импортировать в Outlook

Предположим, вы хотите изменить CSV-файл, экспортированный из Outlook, а затем снова импортировать его в это приложение или другую почтовую службу. Вы можете легко сделать это с помощью Excel.

При изменении CSV-файла учитывайте перечисленные ниже моменты.

Заголовки столбцов должны оставаться в первой строке.

При сохранении файла в Excel несколько раз появятся запросы такого типа: «Вы действительно хотите сохранить файл в формате CSV?» Всегда выбирайте ответ «Да». Если вы выберете «Нет», файл будет сохранен в собственном формате Excel (XLSX) и его нельзя будет использовать для импорта в Outlook.

Проблема: все данные выводятся в первом столбце

Это могло произойти по нескольким причинам, поэтому можно попробовать несколько решений.

Если вы сохраните CSV-файл в другом формате, например XLS, XLSX или XLM, все данные будут отображаться в первом столбце. Вернитесь к исходному CSV-файлу и сохраните его в формате CSV.

Возможно, программа, в которой был создан CSV-файл, добавляет к данным дополнительные кавычки, из-за чего Excel считает их одной строкой. Предположим, например, что у вас такие данные:

a, b, c, d — Excel поместит каждую букву в отдельный столбец.

«a, b, c, d», e — Excel поместит a, b, c, d в один столбец, а e — в другой.

Чтобы проверить, не в этом ли проблема, откройте файл в Блокноте: Щелкните CSV-файл правой кнопкой мыши, выберите Открыть с помощью > Блокнот. Выполните поиск дополнительных кавычек.

Если они есть, вот как можно исправить файл:

Откройте CSV-файл в Excel. Все данные будут добавлены в столбец A без кавычек.

С помощью мастера распределения текста по столбцам разделите данные столбца A на отдельные столбцы: в строке меню выберите Данные > Текст по столбцам.

«Текст по столбцам».» loading=»lazy»>